U Pirotu je proveo dve godine i za vreme svog boravka zaljubio se u ženu koja je imala veliki uticaj na njegov dalji emotivni put.
Pisac Stevan Sremac radio je kao profesor u Pirotu u pirotskoj gimnaziji od avgusta 1881. do kraja leta 1883. godine gde je predavao srpski jezik, srpsku istoriju i geografiju.
— U Pirot je prispeo sa 26 godina. Ovde je Sremac napisao prvu pripovetku ("Rastko"), ovde je bio politički aktivan kao liberal, ovde je doživeo prvi ljubavni zanos. Ovo poslednje, međutim, mora da se primi sa određenom rezervom - kaže profesor književnosti i stručni saradnik Narodne biblioteke u Pirotu Momčilo Antić.
Za ovaj njegov period života vezuju se dve stvari, a to je da je napisao svoju prvu pripovetku "Rastko", ali i da je bio zaljubljen u Piroćanku Jelenu, koja je bila ćerka pirotskog popa Pantelije Pančića. Međutim, ako je suditi po nekim istorijskim iskazima, on je ostao neženja jer je u jednom članku u "Srpskoj zastavi", popa opisao kao čoveka koji je uticajan, ali o da "pali i žari u Pirotu".
— U Pirotu žare i pale tri Pante, među kojima se jedan u svemu razlikuje samo po tome što se zvanično potpisuje sa Pantelija - napisao je tada Sremac kritikujući rad mesnih vlasti.
Pantelija zbog tog članka se ozbiljno naljutio na Sremca i nije želeo ni da čuje za njega, iako je u njihovu kuću pre toga često navraćao.
— Svedočanstva o piščevoj ljubavi prema Jeleni Pančić zasnovana su samo na njenim iskazima datim učitelju Ćiri Rančiću onda kada je ona imala 70 godina života - kazao je profesor književnosti Momčilo Knežević.
Pisac Dragoljub Vlatković takođe je naveo da je prvi ljubavni zanos Stevan Sremac imao upravo u Pirotu. Kaže da Sremec nije pričao često o svom ljubavnom životu, ali se zna je kada se preseilo za Niš, Jelena je ostala i bila nesrećna u braku sa drugim čovekom.
Ona je živela sa Josifom Kostićem koji je bio ekonom bolnice i privrženik Naprednjačke stranke. On je kasnije tokom života sa Jelenom počeo da pije i prodao je svu imovinu koju su imali. Živeli su samo od plate koju je ona primala kao babica.