退耕庵最有名的是其與小野小町這位女詩人的淵源。

小野小町,是平安時代最有名的和歌女作家（話說平安時代怎麼出了這麼多有名的女作家,真是個女性主義強勢的年代）,

小野小町據說是個當代超級美女,而退耕庵內所供俸的玉章地藏則是傳說內藏了許多寫給小野小町的情書。

另外退耕庵內也是戊辰之戰時長洲籓的根據地,因此在此也立碑紀念