Wedle legendy dom ufundowany przez Kazimierza Wielkiego dla swej kochanki Esterki. Obecny budynek pochodzi z XVI w. i przechodził różne koleje losu. W połowie XIX w. Dom Esterki został ofiarowany przez Ignacego Drużbackiego, sędziego pokoju i dziedzica dóbr Zameczek Radzie Opiekuńczej Zakładów Dobroczynnych Powiatu Opoczyńskiego. Dochód z niego miał być przeznaczony na utrzymanie szpitala św. Władysława. Po odnowieniu dolną część przeznaczono na sklepy, górną na salę zebrań obywatelskich.

W czasie powstania styczniowego w piwnicach mieściło się więzienie dla powstańców. Wspomina o nim m. in. Stefan Zeromski w powieści „Wierna rzeka".

W pierwszych latach po odzyskaniu niepodległości po 1918 r. mieściła się w nim siedziba Komendy Wojskowej, potem część oddziałów starostwa opoczyńskiego. W okresie II wojny światowej dom Esterki zajmowały biura Spółdzielni Spożywców „Społem".

Dom Esterki został gruntownie odbudowany w 1893 r. i restaurowany w 1927 r. Do dzisiaj zachował nadany mu wówczas wygląd. Obecnie budynek ten ustawiony jest szczytowo do placu Kościuszki. Jest to obiekt murowany, tynkowany, jednopiętrowy. Do jego najstarszych części należą dwa pomieszczenia na parterze o kolebkowym sklepieniu oraz posiadająca kolebkowe sklepienia piwnica. Ponad oknami pierwszego piętra dojrzeć można fragmenty napisów łacińskich, majuskułowych z XVI w. O treści „Zręczna rada nastąpiła Mąż doskonały służył czasowi Wszystko obiecał poświęcić pracy i Bogu Mąż cierpliwy błądził wygnany z miasta jako pasterz któremu oddano w opiekę rzeczy, (miasto)." W górnej części frontonu domu Esterki widnieje herb województwa sandomierskiego do którego Opoczno niegdyś należało. Po 1945 r. dom Esterki miał wielu użytkowników. Obecnie mieści się w nim Powiatowa i Miejska Biblioteka Publiczna. (Za stroną opoczno.pl).