Někdy bývá dům nazýván také Žižkův dům, neboť prý zde bydlel Jan Žižka, když navštěvoval prachatickou školu. Nikde však není doloženo, že Žižka v Prachaticích do školy chodil. Pravděpodobnější je, že po dobytí města mohl být Žižka v domě ubytován, protože v roce 1422 v Prachaticích pobýval a psal odtud své listy.
V letech 1540 – 1557 byl dům renesančně upravován. Z té doby pochází cenná sgrafitová výzdoba, kterou se neznámí tvůrci snažili dosáhnout pravidelného rozvrhu průčelí orámováním starších, po ploše průčelí, nepravidelně rozložených oken.
Atika je složena z volutových štítků, jejichž forma pochází z lombardské renesance. Do domu vede kamenný portálek s růžicemi, nad přízemním oknem jsou znatelné stopy někdejšího znaku Vyšehradského proboštství (dva křížem položené klíče) a znaku Viléma z Rožmberka (jezdec na koni). Dominantou prvního poschodí je valená lunetová klenba zdobená bohatou sítí žeber.
Dům byl opravován v roce 1909 malířem Lukeschem. Další rekonstrukce proběhly v letech 1960, 1972, 1986 a naposledy v roce 2001.
Od roku 1966 tento renesanční historický dům sloužil potřebám okresní knihovny. Od ledna 2003 činnost knihovny pokračuje pod oficiálním názvem Městská knihovna Prachatice.
