Bývalý panský dům – zvaný Zámek – se obrací východním, devítiosým průčelím do náměstí ve městě Bavorov. Zámek je od roku 1958 památkově chráněn.
Panský dům zvaný zámek z konce 16. století byl barokně upraven za vlády Eggenbergů. Dnes je to raně barokní, jednopatrová stavba, krytá vysokou sedlovou střechou a vysokou konklávně prohnutou podstřešní římsou. Portál zdobí eggenberský a schwarzenberský znak, držitelé helfenburského panství. V prvním patře se nachází místnost zaklenutá klášterní klenbou, zdobenou štukovými orientálními rámy. Valeně zaklenutým průjezdem je z náměstí přístupný dvůr areálu, obklopený po obvodu hospodářskými objekty.
V současné době je panský dům majetkem Města Bavorov. Po provedené rekonstrukci je zde obřadní síň, stálá výstava o historii města Bavorov a další expozice.
