Mohutné ruiny zdiva opevněného panského sídla, jehož jádro tvoří gotická tvrz, patří mezi cenné historické dominanty obce Žerotice. Zřícenina hradu byla v roce 1973 zapsána do státního seznamu kulturních památek.
Tvrz se poprvé výslovně připomíná v roce 1358, kdy ji Adam ze Žerotic prodal Benešovi z Weitmile. Ten rozšířil tvrz natolik, že je pak v pramenech označována jako hrad.
Rod z Weitmile držel tvrz až do roku 1512, kdy ji prodal a majitelé se pak střídali – vzpomínají se Jindřich Lechvický ze Zástřizl (od r. 1512), Fridrich Březnický z Náchoda (od r. 1559) a Jiří Ehrenreich ze Sinzendorfu (od r. 1628). Roku 1512 se objekt v důsledku provedených přestaveb označuje jako zámek a i další majitelé – zejména Zástřizlové a od roku 1559 Březničtí z Náchoda pokračovali v jeho renesančních úpravách.
V roce 1643 hrad dobyli a vypálili Švédové. Pozdější barokní úpravy provedli Blierové, ale později Žerotice opustili. V roce 1711 koupil zámek s velkostatkem František Karel hrabě Berchtold. Dále se majitelé střídali až do roku 1936, kdy jej koupil Alois Fišl, kterému byl vyvlastněn v roce 1948. V majetku státu byla zřícenina tvrze do roku 1998, kdy ji koupil nový majitel, v jehož vlastnictví je objekt dodnes a který jej postupně rekonstruuje.
Do dnešní doby se ze stavby dochovala jedna renesančně klenutá místnost v severozápadní části areálu, obvodové zdivo do výše prvního patra, opěrné pilíře, torzo hranolové věže a značně zasypaný původně obezděný příkop.
