Zámek či spíše panský dům stojí v centru obce Horní Branná. Od roku 1964 je chráněn jako kulturní památka České republiky.
Renesanční tvrz či zámek nechal v roce 1582 postavit Zdeněk z Valdštejna, ale dostavbu provedla až jeho manželka Marie z Martinic. Zámek Horní Branná představoval vrchol stavitelského umění své doby. Následně panství převzal Vilém z Valdštejna a v roce 1594 Adam, Vok a Heník z Valdštejna. V roce 1621 bylo Zárubům panství zkonfiskováno a získal jej Albrecht z Valdštejna. Ten jej v roce 1632 daroval hraběti Otovi Bedřichovi z Harrachu.
Během třicetileté války utrpěl zámek Horní Branná i s městem rozsáhlé škody. Po uzavření míru prošel rekonstrukcí, při níž bylo obnoveno jen první patro. Jelikož byl tehdejší majitel panství Ferdinand Bonaventura nezletilý, řídil ho za něj kardinál Arnošt Vojtěch z Harrachu.
Zámek Horní Branná byl v držení Harrachů do roku 1945, kdy byl Janu Nepomuku Antonínu zkonfiskován a získalo je ředitelství státních lesů a statku v Praze. V roce 1954 přešel do správy MNV, který v roce 1960 provedl rozsáhlou rekonstrukci.
Od roku 1989 je ve vlastnictví obce Horní Branná. Dnes je v něm umístěn Památník Jana Amose Komenského.
