Zámecký areál, tvořící pohledovou dominantu nad údolím Kněžny, zaujímá severní část historického jádra města Rychnov nad Kněžnou. Spolu s průčelím kostela Nejsvětější Trojice je zámek jedním z největších barokních celků v Čechách. Celek tvoří výjimečnou dominantu města Rychnov nad Kněžnou, které se říká „rychnovské Hradčany."
V místech dnešního kostela Nejsvětější Trojice a na plošině před ním stávala již před rokem 1258 tvrz královského komorníka Heřmana z Rychnova, nazývaná později hradem a opakovaně obývaná příslušníky dvorské šlechty.
V roce 1640 se panství dostává do rukou Albrechta Libštejnského z Kolowrat (1583–1648). Jeho syn František Karel I. (1620–1700) roku 1676 dal pravděpodobně zbořit starý zámek a vybudoval novou raně barokní budovu v blízkosti kostela Nejsvětější Trojice.
Novou podobu zámku si vynutil požár z roku 1704. Po něm následovala přestavba v druhém desetiletí 18. století, patrně podle návrhu architekta Jana Blažeje Santiniho-Aichela pro Františka Karla II. Libštejnského z Kolowrat. Úpravy zámku byly započaty roku 1720 a dokončeny roku 1724.
V 18. století byla v zámku založena rozsáhlá obrazárna obsahující nejen rodovou galerii Kolovratů, ale i zakoupené obrazy domácích a světových autorů a další díla postupně přesunutá z jiných kolovratských zámků. Až do současnosti jsou zde k vidění např. obrazy Karla Škréty či Hanse von Aachena.
Liebsteinská větev Kolowratů vymřela po meči v roce 1861 a Rychnov pak připadl větvi krakowské, která požádala císaře o rozdělení a svolení, aby nová „rychnovská" rodina mohla používat přídomek Krakowský Liebsteinský.
Za 2. světové války uvalili Němci na kolowratské panství nucenou správu, v roce 1945 ho sice rodina převzala zpět, ale o tři roky později bylo znárodněno.
V roce 1992 se záemk Rychnov nad Kněžnou vrátil Kolowratům, současným majitelem je Jan Egon Kolowrat Krakowský Liebsteinský z rodu Kolovratů Krakovských Libštejnských.
V areálu zámku se také nachází Muzeum a galerie Orlických hor.
