V centru městysu Jimramov se nachází v jádru renesanční, klasicistně upravený jednopatrový čtyřkřídlý zámek s uzavřeným dvorem. Zámek je od roku 1970 chráněn jako kulturní památka České republiky.
Za zakladatele zámku je považován Pavel Katharin z Katharu (zemský purkrabí markrabství moravského), který koupil jimramovské panství v roce 1588. V roce 1593 dal postavit nejstarší část dnešního zámku v renesančním stylu. Nade dveřmi je pamětní deska se třemi erby. Erby jsou zakladatele zámku a jeho dvou manželek: vlevo – Lidmila Kitliczowna z Rudolce, první manželka jeho umřela léta Páně. 1586; uprostřed – Pavel Katharin z Katharu, na Dalečíně a Jimramově, purkrabí zemský markrabství moravského; vpravo – Krizelda Cegkowna z Wolbramowicz, druhá a poslední manželka jeho.
V roce 1669 zpustošené panství přejímá Jan Václav Novohradský z Kolovrat, za něhož dochází ke konzolidaci poměrů. V roce 1680 přejímá zkonsolidované panství jeho syn Filip Antonín z Kolovrat – hospodářství znovu upadá.
V roce 1689 kupuje panství v dražbě rytíř Konrád Ferdinand z Bornsadtu, od roku 1691 jej vlastní jeho manželka. Za její vlády dochází k rozšíření panství a k jeho zvelebení. Její dcera Marie Anna z Niebrů se ujímá panství v roce 1712, v roce 1746 její neteř Marie Antonie z Waldorfu, která staví severní křídlo zámku a krytou chodbu do oratoře katolického kostela. V roce 1778 postupuje panství své neteři Marii Theodoře, rozené z Freiensfelsu, provdané za hraběte Antonia Belcredi.
V 19. století je stavěno západní křídlo a tím se uzavírá čtvercové nádvoří. Na nádvoří stojí kašna z roku 1809 a na zdi sluneční hodinyz roku 1798. Belcrediové jsou majiteli až do roku 1948, kdy je jim panství vyvlastněno.
Zámek Jimramov obklopuje park, který sestává ze tvou částí: terasovité, převážně zatravněné zahrady bezprostředně obklopující zámek na jižní a východní straně ohrazené kamenou zdí a přírodně krajinářskkého parku severně od zámku, tzv. park Bludník, který je sekundárně oddělen od zámeckého komplexu silniční komunikací a je veřejnosti přístupný.
Od roku 1963 zde bylo Střední odborné učiliště železniční, do roku 1998 Integrovaná střední škola dopravy a zasilatelství. V restituci byl zámek navrácen Belcrediům v roce 1991.
Nyní je zámek Jimramov v majetku rodiny Belcredi a není přístupný veřejnosti.
