Na zámek přestavěný hrad najdete na vrchu nad stejnojmenným městečkem, přímo nad známým pivovarem. Zámek byl v roce 1964 zapsán do státního seznamu kulturních památek.
První historická zmínka o Černé Hoře, tedy i o hradu, pochází z roku 1279, kdy se připomíná Matouš z Černé Hory. Počátkem 14. století získávají Černou Horu Boskovicové, kteří se nejvýrazněji zapisují do podoby hradu. Jeho gotická podoba se mění v roce 1561, kdy Albrecht Černohorský z Boskovic postavil renesanční předhradí a vlastní jádro hradu přestavěl na renesanční zámek. Když v roce 1597 vymírá mužská větev rodu Boskoviců, získávají sňatkem černohorské panství Lichtenštejnové.
Roku 1724 zámek vyhořel a zůstal dlouho v troskách. Část byla přestavěna barokně v roce 1830, část zůstala pod provizorním zastřešením až do roku 1859, kdy panství získal rod Friesů. Pro přestavbu zámku získali Friesové vídeňského architekta Theofila Hansena, který odstranil barokní přístavby. Zámek dostal pseudorenesanční podobu, opět tedy došlo ke slohovému sjednocení zámku a předzámčí.
Současně byly provedeny rozsáhlé parkové úpravy vrchu Paseka, započaté již v 18. století. Byly vybudovány vycházkové pěšiny, upraveny přístupové cesty, vysázena stromořadí a některé exotické dřeviny. V roce 1945 získává zámek stát, od roku 1950 až do dnešních dnů slouží jako Domov pro seniory.
Součástí zámeckého areálu je křížová cesta, která vede na kopec Paseka (Zámecký vrch) severním úbočím ke kapli svaté Rodiny. Byla postavena roku 1864 nákladem Flory Friesové a tvoří ji čtrnáct zastavení. Po 2. světové válce křížová cesta pustla. Kořeny okolních lip vyvracely jednotlivá zastavení, některá i spadla. V letech 1999–2002 skupina mladých dobrovolníků ze Sdružení pro Černou Horu obnovila cestu a opravila kapličky. Bylo třeba znovu zhotovit řadu pískovcových prvků a zajistit staré, ručně vyráběné cihly. Náročné práce v obtížném terénu byly dokončeny roku 2004.
