Barokní lovecký zámeček s kaplí a drobnými hospodářskými budovami tvořícími čestný dvůr najdeme v romantické krajině na samotě v sídelní lokalitě Karlštejn nedaleko města Svratka.
Stavbu původního, tzv. lovčího zámku zadal hrabě Filip Kinský (1741–1827) z rodu Kinských z Vchynic a Tetova, v jejichž majetku zůstal zámek do roku 1823. Zámeček byl postaven ve stylu středoevropské architektury pozdního baroka. Poté byl získán německým (bavorským) knížecím rodem Thurn-Taxis.
Po roce 1945 byl majetek zkonfiskován československým státem. Ve druhé polovině 20. století se v objektu postupně vystřídalo více uživatelů.
Po roce 1989 se zámek Karlštejn dostal do soukromého vlastnictví a v letech 2014 až 2020 byl zámek renovován. Tato renovace vrátila zámečku dobovou pozdně barokní atmosféru. Od července 2020 je zámek přístupný veřejnosti. Před zámkem se rozkládá obdélné nádvoří (cour d honneur), jehož severovýchodní a severozápadní nároží jsou zastavena konírnami, kolnami a byty.
