Významnou dominantou městské památkové zóny v Polné je hrad, později přebudovaný na zámek, stojící na ostrožně chráněné řekou a původně bažinami (dnes rybníky). Hrad Polná patří mezi nejstarší feudální stavby v Česku. Postaven byl zřejmě kolem roku 1320 Jindřichem z Lipé na ostrohu nad soutokem říčky Šlapanky a Ochozského potoka k ochraně zemské stezky. První dochovaná zpráva o samotném hradu pochází ovšem až z roku 1356. Tehdy samotný hrad tvořil dvoukřídlý palác.
Za hustiských válek byl hrad v držení pánů z Pirknštejna. Byl přebudován na rozsáhlý gotický hrad, který byl centrem polenského (později polensko-přibyslavského) panství. V 15. století rozšířili opevnění, zapojeny do něj byly i rybníky. Hynek Ptáček z Pirknštejna hrad na pomezí Čech a Moravy využíval k jednání s čelními představiteli šlechty podobojí. V letech 1464–1515 drží hrad páni z Kunštátu. Za jejich držení byl hradní palác (západní křídlo hradu) přestavěn, tuto událost dokládá v přízemí tohoto křídla dveřní portál kunštátským znakem a v patře rytířský sál, přezdívaný kvůli erbům na křížové klenbě Kunštátský.
Po požáru v roce 1584 byl hrad renesančně přestavěn na zámek. V té době byl obnoven vyhořelý starý palác a Kunštátský sál, jak palác tak spojovací chodba se severním křídlem dostaly nová renesanční okna. Nově dostavěn byl tzv. Hradecký dům. V majetku pánů z Hradce zámek po přestavbě zůstal až do roku 1597. Po tomto roce se majitelé střídali.
Po třicetileté válce byl polenský zámek značně poškozen, Ditrichštejnové proto přistoupili k jeho rozsáhlé rekonstrukci ve stylu vládnoucího baroka. V rámci úprav byl zrušen padací most, zavezen příkop a vybudována nová kašna na nádvoří. Po rozsáhlém požáru byla po roce 1810 správa panství definitivně přenesena na zámek do Přibyslavi. Polenský zámek chátral a část budov byla dokonce zbourána. Po smrti posledního mužského člena rodu Josefa z Ditrichštejna připadl zámek a panství dědicům v ženské linii. V roce 1922 koupil zpustlý zámek polenský továrník a mecenáš Václav Pojman, který jej věnoval tělovýchovné jednotě Sokol a Spolku polenského muzea.
V letech 1922–1926 byl hrad částečně opraven pro potřeby muzea. Dnešní podobu hrad a zámek získal rozsáhlou rekonstrukcí ukončenou v roce 2004. Na zámku dnes sídlí kromě Městského muzea také Základní umělecká škola, Kulturní středisko s kulturním sálem a Zámecká restaurace s ubytováním. V letním období se na nádvoří hradu konají příležitostné hudební produkce.
