Chloubou a dominantou města Žirovnice v členité kopcovété krajině Českomoravské vrchoviny při hranici Čech a Moravy je rozlehlý areál hradu, upraveného na zámek. Stojí na skalnatém ostrohu nad říčkou Žirovnicí mezi dvěma rybníky. Zámek je od roku 1963 památkově chráněn.
Podle nálezů můžeme usuzovat, že k založení původní stavby došlo okolo poloviny 13. století. První konkrétní písemná zmínka je v listině Oldřicha z Hradce z roku 1358.
Roku 1485 koupil celé panství rod Vencelíků z Vrchovišť, konkrétně Václav Vencelík, který začal ihned se stavebními úpravami hradu. Jižní palác vystavěl do výšky dvou pater, nechal zde vystavět kapli, ve druhém poschodí rytířský sál a roku 1490 vymalovat tuto část hradu, a kapli zvlášť, freskami, které jsou zachovány dodnes. Dal dostavět i budovy na východní a západní straně, čímž vzniklo trojúhelníkové (dnes druhé) nádvoří. Úpravy svého sídla ukončil asi v roce 1494 a tak získal hrad zhruba dnešní podobu. V kapli se dochovaly fresky s biblickými motivy, navíc je zde vymalována i rodina Vencelíkova. Skutečně unikátní je i malba hutě v tzv. zelené světnici, znázorňující nejen huť a hrad, ale i prosté dělníky v huti pracující. V současné době je rozsah fresek na žirovnickém zámku označován za největší v celé České republice.
Celé panství zakoupil v roce 1544 Albrecht z Gutštejna. Ten učinil úpravy hradu Žirovnice. Na západní straně vystavěl kruhovou baštu, na straně východní baštu čtyřbokou. U hradeb postavil novou budovu pro služebnictvo a čeleď a dále novou bránu s padacím mostem.
Roku 1564 se hrad stal majetkem pánů z Hradce. Za Jáchyma z Hradce došlo k nevelkým stavebním úpravám hradu, které ale znamenaly začátek přerodu hradu v pohodlnější renesanční zámek. Syn Adam na hradě pokračoval ve stavebních úpravách, hlavně v letech 1576–1577 a 1580–1584. Tehdejší vzhled připomínají i dnes sgrafita obnovená na omítkách před vstupem do zámku.
Roku 1604 se majiteli panství stali Slavatové. Tento rod pokračoval ve stavebních úpravách a hrad se stále více stával zámkem. Neexistoval již padací most a zámek byl opatřen červenou rustikou, tak jak je to vidět i dnes po rekonstrukci. V závěru třicetileté války bylo děly rozstřílenoi druhé patro zámku a to již nikdy nebylo obnoveno. V roce 1652 zemřel Vilém Slavata a zámek Žirovnice měnil své pány a chátrala.
Roku 1693 se panství stalo majetkem Šternberků. Ti započali s opravami velice zchátralého zámku. František Leopold nechal vybudovat nové západní křídlo s řadou pokojů. Zároveň byl postaven špýchar, jak dokládá datum a erb Šternberků na ostění dveří. Šternberkové na zámku nežili, celé panství bylo spravováno prostřednictvím úředníků, a tak bohužel zámek nedostával tu údržbu, kterou potřeboval.
Poslední z rodu Šternberků, který vlastnil Žirovnici přes 200 let, byl Leopold Albert. Ten zámek i celé panství roku 1910 prodal Městu Žirovnici.
Zámek byl ve zchátralém a neudržovaném stavu. V budově zámku Žirovnice po 1. světové válce sídlily úřady – lihovaru, dvorů, města, a tak byla učiněna určitá zlepšení stavu budovy. V roce 1964 zámek vyhořel a jeho obnova byla zahájena v roce 1974. Rozsáhlé rekonstrukce pro účely muzea probíhaly až do 90. let 20. století.
Návštěvníci zámku mohou vidět soubor nástěnných gotických maleb a expozici „Květiny na šlechtickém sídle". Dále mohou navštívit výstavu vesnických tradic a řemesel v zámeckém špýcharu nebo expozici žirovnického knoflíkářství a perleťářství, pivovarnictví a šicích strojů v zámeckém pivovaru.
