Výjimečná stavba raně barokního šlechtického sídla – zámku Jilemnice se nachází severně od kostela sv. Vavřince a nedaleko areálu městské nemocnice. Areál je tvořen budovou zámku, hospodářskými budovami a parkem, který jej obklopuje. Zámek je chráněn jako kulturní památka,
Zámek byl pravděpodobně vystavěn pány z Újezdce na základech Valdštejnské středověké tvrze, která byla vystavěna ve 14. století. V tomto období se v historických pramenech objevuje souběžně označení tvrz i zámek, proto nemůžeme s určitostí říci, kdy přesně byl vystavěn. Asi ve stejné době jako zámek vznikla nedaleko něho kaple sv. Alžběty (označovaná také jako kostel).
Později zámek zdědili Harantové z Polžic a Bezdružic. V roce 1701 jej zakoupili Harrachové, kteří v roce 1716 zámek Jilemnice přestavěli. Během této přestavby došlo také ke stržení některých částí zámku. Za Harrachů navíc nesloužil jako sídlo majitelů panství. Pozornost mu věnoval až Jan Nepomuk Harrach, jenž nechal v letech 1892–1895 zámek pseudorenesančně přestavět podle návrhů Josefa Pošepného.
Po druhé světové válce byl Harrachům zámek dekretů zkonfiskován a ve vlastnictví státu je do současnosti. V roce 1945 byl vytvořen rozsáhlý inventář, díky čemuž máme podrobnou představu o vybavení hraběcího bytu.
Od roku 1953 v prostorách zámku Jilemnice sídlí Krkonošské muzeum.
