Areál barokního zámku s klasicizujícími prvky spolu s rozsáhlým hospodářským zázemím je situovaný na návsi uprostřed obce Litohoř. Zámek tvoří s protilehlým kostelem sv. Jana Nepomuckého významnou dominantu obce. Od roku 1968 je zámek chráněn jako kulturní památka.
Od roku 1190 patřila Litohoř do majetku louckého kláštera, který nechal v obci na začátku 18. století postavit barokní zámek. Ten mu sloužil jako letní sídlo opatů. Poté, co došlo v roce 1789 ke zrušení kláštera, byl Wallisi připojen k budečskému panství.
Na počátku 19. století byl zámek Litohoř upraven pro hospodářské účely a zároveň zde bývaly kanceláře.
Dnes jej využívá Šlechtitelský a semenářský podnik v Litohoři. V roce 2005 prošel rekonstrukcí, při které dostal novou fasádu.
