Nepatrné zbytky středověkého hradu Milštejn (něm. Mühlstein, v překladu Mlýnský kámen) najdeme na skalnatém hřebeni v lesích Lužických hor mezi Trávnickým a Suchým vrchem, asi 4 km severně od Cvikova. Zřícenina Milštejn je registrovanou kulturní památkou od roku 1958.
Přesná doba založení hradu není známa. Soudě dle ostatních budovaných lokalit byl hrad založen v 2. polovině 13. století na ochranu zemské stezky vedoucí z Lipé do Žitavy. Prvními známými vlastníky hradu byli Berkové z Dubé, významná větev rodu Ronovců. Nejstarší zmínka o hradu pochází z roku 1343, kdy zdejší posádka společně s Žitavskými pronásledovala Míšňany, kteří loupili v okolí Žitavy a Oybinu. Prvním historicky doloženým majitelem hradu byl až v roce 1362 Jindřich Berka z Dubé. Po jeho smrti roku 1404 se hradním pánem stal jeho syn Hynek Dubský, který se jako první z Berků psal Hynek z Milštejna. Když zemřel i on roku 1433, hradním pánem se stal syn Jindřich Berka z Milštejna. Když zemřel roku 1444 i on, panství se ujal jeho stejnojmenný syn, bydlel však v České Lípě. V Milštejně zanechal silnou posádku 12–16 zbrojnošů, kteří doprovázeli kupecké vozy na cestě z Žitavy do Prahy a také zde vybírali clo, mýtné. Přesto však byl hrad roku 1456 dobyt Lužickým vojskem, nicméně v 15. století zažil hrad období svého největšího rozkvětu.
V roce 1532 se Zdislav Berka z Dubé a Lipé, tehdejší vlastník i panství Milštejna rozhodl odejít do Zákup a z nich pak spravoval i Milštejn a okolí. Význam Milštejna proto pomalu upadal. Ještě v 80. letech 16. století byl hrad patrně udržován, ale koncem století už byl zřejmě pustý. Roku 1612 koupil panství Jan Novohradský z Kolovrat. V té době už ale hrad rychle chátral, v roce 1634 byly jeho zbytky zničeny švédským vojskem generála Bannera a definitivní zkázu pak dovršila vzrůstající těžba kamene, která v okolí probíhala od středověku do roku 1910. Těžba se bohužel po opuštění hradu rozšířila i na hradní skálu, která byla z větší části i se zbytky zdiva odtěžena. Několik nedokončených mlýnských kamenů můžeme ještě dnes najít v blízkém okolí.
Dnes je hrad dominantním skalním útvarem s nepatrnými zbytky původního zdiva. V podhradí je zavaleno několik velkých jeskyní, vzniklých převážně dolováním.
Pěší turisté se sem nejlépe dostanou po červené turistické značce z vlakové zastávky Svor, cesta je dlouhá 4,5 km. Zhruba 200 m od zříceniny je Stříbrná studánka, odkud voda stékala do rybníka, z něhož se zachovala jen hráz.
