Na návrší nad obcí Jaroslavice se tyčí monumentální jednopatrová zámecká budova o čtyřech křídlech soustředěných kolem obdélného rozlehlého dvora. Zámek je od roku 1973 památkově chráněn.
Jaroslavický zámek je vybudován na místě, kde je poprvé výslovně doložena roku 1255 tvrz. Zbytky tvrze (hranolová věž zachovaná v přízemí východního křídla, a na ni navazující palác, stejně jako původně pozdně gotická nynější věž a zeď mezi ní a palácem) jsou dochovány ve hmotě dnešního zámku.
Poté, co hrad získal v roce 1564 Scipio hrabě z Archu, došlo k jeho přestavbě na rozlehlou čtyřkřídlou budovu s vnitřním jednopatrovým ochozem a s věží přibližně v ose jižního průčelí. Datace a autorství přístavby terasy s lodžií předpokládáme kolem roku 1600. Významnými majiteli a stavebníky byli páni z Dubé a Lipé, kteří roku 1609 prodali Jaroslavice Volfovi Dětřichovi z Althanu. Michal Jan II. z Althanu zřídil po svém sňatku roku 1667 v zámku Jaroslav kapli se štukovou výzdobou, mimo jiné zaklenul a upravil interiéry v 1. patře jižního křídla.
V letech 1702–1789 bylo jaroslavické panství sloučeno s vranovským. Barokní úpravy proběhly zřejmě ve 30. letech 18. století. Při nich byl reprezentační vjezd přemístěn do jižního křídla. Dále při nich bylo upraveno celé západní křídlo (velký společenský sál, později zrušený) a vznikly nárožní přístavby. Závěrečné úpravy jsou datovány letopočtem 1770 na boční brance a týkaly se zejména dvorní fasády severního křídla. Roku 1790 Althanové panství prodali.
Majitelé zámku Jaroslavice se poté často střídali, od roku 1835 do roku 1919 zámek vlastnili Hompesch-Bollheimové, po nich do roku 1945 hrabata von Spee. V 1. čtvrtině 19. století byly některé interiéry zámku upraveny historizujícím způsobem – vznikla reliéfní výzdoba chodby východního křídla a malované tapety. Po roce 1945 nejen zámek, ale i celé městečko, nacházející se v pohraničí, procházely výrazným úpadkem, devastací kulturních hodnot. Zámek sloužil od roku 1948 jako sídlo pohraniční stráže.
V současné době je zámek Jaroslavice v soukromých rukou, ale jeho nutná oprava jsou komplikovány nedořešeným restitučním sporem s rodinou Spee.
