Zámek se nachází při jihovýchodním okraji obvodu vnitřního města, kde představuje nepřehlédnutelnou dominantu Bílovce. Zámek je od roku 1958 památkově chráněn.
První písemná zmínka o zámku pochází z roku 1543. Nejpravděpodobněji v letech 1575–1576 dal Bernard Pražma z Bílkova přestavět celý zámek v renesančním slohu. Hrabě Pražma byl považován ve své době za nejbohatšího a nejvlivnějšího muže celého opavského knížectví.
Roku 1604 zdědil zámek a panství Bernardův synovec Karel, významný představitel luteránské šlechty. V letech 1604–1608 a 1614–1620 byly na jeho zámku Bílovec uloženy opavské zemské desky a podstatná část zemského archivu.
V urbáři z roku 1696 je stručný popis zámku. „U tohoto města je panský zámek, s rozličnými velkými i malými pokoji, na všech čtyřech stranách z kamene k pohodlí nahoře i dole vystavěný, s klenbami, sklepy, komorami, vozovnou, pivovarem a sladovnou, palírnou a sýpkou – vše obehnáno silnou zdí pro případ ohrožení."
V roce 1729 byl zámek Bílovec těžce poškozen požárem. Obnovy rodinného sídla se ujal Václav Karel Sedlnitzký. Jedním ze stavitelů, kteří zámku vtiskli barokní podobu, byl známý krnovský stavitel Georg Friedrich Gans. Bylo strženo západní křídlo, a tím dostala budova otevřenou trojkřídlou dispozici, kterou má v podstatě dodnes. Barokní přestavba probíhala v letech 1736–1740.
V 19. století za Karla Michaela Sedlnitzkého se uskutečnila jedna z rozsáhlejších oprav zámku Bílovec. Jednalo se hlavně o renovaci fasády, omítnutí štukových říms a okenních šambrán. Byla naplánována také výměna dekorací kolem oken ve II. patře.
Bílovecký zámek byl od druhé poloviny 17. století až do roku 1945 majetkem významné šlechtické rodiny Sedlnitzkých z Choltic (Sedlnitzky – Odrowas von Choltitz).
Na sklonku druhé světové války byl zámek vyrabován a zapálen.
V 50. až 90. letech minulého století sloužil jako sklad.
Od roku 2011 prochází zámek Bílovec postupnou rekonstrukcí a revitalizací.
V současnosti se zde konají výstavy, divadelní festivaly, koncerty apod. Prohlédnout si můžete také stálou expozici rodu Sedlnitzkých z Choltitz.
