Po smrti Přemysla Otakara II. žila na hradeckém hradu v letech 1279 až 1281 královna vdova Kunhuta Uherská a v roce 1305 v něm pobýval její vnuk Václav III.

Od 16. století měl hrad několik zástavních pánů a v roce 1585 ho začal Kašpar Pruskovský z Pruskova přebudovávat na renesanční zámek s okrasnou zahradou a lesoparkem. Objekt měl od 18. století proslulou zámeckou kapelu a v divadelním sále byly inscenovány opery.

Roku 1778 získal panství knížecí rod Lichnovských z Voštic a po požáru v roce 1796 dostával zámek postupně empírovou podobu, kterou má dodnes. Areál byl ve druhé polovině 19. století rozšířen o novogotický Červený zámek s konírnami, kočárovnou a hradební zdí.

Stavbu zámku původně řídil architekt Alexis Langer a dokončil ji architekt Händel z Výmaru. Přírodně krajinářský park vznikl začátkem 19. století a rozlohou je největší v Moravskoslezském kraji a druhý nejrozsáhlejší na Moravě i ve Slezsku.

Některé původní stromy jsou v něm staré až čtyři sta let. Na jeho okraji byla postavena pseudogotická Bílá věž.

Členové tohoto rodu vynikali vzdělaností, vysokým společenským postavením a kulturními zájmy. To zákonitě vedlo k prestižnímu postavení hradeckého zámku navštěvovaného panovníky, hodnostáři evropských dvorů a politickými i společenskými celebritami.

Pobývali v něm skladatelé L. van Beethoven a F. Liszt i jeho dcera Cosima Wagnerová, houslový virtuos N. Paganini nebo malíř J. Mánes, přátelské vztahy udržovali Lichnovští s W. A. Mozartem, A. von Humboldtem, R. M. Rilkem, M. Twainem, P. Picassem i O. Kokoschkou.

Proslulá je hlavně Beethovenova návštěva v roce 1806, spojená s roztržkou mezi ním a knížetem. Rozzlobený skladatel tutéž noc zámek opustil a nechal hostiteli jen vzkaz: „Kníže, co jste, stal jste se díky šťastné náhodě svého zrození. Čím jsem já, stal jsem se díky vlastnímu přičinění. Je mnoho knížat a budou jich ještě tisíce. Beethoven je jen jeden!“

Lichnovští museli zámek opustit v květnu 1945 hned po jeho konfiskaci ve prospěch státu. Bílý zámek prošel od roku 1978 dlouhou generální opravou a od roku 2001 je s Červeným zámkem a Bílou věží v seznamu národních kulturních památek.

Od jara do podzimu je s Bílou věží přístupný veřejnosti a na Beethovenovu památku se v Červeném zámku každoročně pořádá hudební festival Beethovenův Hradec.