První zmínka o existence tvrze je z roku 1408 v podobě léna na Deštné, které olomoucký arcibiskup potvrdil Zikmundovi z Bítova. Tvrz byla v polovině 16. století podle pramenů už opuštěná, třebaže v roce 1580 přijal Václav Mitrovský z Nemyšle její půlku lénem. V roce 1634 byl jako majitel uváděn Jan Karel Huttendorf a v roce 1724 Zikmund Schrattenbach.

Ten zahájil na přelomu 17. a 18. století její přestavbu na osově souměrný barokní zámek s hlavním vstupním průčelím, obráceným k východu do areálu hospodářského dvora. Dokladem, že k přestavbě došlo právě v této době za Zikmunda Schrattenbacha, je mariánský obraz z deštenského kostela s erbem tohoto šlechtice, v jehož rohu je zachycen zámek v takřka dnešní podobě.

Konečná dostavba 

Od roku 1761 byl zámek v majetku hrabat z Renardů, ale stále ho ohrožovalo nestabilní podloží. Ve druhé polovině 18. století byl zámek z popudu Ondřeje Renarda opraven. Jeho střední část byla sevřena táhly, zámecké křídlo bylo v základech podchyceno a opravy se dočkala též kaple i budovy hospodářského dvora.

V roce 1874 se majitelkou stala Ludmila von Schlieffen a od roku 1881 ho vlastnila rodina Richterů. Posledním soukromým majitelem zámku byli od roku 1934 Josef a Karolina Mohrovi.

Krušné časy

V roce 1945 byl označen za německý majetek a jako takový Benešovými dekrety znárodněn. Od roku 1951 ho získaly Československé státní statky. Jeho údržbou se noví vlastníci nezabývali a zadní stěna ve střední části se zhroutila.

Během devadesátých let minulého století se rozpad této dvoupatrové budovy se třemi křídly, malým nádvořím a parkem, začal pravděpodobně i vlivem podloží, projevovat prakticky v celém jeho rozsahu a zvažovaná byla demolice. Současnost zámku je zatím jen smutná. Po roce 1990 byl zprivatizován a noví majitelé, bratři Trlicové, zřídili v přilehlém dvoře truhlářství.

Došlo k zastřešení jižního bočního křídla, ale objekt je stále víc zříceninou než zámkem a jeho zapsání do seznamu národních kulturních památek na tom nic podstatného nezměnilo.