Poprvé vyhořel v polovině 16. století a zažil ještě další tři požáry. Do barokního stylu byl objekt přestavěn začátkem 18. století. Po zrušení řádu byl klášter používán vojskem jako skladiště a tento úděl měl prakticky až do konce druhé světové války.

Ani pak si moc nepolepšil, protože sloužil jako sklad pro divadlo a obchod. Dostal se do stavu, kdy mu hrozila demolice, ale v 70. letech ho zachránila rekonstrukce. Současně ho však i poškodila, protože některé necitlivé zásahy zničily cenné historické prvky.

Přišel o některé části a z původního komplexu se dochovalo jen východní a severní křídlo. Získal však statut kulturní památky a stal se Domem umění.

V novodobém přízemí se nachází klenutá křížová chodba, refektář, ambit a vinárna. Prostor prvního patra slouží jako městská galerie a jsou v něm pořádány i některé komorní kulturní akce. K severní straně přiléhá ke klášteru Moravská kaple s freskami Matěje Apricedese z roku 1618, klášterní chodbu zdobí barokní Immaculata ze začátku 18. století.

V současné době prochází objekt generální rekonstrukcí.

Návrh budoucí vstupní části.