Po zrušení jezuitského řádu vlastnil panství náboženský fond, od kterého ho koupil Fridrich Eichendorf. V roce 1787 nechal na pozemku po bývalé tvrzi postavit romanticky vyhlížející barokní zámek.

Trojkřídlá jednopatrová stavba s mansardovou nástavbou má u každého křídla stejně vysokou budovu se zdobenou fasádou. V roce 1845 se majitelem šilheřovického panství stal pruský královský tajný rada Salomon Meyer, svobodný pán z Rothschildu, a jako vlastnictví zůstalo proslulému bankéřskému rodu až do druhé světové války.

Po druhé světové válce zámek sloužil jako hornické učiliště, kde probíhaly také výchova a vzdělávání dětí a mládeže. Od roku 1967 až dosud v něm sídlí učiliště pro zaměstnance v gastronomii, prodavače a kadeřnice. Občas jsou v něm pořádané též některé společenské akce.

Po roce 1820 k zámku přibyl anglický park, který patří k největším svého druhu v republice. Uprostřed se nachází rybník s loveckým zámečkem a v okrajové poloze u romantické brány s kamenným kančím sousoším je Evelinino jezero s ostrůvkem.

K němu se váže příběh o Evelíně z Rotschildů, která se v něm prý z nešťastné lásky utopila.

Park byl postupně rozšiřován až do současné rozlohy osmadevadesát hektarů, plné zeleně. Původně zde byly vysazeny buky a také rozložité duby působí velmi impozantně. Přímo u zámku zase rostou skupiny mohutných platanů a pěnišníků.

Významný prvek představují tři umělé vodní plochy a pozůstatky romantických staveb, před zámkem stojí hudební pavilon. Ve svahu hlavního palouku pod zámkem stojí Neptunova kašna, v parku se nachází bazén se sousoším, u rybníka byly v 19. století postavena zámecká oranžerie a u Evelinina jezera bývala vstupní brána se sochami.

V parku se dochovaly dvě mramorové vázy, menší bazén s vázou a tři romantické mosty. V oranžerii dnes sídlí golfový klub a v parku je jedno z nejrozsáhlejších golfových hřišť. Lovecký zámeček vyrostl na břehu prostředního rybníku v 18. století a dnes je v něm restaurace.

V největším ze tří salonků, a to Loveckém, se zachoval i původní krb. V lese na konci palouku je romanticky vyhlížející pavilon Švýcárna.