Apponyi Antalt a kor egyik legműveltebb földesurának tartották.. Barátságban állt Mozarttal, Haydn-nal (a Teremtés és az Évszakok című oratóriumok megjelenéséhez anyagilag is hozzájárult), ismeretség kötötte Beethovenhez, és megfordult nála - igaz csak egy éjszakát töltött a kastélyban - Liszt Ferenc is.
)
Később Apponyi Károly lett a kastély ura, aki csak ritkán tartózkodott a Hőgyészen. Az ő fia, Géza viszont életének jelentős részét itt töltötte feleségével, gróf Széchenyi Paulával. Apponyi Géza az épületet 1890-ben restauráltatta, és 1928-ban bekövetkezett halálakor a Vénusz kápolnában temették el, de mivel azt többször is feltörték, 1962-ben a koporsókat átvitték a csicsói kápolnában lévő kriptába. Az utolsó itt élő Apponyi, II. Apponyi Károly 1939-ben eladta a kastélyt az Országos Társadalombiztosítási Igazgatóságnak.
Az eladást követően kezdődött a pusztulás, a parkból különböző nagyságú területeket szakítottak ki. Először üdülő, majd irattár volt, a II. világháború idején lengyel menekültek szállása lett. Később katonai kórház, és 1954-ig görög menekültek otthona volt a kastély. 1954-től nevelőotthon, iskola, majd újra gyermekotthon lett. A sokszori funkcióváltás miatt az eredeti belső térszerkezet a felismerhetetlenségig átalakult. A park közepére épült egy stílusidegen épület, ahol a gyermekotthonhoz tartozó műhelyeket alakították ki (ebből lett később az Elízium). A régi értékes növényállomány a gazdátlanság következtében elsatnyult, illetve össze-vissza nőtte be a parkot. A hanyatlás után 1999-től következett a kastély máig tartó új fénykora.
