Gróf Festetics Andor1871-ben vette át a birtokot, aki már a következő évben megkezdte a park építését. Külföldről és Vörösvárról (ma Rotenturm, Burgeland, Ausztria) számtalan dísznövényt, fafajtát vásárolt és telepített a kastély körüli kertben.
Festetics Andor gróf alsószelestei nagybirtokos - az első Wekerle- kormány, majd a Bánffy-kormány földművelésügyi minisztere - vállalatai 1896-ban pénzügyi zavarba kerültek és a gróf 1901- ben csődöt kért maga ellen. 1906-ban királyi engedélyt kapott arra, hogy a hitbizományhoz tartozó alsószelestei uradalmat eladhassa, azaz annak árából adósságait rendezze. 1910-ben így került Alsószeleste kastélya és gazdasága Baich Mihály báró kezébe. A parkot arborétummá fejlesztő Baich Mihály 1926. évi ismertetésétől kezdve számtalan tanulmány, turisztikai kiadvány foglalkozott a már-már Szeleste szimbólumává vált szelestei kastéllyal és parkkal.
Baich Mihály, dendrológus, parképítő 1910-ben vásárolta meg Festetics Andortól az alsószelestei kastélyt és a birtokot, amely Alsószeleste, Ölbő és Pósfa községek területére terjedt ki. 1913-ban költözött oda, s folytatta a kastélyt övező park fejlesztését, amelyet az előző tulajdonos már elkezdett. Új fajokkal bővítette a kertet, majd 1914-ben üvegházat és melléképületeket építtetett. A háború a növények telepítését is hátráltatta. 1925-ben készült el a kastélyhoz vezető szerpentinút. 1927-re alakult ki a park két fő része: a felső dendrológiai és az alsó évelőskert. Szoros barátság fűzte Gáyer Gyulához, Saághy Istvánhoz és Ambrózy-Migazzi Istvánhoz is. Az arborétum területét 1928-ban bővítette, ekkor növekedett a 13,5 ha-ra. Kertépítő munkáját 1945 után már nem folytathatta, a földosztáskor a parkot elvették tőle.
1952-ben nyilvánították természetvédelmi területté az arborétumot.Az orosz megszállás és a kommunista diktatúra kezdetén Baich báró vagyonát is államosították, de a kastélyban lakhatott továbbra is, a falu népe nem bántotta. Aztán a Vas megyei pártszervek kilakoltatták, akkor a volt parádés kocsisa fogadta be, nála lakott évekig, majd 1955-ben, egy vasárnapi mise alatt otthon öngyilkos lett.