A fiatal gróf soha nem kímélte a pénzt, a vadászatok, a bálok és a kártyajáték gyorsan elapasztotta a vagyonát. Az uradalmat 1916-ban dr. Haupt-Buchenrode István báró szerezte meg, aki családjával együtt a 2. világháború vége előtt elmenekült Sorokpolányból és a kastély értékeit, bútorait Innsbruck környékére szállíttatta. Az épületet a szovjet katonák elsősegélynyújtó helynek és hadikórháznak használták, majd az 1950-es években lakásként, DISZ és párthelyiségként, raktárként, 2002-ig általános iskolaként és óvodaként funkcionált. A rendkívüli módon elhasználódott kastély és a park sanyarú sorsában akkor történt gyökeres változás, amikor Kolos László dán-magyar milliárdos megvásárolta és 10 év alatt korhű, de nem eredeti állapotba hozatta.