Z pałacem historia nie obeszła się łagodnie. W 1899 obiekt trafił w ręce amerykańskiego milionera, który kupił go dla swojej córki Mary Knowlton jako prezent ślubny. W czasie II wojny światowej w pałacu znajdowało się archiwum wojskowe III Rzeszy. Potem prewentorium dla dzieci z gruźlicą i tu zaczął się powolny upadek perełki, który mamy nadzieję wkrótce będzie już odległą przeszłością.