Begin 20e eeuw ruimde het blauw bloed plaats voor nonnen. Franse zusters van de Norbertinessen-kloosterorde woonden er tot de Tweede Wereldoorlog, waarna het kasteel in handen viel van de Duitse bezetter.
Munitiedepot
Het Duitse leger gebruikte het Prinsenkasteel als munitiedepot. Toen ze in september 1944 holderdebolder op de vlucht moesten voor de oprukkende geallieerden, zetten ze het hele gebouw in lichterlaaie. De vijand kon fluiten achter de Duitse munitie.
'Na de brand bleven nog enkel de Gothische zaal, enkele zwartgerookte en bouwvallige muren, een gedeelte van de oude wachtkamer en de stallingen rechtstaan,' klonk het drie jaar na de verwoestende brand in Het Laatste Nieuws.