L’ancienne résidence des Comtes d’Egmont passa vers le milieu du XVIIIe siècle à la famille d’Arenberg.
Après moult péripéties, l’Etat en devint propriétaire en 1964.
Les édifices encadrant la cour d’honneur sont l’oeuvre de trois architectes, à trois époques différentes : Servandoni pour l’aile centrale bâtie en 1753 en style classique, T.F. Suys pour l’aile gauche (1832-1835) et O. Flanneau pour celle de droite érigée au début du XXe siècle suite à un incendie qui ravagea les derniers vestiges gothiques du palais.
