Le château du général Vandamme, comte d’Unsenbourg, appartient actuellement à M. et Mme Félix Bollaert-Le Gavrian. C’est l’ancienne maison du dernier prévot de la collégiale Saint-Pierre, M. Pierre Alexandre de Magnac, docteur en Sorbonne, aumonier des mousquetaires gris, né à Exideuil en Périgord. Il était le fils d’Anet de Magnac, écuyer, seigneur de Premelière. Après la suppression du chapitre de Saint-Pierre, vers la fin de 1790, l’abbé de Magnac fut forcé de quitter Cassel, mais sans émigrer de France. Il se retira en Dordogne ; néanmoins, ses biens, sa maison de Cassel furent confisqués et venus, ses revenus supprimés. M. de Magnac se fixa dans son pays natal, à Exideuil en Périgord, où il mourut tristement le 20 août 1793, à l’âge de 67 ans. Le château fut agrandi et embelli par le général Vandamme ; on prétend qu’il voulut donner à la nouvelle construction la forme d’une frégate de l’époque Empire. Le beau parc anglais exuste encore en partie, on peut se faire une idée de ce grand parc en remarquant l’immense mur qui entoure les pâtures actuelles qui formaient autrefois le parc. Le château, possédé par différents acquéreurs, a vu disparaitre à peu près toutes les statues en marbre qui se trouvaient dans son parc. Nous n’ignorons pas la grand préoccupation des propriétaires actuels est de rendre ce beau domaine toute sa splendeur napoléonienne. L’intérieur du château est de style Empire ; les motifs, qui ornent les salons, sont variés et très beaux, les tons sont harmonieux et dans le goût de l’époque, blanc sur jaune clair, sur ton rose clair, sur bleu clair. Des colonnes de marbres rares, des châpiteaux travaillés avec art, un beau mobilier Empire en meuble toutes les salles, des pièces curieuses et importantes y sont déjà réunis ; le bureau de travail du général Vandamme et une partie de sa correspondance, le portrait du comte Diomède, son fils et unique héritier du nom, mort en bas âge, des porcelaines, des objets en bronze, etc. M. et Mme Félix Bollaert tâchent de restaurer complètement la demeure du comte d’Unsenbourg et de lui rendre son caractère familial de l’époque. M. et Mme Bollaert ont sauvé le château de la ruine et d’une destruction certaine. C’est un des rares monuments Empire existant dans le Nord de la France.
Daniel Tack, Mont Cassel historique, archéologique, pittoresque, 1922, pp. 71-72.
Le général Vandamme fit l’acquisition de cette demeure le 13 pluviôse an II (1er février 1794). En 1810 il fait rajouter un étage comportant des fenêtres en forme de hublots et des extrémités arrondies qui lui donnent l’aspect d’un navire. Côté sud, une colonnade est surmontée d’un fronton orné de l’aigle impérial.
Une association – Le cercle impérial de Flandre – a été créée afin de sauver ce château classé monument historique depuis novembre 1980.