Ancienne forteresse qui appartenait au seigneur de Gournai lors du siège d'Arras en 1414. La famille de Habarcq a possédé ce château jusqu'au milieu de XVIe siècle.
Il passe ensuite de famille en famille en 1550 il est à Gilles de Lens puis à la famille de Marquais, à Jérome de Cassina et François de La Haye, à Pierre-Allard de Lannoy et Philippe de Haynin.
En 1747 c'est Nicolas Mazel de Leval qui l'achète et le transforme fortement.