Les premières traces remontent au XIIIe siècle. À l'époque, la forteresse de Fumal était ceinturée par une enceinte dont on peut voir encore quelques vestiges près de l'église. L'actuelle tour du château est d'ailleurs construite sur les sous-bassements du château. Les archives mentionnent la présence de la famille Warnant, devenue d'Oultremont.

C'est au début du XVIIIe siècle qu'il entre dans la famille du Fontbaré. Il est en effet acheté en 1688 par Séverin de Mérode. Marie-Madeleine, sa fille, épouse Jacques-Florentin du Fontbaré. Ils héritent du château en 1724. C'est leur fils, Antoine-Florentin du Fontbaré, qui réalisera de gros travaux transformant l'ancienne forteresse en château plus contemporain avec sa toiture à bulbe caractéristique.

Traces du passé Le château est ravagé par un incendie au cours du même siècle et en 1884, un second niveau est construit au-dessus des garages de la cour intérieure. Des travaux rendus nécessaires par le mariage d'un des membres de la famille, venu s'installer au château. Une petite tour de brique, abritant un escalier permettant d'accéder à ces nouvelles pièces, est alors construite sur l'aile Est du château.

Les dernières modifications de volume datent de 1912. Un fumoir est alors édifié à l'avant du château, au pied de la tour. Des fenêtres murées, des linteaux déplacés, des différences de niveaux. Ça et là, le castel conserve des traces de ses nombreux bouleversements qui ont forgé son histoire. J-L.T.