Le donjon est construit entre 1180 et 1190. Il apparaît en 1182 avec Gaudin de Romefort. De 1309 à 1452 il est possession des Culant. Georges de Sully en fait l'acquisition en 1452 mais l'indivision entre ses enfants est le prélude à son abandon.
Romefort est alors acheté le 10 avril 1548 par Pierre de Segondat, général des finances de Guyenne. Une querelle éclate avec la famille de Sully qui avait fermé la moitié de la propriété. C'est son gendre Jean d'Harambure dit « le borgne » qui obtient raison le 18 novembre 1597. En effet celui-ci épouse sa fille Marie de Segondat et devient Seigneur de Romefort pour la totalité du domaine. Il exerce une gestion active et multiplie les acquisitions diverses pour agrandir le domaine.
Son fils Jean d'Harambure, à la tête d'une fortune considérable grâce à son épouse Marie de Tallemand des Réaux, poursuit cette gestion active. Il est tué en Italie au combat de la Route en 1640 et c'est son frère Henri d'Harambure qui lui succède dans ses fiefs. Ceux-ci sont partagés entre ses six enfants. La révocation de l'Édit de Nantes et ses conséquences amènent les descendants du fameux « Borgne », restés protestants, à se réfugier à Preuilly et à abandonner Romefort.
Il s'ensuit une série de procès qui ne se terminent qu'après un dédommagement de Jean Samuel, marquis d'Harambure et gouverneur de Poitiers. Romefort est ensuite entre les mains des marquis de Bélabre jusqu'à la révolution qui marque la disparition de la seigneurie et le morcellement des terres. Le château est ensuite acquis par la famille de Bondy et se trouve maintenant dans sa descendance.
Le château de Romefort est restauré entre 1872 et 1877 dans le « style Troubadour » sous la direction de A Arveuf , élève de Questel. Le corps de logis situé entre une tour ronde du xve siècle et une tour carrée du xviie siècle ; le logis est remanié en 1921. Le père De Foucauld est converti dans ce château par la comtesse de Bondy.