Rapidement le château dut avoir un cercle de maisons
dans les environs, sur les flancs de la colline. Si l'on
peut considérer les murs du nord-est comme
témoignages de l'époque médiévale (tour octogonale
et ronde, chapelle), on peut penser que le reste du
château a subi des modifications profondes au cours de la
Renaissance (logements, salle des gardes, entrée). Cette
rénovation correspond à l'arrivée de seigneurs
importants : les familles d'Alezio et Castiglione,
Milanais qui s'installent dans le Narbonnais à la suite
du Cardinal de Ferrare, alors abbé de Fontfroide.
En 1709, six foyers existaient à St Martin en dehors du
château. A la révolution, la paroisse sera supprimée. Au
XVIIIème siècle, le château semble avoir été abandonné
comme lieu de résidence ; ses propriétaires habitent
Narbonne et une demeure modeste est édifiée au pied de la
montagne.
Tas de ruines imposant, il fut racheté et restauré, dès
1990. Il est aujourd'hui une demeure particulière.