Sous l'église se trouvait une crypte renfermant les reliques de quatre saints qui auraient souffert le martyre au lieu de Caunes, durant une persécution décidée sous Dioclétien.
En 1623, le seigneur du lieu, Jean de Trégoin rencontrait sur les lieux l'archevêque de Narbonne et l'abbé de St Paul pour reconstruire l'église du lieu. Mais l'éloignement des bâtiments, les difficultés des transports allaient empecher la réalisation du projet. En 1644, la famille de Trégoin vend la seigneurie à Anne de Chambert, seigneur de Bizanet.
La partie la plus ancienne du prieuré est la crypte. Elle renferme un pilier du Moyen-Age et un bénitier en pierre bien visibles. La façade imposante par ses proportions, ses fenêtres à demi-masquées par la végétation, ses contreforts font la curiosité des gens de passage sur la route d'Ornaisons. Le prieuré est un délicieux endroit dans lequel la fraîcheur des sources, la verdeur des lauriers, la beauté des pierres attirent ceux qui recherchent le calme, ceux qui apprécient les vestiges du passé.