La chiesa di Le Falga è citata già nel 1318 e nel 1384 il villaggio ha due consoli. Di quest’epoca, fine XIV o inizio XV secolo, è la torre sud, la parte più antica del castello. Una feritoia difende ancora la facciata, una cannoniera il lato esposto al vento. Al piano terra sale voltate; al piano superiore, un unico grande spazio per il signore e la sua famiglia.
Nel febbraio 1570 l’esercito protestante attraversa il Lauragais. Caraman è riconquistata, Cuq e Auriac distrutte, come la chiesa di Le Vaux e la sua succursale di Le Falga. Il castello appartiene allora ai protestanti Jacques e Jeanne Vernès. Secoli dopo, Marie-Laure de Caffarelli ritrova in fondo al pozzo un crismon scolpito, intatto e annerito dal fango: forse strappato alla chiesa di Le Vaux e gettato lì perché non lo si vedesse mai più.