De kerk van Le Falga wordt al in 1318 vermeld en in 1384 heeft het dorp twee consuls. Uit deze periode, eind 14e of begin 15e eeuw, dateert de zuidtoren, het oudste deel van het kasteel. Een schietgat verdedigt nog altijd de gevel, een kanongat de windzijde. Beneden overwelfde zalen, boven één grote ruimte voor de heer en zijn familie.
In februari 1570 trekt het protestantse leger door de Lauragais. Caraman wordt heroverd, Cuq en Auriac verwoest, evenals de kerk van Le Vaux en haar bijkerk in Le Falga. Het kasteel behoort dan toe aan de protestanten Jacques en Jeanne Vernès. Eeuwen later vindt Marie-Laure de Caffarelli op de bodem van de put een gebeeldhouwd christusmonogram, intact en zwart van het slib – misschien weggerukt uit de kerk van Le Vaux en daar geworpen om nooit meer gezien te worden.