L’origine du château est incertaine. Elle remonte au Moyen Âge, Le Falga est administré par deux consuls en 1384 et appartient au seigneur Deaussens.

Au XVIème siècle elle appartenait à la famille de Vernes. Jeanne de Vernes apportera cette seignerie par mariage en 1576 à Pierre de Soubirou, coseigneur de Brassac.

En 1670 Philippe Caffarelli, avocat au Parlement de Toulouse et contrôleur du canal du Midi, achète le château du Falga. 

Parmi ses petits fils, le plus célèbre Louis-Maximilien Caffarelli du Falga fit avec Bonaparte la campagne d’Egypte et sera tué en 1798 à St Jean d’Acre.

Aujourd’hui la propriété appartient toujours à ses descendants.