El primero de ellos, Scipion Caffarelli, llegó de Italia en 1532 en el séquito de Catalina de Médici, prometida del futuro Enrique II. La familia se instaló en Montpellier, afrancesó su nombre en Caffarel y se convirtió al protestantismo. En 1681, Philippe Caffarel, abogado en el parlamento de Toulouse, recibió el señorío de Le Falga de Pierre de Soubiran en pago de deudas. Estaba en ruinas: un minucioso inventario, auténtica «fotografía» de 1681, solo encontró tres estancias en buen estado.
Philippe convirtió el antiguo establo en vestíbulo y mandó construir una escalera monumental de tramos rectos alrededor de un hueco: un teatro donde cada uno es actor y espectador, signo brillante de éxito. Sus pilares y su barandilla son iguales a los del palacio episcopal de Castres.