Après la chute de l’Empire en 1870, le Baron passe plusieurs mois de l’année en son château de Cestas « le lieu le plus cher au cœur du vieil homme public, sur les épaules de qui pèsent les ans » où il rédigera une grande partie de ses « Mémoires ».