Ce centre culturel était autrefois un hôtel particulier, construit dans le courant du XVIe siècle. Un grand bâtiment, qui ne passait pas inaperçu, rue de Rougemont.
LA FAMILLE CŒURDEROY 
Mme Cœurderoy, propriétaire des lieux, n’était autre que la mère du dissident politique Ernest Cœurderoy contraint à l’exil en 1850, pour ses idées socialistes, qui se suicida dans le canton de Genève, à l’âge de 37 ans.
C’est à la ville de Tonnerre qu’elle décide de léguer tous ses biens ainsi que son hôtel particulier, à la condition de transformer ce dernier en bibliothèque et en musée.

ENEST COEURDEROY