Dopo aver accolto le famiglie più bisognose di Anghiari nel Dopoguerra, fu ristrutturato, cercando di ricreare l’atmosfera di una casa rinascimentale con i suoi caminetti e portali in pietra e poi trasformato in museo, secondo i desideri del proprietario, il sacerdote ederudito don Nilo Conti che con questo scopo lo aveva donato allo Stato nel 1959.

Il percorso museale si articola in circa venti sale disposte su quattro livelli, raccordate da una scala lignea in una movimentata e insolita successione di ambienti che si conclude in una loggia vetrata con vista sul borgo di Anghiari.

Attraverso frammenti scultorei e affreschi staccati al piano terreno si documentano alcuni aspetti della storia della Valtiberina, mentre il piano nobile è dedicato alla scultura lignea e alle robbiane e conserva il capolavoro del Museo, la Madonna con Bambino di Jacopo della Quercia (1420).

Il terzo piano espone una collezione di armi anghiaresi, famose per la ricchezza delle decorazioni, e dipinti del Cinquecento e Seicento (Giovanni Antonio Sogliani, Matteo Rosselli, Jacopo Vignali, Giovan Battista Ghidoni).

Singolare la raccolta di Madonnine agghindate che, unite alla collezione di don Nilo Conti, ricca di ex voto e carte gloria, ricostruisce alcuni aspetti della devozione popolare.