Il convento di San Domenico, passato al demanio dello Stato dopo l'Unità di Italia in conseguenza della Legge del 21 agosto 1862 n. 794, fu poi trasferito al Comune di Martina Franca nel 1881.
L’immobile è contiguo alla Chiesa di San Domenico ed è uno degli esempi più significati dell’architettura del XV secolo. La costruzione del convento domenicano ai piedi del Colle di Montedoro risale infatti al 1400, quando i frati domenicani, raggiunto il numero previsto dalle costituzioni, si diedero da fare per innalzare una degna casa ed una chiesa nel posto dove si erano fermati precedentemente, cioè nel casale di Montedoro vicino a una chiesetta dedicata a San Nicola dei Greci.
Superficialmente si parla di stile gotico ma i pilastri poligonali pur sorreggendo archi ogivali nella loro spessa geometricità, parlano un linguaggio tutt’altro che gotico. Infatti nel ‘400 a Martina Franca non vigeva un determinato stile, quanto, piuttosto, un gotico nostrano molto sobrio e spoglio di sculture ricercate con tetti a capriate.
Dalle strutture e da particolari significativi all’interno del convento si deduce che attraverso i secoli sia stato ampliato. Si ipotizza che originariamente fu innalzato un edificio a pian terreno a pianta quadrata il cui punto centrale è il chiostro circondato da pilastri che sorreggono gli archi ogivali. Al centro sorge il pozzo che racchiude un significato mistico oltre che funzionale. Nel corso degli anni ha subito numerose modifiche soprattutto nel ‘700 in occasione dei capitoli provinciali qui celebrati. Nell’atrio del convento, sul lato sinistro rispetto all'entrata, è stata scolpita una croce nel muro che, per molto tempo, è stata attribuita a crociati di passaggio.
Successivamente si decise la costruzione della nuova chiesa: il convento venne rimaneggiato e ampliato grazie a uno scalone spazioso (che permetteva di accedere al primo piano) e all'acquisto di vecchie case che costituirono così nuove stanze. Chiesa e convento furono dedicati a San Pietro Martire. Nel 1754 per volontà del priore sorse al primo piano una graziosa cappella su disegno dell’Architetto B. F. Rapzino. Dalla porta di S. Maria costruita dal Sindaco Nicola Antonio Blasi nel 1596, chiamata in seguito porta del Carmine si accedeva attraverso la strada di S. Domenico, al convento e alla chiesa di S. Pietro Martire.
A piano terreno vi è un chiostro a cielo aperto delimitato da un colonnato che costituisce il porticato perimetrale interno. Su tale chiostro si affacciano i vani al piano terreno, del primo e secondo piano. Quest ultimo fu costruito dopo che il convento passò al demanio pubblico per essere adibito a carcere mandamentale.
Negli anni '60 del XX secolo gli uffici postali e giudiziari siti al pian terreno e al primo piano della struttura furono trasferiti e il carcere mandamentale fu chiuso.
Dal 1994 parte del primo piano e tutto il secondo piano (l’ex carcere) sono stati destinati dal Consiglio Comunale di Martina Franca a sede della Fondazione Paolo Grassi, con il preciso intento di consentirne il recupero e farne un punto di riferimento per iniziative culturali utili a rivitalizzare il centro storico e alla valorizzazione della città.
Grazie al supporto della Regione Puglia i lavori di restauro sono stati possibili dando il via al recupero integrale della struttura e rendendo possibile nel novembre del 2008 l'apertura della sede della Fondazione Paolo Grassi e della sua Bibliomediateca.