La Casa Martí, en el seu estat actual, és fruit de la unió de tres antigues cases de la Part Alta de la ciutat.

La primera havia estat propietat del Col·legi Jesuític dels Sants Reis, de Tarragona. Decomissada per la Corona a la Companyia després de l'expulsió dels jesuïtes l'any 1767, va ser comprada per Antoni Martí i Gatell, el 1772, a la Junta municipal encarregada de vendre els béns dels esmentats religiosos a Tarragona.

El nou propietari, després d'haver-la millorada, hi va establir la residència l'any 1781. També va habitar la casa l'il·lustre científic altafullenc Antoni Martí i Franquès, fill de Martí i Gatell, que va viure a Tarragona des de l'any 1798 fins a la seva mort, el 1832.

El net de Martí i Gatell, Gaietà Martí i Veciana, va comprar dues cases veïnes els anys 1838 i 1857 i seguidament va escometre l'ampliació i restauració del casal primitiu. Les obres es van enllestir al començament dels anys seixanta del segle XX.

A partir de l'any 1976, i aprofitant l'espai utilitzable que oferia la casa, es van iniciar les primeres activitats amb vista a la creació d'un nou museu per a la ciutat: el Museu d'Art Modern de Tarragona. En primer lloc, calia fer l'inventari de tot el que es posseïa, seleccionar les peces més interessants i exposar-les.

Per manca d'espai, la zona dedicada a l'exposició permanent resultava petita; tanmateix, s'hi van celebrar tota una sèrie d'exposicions temporals, la qual cosa ajudava, a més a més, a apropar la gent al museu.

L'any 1983 la Diputació va adquirir l'immoble del carrer de Santa Anna, i dos anys després es va encarregar a l'arquitecte Jaume Mutlló i Pàmies el projecte d'adequació de l'edifici.