El Museu d’Art Modern va ser creat per la Diputació de Tarragona per promoure l’estudi i el coneixement de l’art modern i contemporani i, així mateix, per conservar i mostrar el seu patrimoni artístic i compartir-lo amb la comunitat. Amb aquesta finalitat es va constituir, doncs, el Museu, dotat d’una biblioteca auxiliar, un centre de documentació i un arxiu fotogràfic.

L’edifici on es troba el Museu, en el seu estat actual, és fruit de la unió de tres antigues cases de la Part Alta de la ciutat. La primera havia estat propietat del Col·legi Jesuític dels Sants Reis, de Tarragona. Confiscada per la Corona a la Companyia després de l’expulsió dels jesuïtes l’any 1767, fou comprada per Antoni Martí i Gatell l’any 1772 i l’edifici fou conegut durant molts anys com a can Martí d’Ardenya.

Antoni de Martí i Gatell fou el pare de l’il·lustre científic Antoni de Martí i Franquès que visqué a Tarragona des de l’any 1798 fins que va morir l'any 1832, i en aquesta casa hi establí la seva biblioteca i el seu laboratori. Entre altres estudis el més important és el que titulà Sobre la quantitat d’aire vital que es troba en l’aire atmosfèric (1790). A la façana principal del Museu, la Reial Acadèmia de Ciències de Barcelona hi col·locà una làpida en record d’aquell il·lustre científic.

L’any 1951 s’estableix a la Casa Martí l’Escola d’Art de la Diputació de Tarragona fins que l’any 1976 es trasllada a la ubicació actual, a la zona de Sant Pere Sescelades. A partir de l’any 1976, i aprofitant l’espai utilitzable que oferia la casa, s’iniciaren les primeres activitats amb vista a la creació d’un nou museu per a la ciutat. L’any 1983, la Diputació adquirí l’immoble i dos anys després s’encarregà a l’arquitecte Jaume Mutlló i Pàmies el projecte d’adequació de l’edifici i l’any 1991 reobrí les portes. El 2008 el Museu d’Art Modern renovà l’exposició de la col·lecció permanent i donà un important caràcter didàctic a la seva presentació.