Dans le contexte d'une petite ville de province très marquée par la guerre, c'est grâce à l'engagement des conservateurs du côté de l'art contemporain que le musée renoue, au tournant des années 50, avec le regard des artistes : Alfred Latour y invite le sculpteur Ossip Zadkine (1890-1967) en 1953 : le passage de l'artiste, tombé amoureux du musée et de son Rhône, donnera lieu à deux acquisitions majeures,Odalisque (1932) et Torse de femme (1935). L'organisation en 1964 d'une grande exposition consacrée au sculpteur Germaine Richier (1904-1959), dont les liens avec Arles étaient très forts, se concluera trois ans plus tard par l'acquisition d'une œuvre emblématique Le Griffu (1953), qui contribuera à faire de la sculpture un axe fort des collections du musée traduit par des expositions monographiques consacrées dans les années 70 à César et Arman.
A partir de 1980, nait l'idée d'une collection de sculpture cultivée sur place dans les fabuleux volumes des salles romanes du cloître St Trophime avec l'architecture et le patrimoine monumental arlésien comme fil conducteur: les noms de Toni Grand, Bernard Pagès, Bernard Dejonghe, Curt Asker, Marcel Robelin, Keiji Uematsu, Hélène Agoffroy s'inscrivent sur les registres des collections.
A côté du monumental, le musée questionne également l'intime, le corps et le paysage avec Christine Crozat, Jean-Charles Blais ou Françoise Vergier pour mieux revenir à l'espace avec Vincent Barré et Vladimir Skoda.