Siedzibą muzeum są dwie kamieniczki barokowe z XVII wieku: Dom Esterki i Dom Gąski. Muzeum powołane w 1990 r. jako oddział ówczesnego Muzeum Okręgowego przejęło kolekcję sztuki powstałej po II wojnie światowej, a także kolekcje zlikwidowanego w tym czasie Biura Wystaw Artystycznych w Radomiu. W latach 1992-2001 muzeum pozyskało, najczęściej jako dary od artystów, ponad 1300 dzieł, w tym jedną z największych kolekcji podarowali Krystyna Zachwatowicz i Andrzej Wajda.

Zbiory muzeum to dzieła powstałe po II wojnie światowej: kolekcja polskiego malarstwa współczesnego, m.in. prace A. Nachta-Samborskiego, W. Taranczewskiego, M. Jaremy, J. Sterna, T. Brzozowskiego, J. Nowosielskiego, J. Maziarskiej, H. Stażewskiego, S. Gierowskiego, E. Muchy, J. Waltosia i E. Dwurnika, w tym kolekcja portretu i autoportretu, m.in. L. Sobockiego, J. Dudy-Gracza, W. Szamborskiego, Z. Maciejewskiego, A. Okińczyca; zbiór rysunków wybitnych polskich twórców, m.in. B. W. Linkego, T. Kantora, J. Nowosielskiego, E. Markowskiego, J. Tarasina i innych; kolekcja rzeźby: A. Rząsy, W. Hasiora, J. Beresia, M. Pinińskiej-Bereś, J. Łukomskiego, E. Szczodrowskiej, L. Stehnovej; zbiory grafiki wybranych artystów: H. Stażewskiego, St. Fijałkowskiego, H. Chrostowskiej, J. Gielniaka, M. Wejmana, L. Sobockiego, J. Gaja, J. Waltosia; zbiory polskich twórców na emigracji: obrazy J. Czapskiego i St. Janikowskiego, rysunki M. Oberlaendera, grafiki J. Lebensteina i R. Cieślewicza; duży zbiór prac W. Fangora; prace plastyków radomskich, m.in. ks. Wł. Paciaka i E. Kiełtyki. W kolekcji muzeum są dzieła artystów reprezentujących nurt awangardy i pozostających w opozycji do tego nurtu, np. czerpiących inspirację ze sztuki polskiej przełomu XIX i XX wieku.