Muzeum utworzono w 1905 jako placówkę o charakterze regionalnym (Heimatmuseum), która potem zmieniła nazwę na Oberschlesien Museum. Po wojnie zostało otwarte w 1946. W 1951 podporzadkowano je Muzeum Górnośląskiemu w Bytomiu jako jego oddział. W 1957 stało się znów samodzielną placówką, która ma trzy oddziały podległe - Zamek Piastowski (od 1959), Muzeum Odlewnictwa Artystycznego (od 1991) i Muzeum Historii Radia i Sztuki Mediów Radiostacja Gliwice (od 1 stycznia 2005).

Willa "Caro" została zbudowana w latach 1882-1885, a swą dzisiejszą nazwę wzięła od nazwiska jej pierwszego właściciela, bogatego przemysłowca - Oscara Caro. W latach 20. i 30. XX w. w willi dobudowno drugie piętro, dostosowując ją częściowo do potrzeb biurowych. W 1934 gmina miejska przekazała budynek w użytkowanie Muzeum. Ostatnio willa została poddana generalnemu remontowi, dzięki czemu odsłonięto zamalowane wcześniej malowidła na stropach, odrestaurowano sztukaterie, przywrócono pierwotny wygląd oryginalnej stolarce drzwiowej i okiennej, boazeriom i parkietom, a także ogrodowi (m.in.zrekonstruowano kamienno-metalowe ogrodzenie). Obecnie należy do unikatowych na Górnym Śląsku miejskich rezydencji mieszkalnych z niemal całkowicie zachowanym wystrojem wnętrz.

W willi, która jest główną siedzibą Muzeum, mieszczą się zbiory Działu Sztuki i Działu Etnografii. Oba zbiory obejmują głównie Śląsk i regiony sąsiadujące. Eksponaty etnograficzne - malarstwo (w tym na szkle), śląska i małopolska rzeźba w drewnie, ceramika, stroje ludowe, narzędzia rolnicze, wyroby rzemieślnicze - pochodzą z XIX i początku XX w. Bogatsze są zbiory sztuki, które zawierają kolekcje: ceramiki polskiej i śląskiej z XIX i XX w., szkła artystycznego z XVII-XX w., wyrobów z cyny (XVII-XX w.), drewnianej rzeźby sakralnej (najwcześniejsze zabytki z XVI w.), nowożytnego malarstwa zachodnioeuropejskiego, nowożytnej grafiki zachodniouropejskiej i śląskiej, powojennej sztuki śląskiej (malarstwo, grafika rzeźba), powojennej biżuterii srebrnej.