Siedzibą muzeum jest gmach pomisjonarski, którego fundatorem był arcybiskup Michał Radziejowski (1645 - 1705). Budowę seminarium duchownego, prowadzonego przez misjonarzy, rozpoczęto w 1689 r. Autorem projektu był architekt królewski -Tylman z Gameren (1632 - 1706). W 1700 r. fundator erygował seminarium, prace architektoniczne trwały jednak do 1730 r. Funkcje klasztoru i uczelni gmach pełnił do 1820 r., kiedy to seminarium zostało przeniesione do Warszawy, a budynek zajęła Szkoła Wydziałowa, prowadzona przez księży pijarów, oraz Szkoła Nauczycieli Elementarnych.

W późniejszym okresie budynek pełnił różne funkcje (więzienie dla powstańców polskich, cerkiew prawosławna, Szkoła Realna). W czasie II wojny światowej gmach został zniszczony, ocalało jedynie skrzydło południowe, mieszczące kaplicę. W l. 1950 - 1952 odbudowano trzy skrzydła budynku (bez wschodniego, którego piwnice dopiero w 2002 r. po dokonaniu rekonstrukcji i konserwacji zaadaptowano na kawiarnię). Od poł. lat 50. znajduje się tu muzeum, do1995 r. oddział Muzeum Narodowego w Warszawie, obecnie podporządkowane Starostwu Powiatowemu w Łowiczu.

Jest to budynek dwu- i trzykondygnacyjny, na planie nieregularnego czworoboku. Każde skrzydło kryte jest czterospadowym dachem. Fasada zachodnia (od strony Starego Rynku) została ujęta w ryzality utworzone przez wysunięte do przodu zakończenia skrzydeł bocznych. Umieszczone w jej środkowej części wejście stanowi przedsionek zwieńczony frontonem. W elewację tę wmurowano tablice upamiętniające m. in. Józefa Chełmońskiego, który uczęszczał do tutejszej szkoły w l. 1862 - 1865, Stanisława Noakowskiego, który kształcił się tu w l. 1884 - 1886.

Wyjatkowość zbiorów tego muzeum polega na tym, że dokumentuja one historię, życie codzienne, kulturę i sztukę dawnego Księstwa Łowickiego utworzonego w połowie XIV w. z dóbr arybiskupa gnieźnieńskiego, w skład których wchodził Łowicz i okoliczne wsie.