Pałac opinogórski pierwotnie pełnił rolę pawilonu ogrodowego. Usytuowany na zapleczu starego dworu, w okresach letnich zamieniał się w dom mieszkalny dla gości zapraszanych przez Krasińskich. Był on idealnym miejscem do pracy i wypoczynku. Jego wysmukła wieża i blankowany mur przed podjazdem, nadają mu charakter budowli obronnej, dlatego nazywany jest zamkiem lub zameczkiem. Grube mury piwnic i nieregularny plan nasuwają przypuszczenie, że stanął on na zrębach starej budowli. W okresie romantyzmu często historyczne ruiny oblekano w "kostium gotycki" i nie jest wykluczone, że Krasińscy postąpili podobnie. Pierwszy zapis o budowie zameczku pochodzi z 1828 r. Wówczas Zygmunt Krasiński pisał z Opinogóry do ojca, że "na zameczku i oficynie nie widzi głów mularzy". Natomiast cztery lata później donosił przyjacielowi: "Z mych okien dostrzegam na pagórku zamek gotycki, który buduje się dla mnie". W 1837 r. rzeźbiarz warszawski Jakub Tatarkiewicz wykonał do wnętrz cztery murowane kominki. Widać więc, że budowa i prace wy­kończeniowe przy zamku trwały długo. Wprawdzie w 1838 r. Zygmunt mieszkał w zamku, ale formalnie przekazano go poecie jako prezent ślubny dopiero w sierpniu 1843 r.

Rok 1828, z którego pochodzi pierwsza wzmianka o zameczku, na pewno nie był rokiem powstania projektu. Najprawdopodobniej pomysł wystawienia romantycznej budowli zrodził się wcześniej, a jego autorką mogła być Maria z Radziwiłłów Krasińska, matka poety. Wszyscy wzorowali się na Puławach księżnej Izabeli Czartoryskiej. Naśladowali księżnę nie tylko zakładając ogrody i letnie rezydencje, ale również tworząc programy ratowania pamiątek narodowych. Prawdopodobnie i Opinogóra miała być "Mazowieckimi Puławami" a że Maria posiadała uzdolnienia plastyczne mogła również współuczestniczyć w projektowaniu zamku. W rodzinnym archiwum Krasińskich przechowywano dwa albumy z jej rysunkami budowli i kominków gotyckich. Szkice te mogła wykonywać podczas podróży poślubnej do Belgii i Francji w 1804 r. Istnieje jeszcze jeden dowód, że program budowy zameczku wyszedł od Marii. Na elewacjach zewnętrznych i wewnątrz zamku obok herbów Wincentego Krasińskiego występują herby Radziwiłłów, a przecież zamek ukończono dopiero w dwadzieścia lat po jej śmierci. Trudno natomiast odpowiedzieć kto był projektantem budowli. Mógł nim być jeden z architektów pracujących w tym czasie dla Krasińskich - Piotr Aigner, Henryk Marconi, względnie Hilary Szpilowski. Niestety materiały dotyczące spraw budowlanych spłonęły w Bibliotece Krasińskich w Warszawie.

W 1845 r. za sprawą Elizy Krasińskiej rozbudowano zameczek, który był za ciasny po przyjściu na świat pierwszego syna. Wtedy dostawiono dwa salony od strony północnej i być może podwyższono wieżę o jedną kondygnację. Po śmierci Zygmunta zameczek ulegał niszczeniu. Dopiero w latach siedemdziesiątych przeprowadzono pierwszy remont, a w 1894 r. dokonano gruntownej przebudowy według projektu Józefa Hussa. Dobudowano wtedy niewielki ryzalit od strony wschodniej, portyk główny zwieńczono schodkowym szczytem, podniesiono dach na korpusie głównym, a wieżę przykryto dachem namiotowym.

Na przełomie 1914 i 1915 roku w okolicy Opinogóry toczyły się walki między wojskami niemieckimi i rosyjskimi. W wyniku tych działań, miejscowość została zniszczona, a zamek poważnie uszkodzony i zdewastowany. Po wojnie przykryto go ceramicznym dachem i wstawiono okna, ale nie przywrócono już dawnej świetności. Druga wojna światowa i okres powojenny dopełniły dzieła zniszczenia.

Dopiero w 1958 r. przystąpiono do odbudowy i rekonstrukcji zamku. Usunięto wówczas pretensjonalne dodatki z końca XIX w. i przywrócono pierwotny charakter budowli. Prace ukończono w 1961 roku.