Zamek w Liwie jest najstarszym zabytkiem architektury na terenie pogranicza mazowiecko-podlaskiego. Drewniano- ziemny gród liwski strzegł "ściany wschodniej" państwa przed napadami Jadźwingów, Rusinów i Litwinów spadającymi regularnie na te tereny. Prawdopodobnie na przełomie XIV i XV wieku książę mazowiecki Janusz I Starszy nakazał modernizację warowni. Przed 1429 rokiem murator Niklos (Mikołaj) rozpoczął budowę murowanego zamku na sztucznej wyspie wśród bagien i rozlewisk rzeki Liwiec, ówczesnej granicy księstwa.
Gotycki zamek posiadał mury zwieńczone blankami otaczające dwa budynki mieszkalne rozdzielone wąskim dziedzińcem, oraz bramę z mostem zwodzonym. W skład zespołu obronnego wchodził także ufortyfikowany przygródek, którego zabudowania rozmieszczone były po obu stronach długiej grobli wśród bagien prowadzącej do bramy zamkowej. Przy zamku w krótkim czasie narosło skupisko domów załogi rycerskiej i rzemieślników. Przed 1420 rokiem Janusz I nadal osiedlu prawa miejskie. Pierwsza rozbudowa zamku miała miejsce ok. 1512 r. za panowania regentki Mazowsza Anny, wdowy po Konradzie IV Rudym, kiedy to występ bramny uzyskał formę wieży a mury podwyższono o kilka metrów.
W zamku odbywają się koncerty muzyki klasycznej i popularnej. Jak każde stare zamczysko Liw nawiedzany jest przez duchy i upiory. Jednym z nich jest widmo niewinnie oskarżonej o zdradę i ściętej żony kasztelana liwskiego, Ludwiki. Małżonek ofiarował kasztelanowej po kolei 3 cenne pierścienie, które kolejno ginęły w tajemniczych okolicznościach. Zazdrosny mąż, podejrzewając że jego prezenty trafiają do kochanków żony, wpadł w furię i doprowadził do egzekucji niewiernej rzekomo Ludwiki. W jakiś czas potem sługa znalazł w gnieździe trzy zaginione klejnoty. Zrozpaczony mąż popełnił samobójstwo, rzucając się z wieży. Od tej pory w czasie pełni księżyca ukazuje się o północy na murach postać kobiety w świecącej sukni zwane żółtą Damą. Może ją odczarować śmiałek, który spotka się z widmem sam na sam na murach zamkowych, a jego nagrodą będą trzy brylantowe pierścienie.