Cihlový palác v Siedlce postavil Kazimierz Czartoryski před rokem 1730. V letech 1769–1770 byl palác důkladně zrekonstruován Kazimierzovým synem Michałem Fryderykem Czartoryským. V roce 1944, během druhé světové války palác vyhořel. Od roku 2006 je uživatelem paláce Univerzita přírodních věd a humanitních věd ve Siedlce.
Kolem zámku byl vybudovaný rozsáhlý park a v něm se nacházejí rybníky, ostrůvky a různé budovy (bytové domy vévodkyně, altán, koupelny, rybářský dům, turecká mešita, oranžerie, stabilní větrný mlýn, umělé šípy, letní divadlo). Za druhé světové války Němci zbourali většinu budov. 
