Před rokem 1643 bylo na místě dnešního paláce postaveno dřevěné sídlo Kacpera Denhoffa. Sídlo vyhořelo a Ernest Denhoff postavil zámek. V roce 1731 se princ August Aleksander Czartoryski oženil se Žofií Denhoffovou a stal se spolumajitelem panství. Později se majitelkou stala Izabela Lubomirska roz. Czartoryska. V roce 1799 přešel palác do rukou dcery Lubomirské - Aleksandry, manželka Stanisława Kostky Potockého. Palác byl v majetku rodu Potocki až do roku 1945.
Při obraně Varšavy v září 1939 byl palác poškozen jen mírně, v srpnu 1944 byl vypálen Němci a v letech 1948–1949 přestavěn.
Dnes zde sídlí Ministerstvo kultury a umění.
