Zámek byl postaven v barokním stylu r. 1642 pro Jeana-Baptiste Lamberta de Thorigny. Zámek střídal majitele a r. 1843 jej koupila polská princezna Anna Czartoryska, rozená Sapieha. Později zámek dostala její dcera Isabela, která koupila i sousední budovu, která dala dohromady Hotel Lambert a Hotel Le Vau a od té doby to tak zůstalo. Je zde uložena vzácná sbírka uměleckých děl princezny Izabely Czartoryské. Zámek se stal důležitým centrem polského politického života v letech 1944-1945. Rostoucí náklady na údržbu takové památky v srdci Paříže však přiměly jejího majitele palác prodat.
V roce 1975 Guy a Marie-Hélène de Rothschildovi, v roce 2007 hotel prodal jeho syn bratru emíra z Kataru, princi Abdallah Bin Khalifa-Al-Thani. V únoru 2022 jej koupil francouzský miliardář Xavier Niel, nechce tam žít, ale chce tam založit kulturní nadaci.
