Byl postaven v letech 1635 až 1640 pro Louise Phélypeaux, pán z La Vrillière. V roce 1712 jej získal Louis Alexandre de Bourbon, hrabě z Toulouse (syn Ludvíka XIV . a Madame de Montespan ). a po jeho smrti rezidencí dostal jeho syn Louis Jean Marie de Bourbon, vévody z Penthièvre. V rukou vévodů z Penthièvre byl až do francouzské revoluce, kdy byl zkonfiskován. Dnes sídlo banky.
