Od 16. století osídlen šlechtickou rodinou markýzů Valenti Gonzaga, kteří provedli rozsáhlou rekonstrukci a vyzdobili palác freskami. Po úpadku rodu palác opuštěný, zrestaurovaný ve 20. století a nyní je zde muzeum a galerie rodu.