Il palazzo di cui non si conosce il nome dell'architetto (anche se studi hanno attribuito il progetto a Francesco Maria Richini, esponente principale del barocco milanese), subì nel corso dei secoli vari rimaneggiamenti e fu sede di collezioni d'arte. La costruzione subì gravi danni a causa dei bombardamenti dell'ultima guerra tra i cui anche gli interni dell'appartamento padronale affrescati da Giovanbattista Tiepolo. Esso fu ricostruito tra il 1960 e il 1966 su progetto dell'architetto Luigi Dodi che secondo una precisa direttiva della Soprintendenza ai Monumenti di Milano, ripristinò la struttura originale. Furono mantenuti i tre cortili che per la loro struttura a porticati e colonne formavano un gioco prospettico di grande effetto.