A causa di conflitti con la Chiesa nel 1571 gli Umiliati furono espropriati dei loro beni ed affidati alla Compagnia di Gesù che trasformarono i magazzini in aule scolastiche e le case della confraternita in alloggi per docenti e studenti e personale di servizio. Per nuove esigenze di spazio si decise di dare il via ad una nuova ed imponente costruzione che occupasse un grande spiazzo a fianco della chiesa di Santa Maria. Il progetto venne affidato a Francesco Maria Richini. Iniziato nel 1651 l'imponente edificio fu terminato nel 1773: il Piermarini vi aggiunse nel 1780 un colossale portale. Al centro del superbo cortile rettangolare, a due ordini di arcate su colonne binate, è il bronzo di Napoleone I di Antonio Canova (1811). Il palazzo è oggi sede della Pinacoteca di Brera con importanti opere dal XIV e XX secolo, dell 'Accademia di Belle Arti, della Biblioteca Nazionale Braidense e dell'Osservatorio Astronomico. Tra le opere del Rinascimento conservate nella Pinacoteca, vanno ricordate la grande pala di Federico da Montefeltro di Piero della Francesca, il Cristo morto di Andrea Mantegna, Lo Sposalizio della Vergine di Raffaello.