Lo stile semplice e sobrio della facciata esterna, contrapposta a quello degli interni, fastosi e ricchi sin nei minimi particolari, rispecchiano perfettamente il modo di pensare dei signori milanesi di quell'epoca secondo cui il meglio della casa doveva essere all'interno a disposizione dei proprietari. Il palazzo fu costruito dai Visconti e venduto in seguito ai Clerici. La famiglia che aveva tratto la sua fortuna dal commercio della seta, coprì diverse cariche importanti in ambito politico, militare, giuridico. Il palazzo fu arricchito da mobili di pregio, opere d'arte, arazzi ed affreschi tra i quali il famoso affresco di Giambattista Tiepolo, la Quadriga del sole, guidata da Mercurio, illumina il mondo (1740 circa). Il palazzo è oggi sede dell'ISPI (Istituto per gli Studi di Politica Internazionale).