Le collège, fondé par Saint Charles en 1561, est l’un des plus beaux palais maniéristes de la Lombardie ; érigé entre 1562  et 1588 d’après le projet de Pellegrino Pellegrini dit Tibaldi, il subit de successives interventions par Richini, qui enrichit la structure par de beaux jardins à l’italienne. Défini par Vasari le "Palais de la sagesse", le collège donne sur une des places les plus suggestives de la ville avec une façade au fort ressaut plastique, rendu par les cadres des fenêtres alternées à des niches et par le portail monumental. Au début du dix-septième siècle, le salon à l’étage supérieur fur décoré par le cycle pictural dédié à "San Carlo Borromeo".La voûte et la paroi nord mises en oeuvre par Federico Zuccari. Dans les années 1818-1820, l’agrandissement et l’achèvement de la vue vers le fleuve provoqua la démolition de la proche église du Moyen Age de "San Giovanni in Borgo", dont le riche bagage sculptural se trouve à présent dans les "Musei Civici". Fondé pour permettre à des jeunes doués de talents intellectuels mais sans possibilités, et donc n’ayant pas la possibilité de fréquenter l’Université et se consacrer donc aux études et pour garantir en même temps, dans la période de la Contre-Réforme, une convenable formation morale, le Collège, pendant le dix-septième et le dix-huitième siècles, forma surtout des juristes destinés à des charges dans le gouvernement et dans l’administration de l’église et de l’Etat milanais.