Fondato nel 1567 per volere di Papa Pio V, fu progettato dallo stesso Tibaldi, che realizzò un edificio su tre piani, a pianta quadrata di aspetto molto austero. La fronte infatti appare rigorosa, con finestre prive di cornici; l’effetto plastico è riservato al portale, unico elemento aggettante. La fabbrica si articola attorno ad un cortile con portici a colonne binate e chiuso al piano superiore. Il lato ovest ospita l’Oratorio, a pianta centrale coperto da cupola. Accanto, affacciato sulla piazza che dal Ghislieri prende il nome, un elegante edificio neoclassico su due piani, costruito durante il periodo napoleonico per dotare di aule la Scuola Militare, è oggi sede della Amministrazione del Collegio. La statua di San Pio V, al centro della piazza, è bell’esempio di scultura barocca, opera del ticinese Francesco Nuvolone.