Fundado en el 1567 por deseo de Papa Pio V, fue planeado por el mismo Tibaldi, que realizó un edificio sobre tres planes, a planta cuadrada de aspecto muy austero. La frente de hecho aparece rigurosa, con ventanas sin marcos; el efecto plástico es reservado al portal. La fábrica se articula alrededor de un patio con pórticos a columnas binate y cerrado al llano superior. El lado oeste hospeda el oratorio, a planta central cubierta por cúpula. Cerca, asomado sobre la plaza que toma el nombre del Ghislieri, un elegante edificio neoclásico sobre dos planes, construido durante el período napoleónico para dotar con aulas la Escuela Militar, es hoy sede de la Administración del Colegio.

La estatua de San Pio V, al centro de la plaza, es buen ejemplo de escultura barroca, obra de Francesco Nuvolone.