Der Bau des Castello durch Galeazzo II Visconti begann 1360 und wurde in nur fünf Jahren fertig gestellt. Das Kastell war mehr prachtvolle Hofresidenz als militärische Verteidigungsanlage, was durch die eleganten zwei- und dreibogigen Fenster und die Säulengänge des weitläufigen Innenhofs unterstrichen wird. Von den großen Freskenzyklen mit Schlachten, Szenen der Jagd und des höfischen Lebens, die Säle, Säulengänge und Loggien verschönten, sind nur noch wenige bedeutende Zeugnisse vorhanden, darunter die vollständig erhaltene, mit Gold und Lapislazuli verzierte Decke der Sala Azzurra, vielleicht Sitz der angesehenen Bibliothek der Visconti. Ihre wertvolle Sammlung tausender alter Handschriften geht zurück auf Francesco Petrarca. Lange Zeit als Militärkaserne genutzt, wurde das Kastell zur Zeit Napoleons mit einem Dach aufgestockt, das die Zinnen verdeckt. Im 20. Jh. wurde es von der Stadt gekauft, restauriert und als Kulturstätte genutzt. Es beherbergt die verschiedenen Abteilungen der städtischen Museen sowie Ausstellungssäle für zeitgenössische Kunst.