Fue edificado por Galeazzo II Visconti a partir del 1360 y acabado en cinco solos años. Más que castillo militar de defensa fue una espléndida y fina residencia de corte. Este destino es subrayado por los elegantes ajimezes y tríforas en cotto y por el elegante gusto decorativo del patio. De los grandes ciclos pintados con batallas, escenas de caza y vida cortés que valorizaron salas, soportales y logias, quedan algunos significativos testimonios: entre este el completo decoro de la Sala Azul, espléndida de oros y lapislázulis, quizás sede de la famosa biblioteca viscontea, rica de mil códigos y ordenada por Francesco Petrarca.

Utilizado a largo como cuartel militar, dotado en edad napoleónica de un alzamiento con techo que esconde el almenaje, en el ‘900 el Castillo ha sido adquirido por el Ayuntamiento, restaurado y destinado a sede cultural: hospeda las varias secciones de los Museos Cívicos y salas por exhibiciones de arte temporal.