Fu edificato da Galeazzo II Visconti a partire dal 1360 e terminato in soli cinque anni. Più che castello militare di difesa fu splendida e raffinata residenza di corte. Questa destinazione è sottolineata dalle eleganti bifore e trifore in cotto e dal raffinato gusto decorativo del cortile.

Dei grandi cicli affrescati con battaglie, scene di caccia e di vita cortese che impreziosivano sale, porticati e logge, rimangono alcune significative testimonianze. Fra queste il completo decoro della Sala Azzurra, splendida di ori e lapislazzuli, e quella del piano superiore della medesima torre, forse sede della rinomata biblioteca viscontea, che fu ricca di mille codici e ordinata da Francesco Petrarca.

Utilizzato a lungo come caserma militare, dotato in età napoleonica di un sopralzo con tetto che maschera la merlatura, nel Novecento il Castello è stato acquistato dal Comune, restaurato e adibito a sede culturale: ospita infatti le varie sezioni dei Musei Civici e sale per mostre d’arte temporanee.