Tra i castelli residenziali del tardo Medioevo milanese con struttura e simmetria zenitale, quali Cusago e Peschiera Borromeo, trova posto la struttura originaria del palazzo dei Borromeo a Origgio, anch'esso costituito, come negli esempi citati, da un quadrilatero chiuso con l'ingresso su un lato, protetto da un'alta torre di difesa.

Le esigenze residenziali del XVI secolo in poi consigliarono alcune modifiche nel vecchio organismo, in modo da costruire più immediati rapporti con la natura circostante; mentre l'ingresso principale con la torre fu conservato - anzi se ne accentuò la funzione con un lungo viale d'accesso in pendio - , i corpi di fabbrica di nordest furono quasi completamente demoliti. Nacque così l'attuale struttura ad L del palazzo e, a causa della notevole differenza di quota esistente tra il cortile del castello e la campagna circostante, si venne a formare un giardino all'italiana su un vasto terreno, di indubbia suggestione ambientale.

Alla trasformazione seicentesca si deve anche l'elegante loggiato che conclude l'andito fortificato, facente riscontro con un vuoto, verso l'interno, alla massicciata mole della torre. Si tratta di tre arcate su due piani in altezza collegate con lo scalone, con parapetto e balaustrini in pietra, di non grande dimensione, ma di buona fattura architettonica. Le sale interne, in parte trasformate, conservano tuttavia la modestia del primitivo organismo fortificato.