Posto in posizione strategica su un promontorio che si incunea nella prospiciente terra bergamasca che fu per secoli il dominio della Serenissima, il castello, più volte distrutto, rimane a ricordo delle vicende storiche che legano Trezzo alla Milano dei Visconti e degli Sforza. Si erge su una rupe a strapiombo sulle gole tortuose di questo tratto del fiume, posizione alla quale rimanderebbe anche il toponimo di Trezzo, dalla voce celtica "trecc", che significa luogo alto e protetto.