L’elemento che più caratterizza Castelfranco Veneto è il castello, che ne racchiude il centro storico. Difeso da mura molto alte, di mattoni rossi, comprende sei torri, quattro delle quali sui vertici della base quadrata di 232 metri di lato, una sulla mediana sud (verso Padova), trasformata in campanile del duomo, l’altra sulla mediana ad est (verso Treviso). Da un disegno conservato presso la Biblioteca Comunale si notano in totale sette torri. L’ultima, abbattuta, era posta sulla mediana ovest (verso Cittadella).