Se supone que el castillo de Sizzano se edificó alrededor de mitades del siglo XII. De hecho, un documento de 1152, firmado por Federico Barbarossa, confiere al conde Guido de Biandrate la jurisdicción sobre la tierra de Sizzano y otros territorios de la zona. No sabemos cómo se presentaba la fortificación en época medioeval; seguramente sabemos que en su interior surgía la parroquia de San Víctor. Un examen de los planos catastrales “Teresiana” (siglo XVIII) y “Rabbini” (siglo XIX) certifica como estaba estructurada el área del castillo hasta las demoliciones, que tuvieron lugar entre 1866 y 1867. La mayoría de los edificios fueron destruidos, junto con el torreón de acceso del siglo XV. El castillo tenía una estructura circular, con un único acceso a occidente, rodeada por un fosado con agua; la iglesia ocupaba el centro del castillo, mientras que los edificios dedicados a las habitaciones estaban dispuestos en forma de estrella. Hoy en día la zona destruida se utiliza como anteiglesia de la parroquia y como plaza principal del pueblo. Lo que queda del antiguo castillo es el semicírculo de casas, que en pasado presentaba un único modelo de vivienda recurriente: cada vivienda estaba formada por una habitación en la planta baja - llamada “canepa”, destinada a bodega o almacén – y una en la primera planta llamada “solarium”, es decir la verdadera vivienda. Las dos habitaciones estaban unidas entre si, al exterior, por una escalera de madera. Este escorzo de viejo burgo, de dimensiones actuales muy reducidas, sigue mostrándonos la originaria estructura de mampostería, formada por guijarros dispuestos en forma de espina de pez, intervaladas por ladrillos posicionados horizontalmente. En su intacta conservación, nos transmite la sugestiva imagen de un pasado lejano.