Al otro lado del foso, el castillo de Matsumoto se eleva en blanco y negro ante las montañas de Nagano. Sus muros oscuros y tejados superpuestos dejan una primera impresión memorable. Al entrar, la imagen se vuelve más compleja: lo que parece una sola torre es un conjunto de edificios comunicados, levantados para distintos fines y conservados gracias al esfuerzo de generaciones de vecinos.
Se trata de una de las torres de castillo de madera que sobreviven en Japón, no de una réplica moderna de hormigón. La ciudad la presenta como el ejemplo conservado más antiguo con cinco niveles visibles desde el exterior y seis pisos interiores. Su designación como Tesoro Nacional comprende la torre principal, la torre menor noroeste, el pasaje que las une, una torre adosada y el pabellón de contemplación de la luna. Caminar junto al foso permite apreciar la relación entre sus tejados antes de entrar.