En una elevación sobre el centro histórico de Patras, el castillo ocupa la colina de la antigua acrópolis de la ciudad. Su posición permitía defender los accesos terrestres y vigilar el golfo de Patras y las rutas costeras. La Ephoría de Antigüedades de Acaya fecha su fundación en la segunda mitad del siglo VI, después de que el terremoto de 551/552 dañara los edificios de la acrópolis. Sus piedras se reutilizaron en la nueva fortificación: antes de cruzar la entrada, los muros ya revelan más de una época.
El proyecto bizantino inicial formó parte de un esfuerzo más amplio por asegurar el Peloponeso, una región expuesta a ataques marítimos y cambios políticos. El recinto conservado no es una muralla uniforme: un perímetro exterior alargado, torres y bastiones salientes rodean un núcleo interior llamado Hexapyrgion o «Seis Torres». Un foso protegía antiguamente tres lados. La puerta principal se abría al este, mientras que el recinto interior aprovechaba la elevación natural del terreno para reforzar el corazón defensivo.