Seiganto-ji se alza en las laderas boscosas sobre la cascada Nachi, en la prefectura de Wakayama, un lugar donde el sonido y la presencia del agua han marcado la vida religiosa durante siglos. El templo no es la cascada ni el cercano santuario Kumano Nachi Taisha. Son espacios sagrados distintos, próximos entre sí en un paisaje donde las tradiciones budistas y sintoístas han convivido durante largo tiempo.
El propio templo sitúa su origen en una historia sobre Ragyo, un monje de la India que llegó a la costa de Kumano y descubrió la cascada durante el reinado del emperador Nintoku. Se trata de una tradición fundacional conservada por el templo, no de una fecha establecida por documentos contemporáneos. El relato oficial añade que, unos dos siglos después, en tiempos de la emperatriz Suiko, se levantaron edificios y se consagró una imagen de Nyoirin Kannon.