大同二年(807)、弘法大師がこの山に入って修行をしていた。
と、ある日、空から五本の剣が降ってきて、
金剛蔵王権現のお告げを聞いたという。それで山号を剣五山と替え、
ここら一帯に谷が多いことから寺名も弥谷寺と改めた。
近くにある岩壁には阿弥陀如来など多くの仏が刻まれており、これも大師が刻んだとされる。
大師堂の奥の院はnqの岩壁」と呼ばれ、大師が幼い頃に学問をし、
長じて再度入山した際に修行した場所だという。