この寺の開基には伝説が残っている。
弘法大師がこの地を訪れたとき、稲を背負った白髪の老人が現れたという。
老人は大師に「我この地に住み、弘法を守護し諸民に利益せん。」と告げ、
姿を消した。それで大師は、ここが霊場であると知り、
この寺を作ったという。その折り、この老人の尊像を刻み、稲荷明神として安置し、
四国霊場の総鎮守の寺とした。後に人々から三間の稲荷寺として信仰された。