寺の開基は嵯峨天皇の勅願によって、弘法大師が行ったといわれる。
仁王門に立つ金剛力士像は伝運慶作といわれ、江戸で放火の罪によって処刑された
八百屋お七の恋人吉三が、どこかの寺の仁王の首を持って、四国遍路の旅を続け、
この寺まで来たときに、仁王門を修理してその仁王の首をおき、
まつったという伝説が今も残っている。