寺を創建したのは金倉寺を作った和気道善の弟、和気道隆である。
ある日、道隆が桑畑で光る桑の木を見つけ、矢を放ったところ、
そこから光は消えて、矢が当たって倒れる乳母がいた。
悲観にくれた道隆は、その桑の木の大木を切り、薬師如来を刻み、小堂を建てて安置した。
本尊は「目なおし薬師様」といわれているように、眼病に霊験があるという。