聖武天皇、光明皇后の勅願により建立されたという。
後に弘法大師が留錫中に光明皇后をイメージして十一面観世音菩薩を刻み、
本尊として安置、寺号を宝寿寺と改めた。
大師はまた、難産で苦しんでいた国司越智公の夫人に境内の玉の井の水を加持して与えた。
婦人は立派な男子を出産し、「さみだれの・・・・」の御詠歌を献納したといわれる。
落ち着いた境内には、子安観音像、鐘楼、手入れの行き届いた日本庭園もある。