寺は、かつて世坂寺と称しており、弘法大師の先祖の氏寺であった。
それが現在の曼荼羅寺になつたのは、大師が留学先の唐から持ち帰った金剛界、
胎蔵界の曼荼羅を安置し、大日如来を勧請して本尊とした大同2年からである。
堂塔なども、唐の青龍寺を真似て建立したという。
境内には、大師が寺を建立したときに手植えをしたといわれる「不老の松」が立っている。
本堂の前には西行法師が昼寝をしていたという「昼寝石」というのが置かれている。