入唐前の弘法大師はこの山で草庵を結び、五大明王をまつったのが始まりという。
天長9年(832)、智証大師がこの地を巡錫したとき、
欅の木の下に白猿をつれた山王権現が現れたと伝えられ、大師は香木で千手観音を刻み、
本尊として、この寺にまつった。この香木の根が香りたかかった為、これが寺号となった。
境内は松や檜の老樹に覆われている。五大尊堂の前には、
伝説の白猿にまつわる樹齢1000年といわれる「白猴ケヤキ」がそびえている。