欽明天皇（571年）の時代、新羅の僧により創建された真言宗の山岳寺院です。平安初期、大神武士団の領袖大野氏の庇護をうけ一大霊場として栄えました。鎌倉初期に入部した大友氏との戦火により荒廃。その後、六坊が建てられ中興し西の高野山と称せられましたが、再三の戦火により東の坊のみが現存しました。この本堂と、さらに古い一対の仁王像と共に国指定重要文化財となっています。

また、境内には100年を超える約500本のシャクナゲが群生し、4月末から五月初頭まで咲き誇ります。この間シャクナゲ祭りと護摩供養が催され多くの来訪者を迎えています。