弘法大師が19歳の頃、求聞持法の修行中に金剛頂寺(26番札所)を訪れた。 ところが、楠の巨木の空洞に天狗が巣くっていて、人々に悪事を働き、弘法大師の修行の邪魔ばかりする。 そこで、弘法大師は天狗たちと問答し、火炎の術で西方の足摺岬へと追い払った。 そして、再び天狗たちが戻ってこないように、自分の像を彫って楠の空洞に納めた。 通常は南向きであるはずの大師堂が、金剛頂寺で西を向いて建っているのは、この逸話が理由といわれている。