入口大鳥居右にある高来神社の石碑は徳川頼倫候、本殿神額は樺山資紀の麗筆です。江戸時代には参勤交代の大名が下馬して参詣したと伝えられています。