古代豪族の大伴氏やその一族である林氏の祖先神の道臣命(みちのおみのみこと)と天押日命(あまのおしひのみこと)を祭神とする林地区の氏神で、平安時代の文書「延喜式神名帳」(えんぎしきじんみょうちょう)にも載っている古い神社です。
また、伴林氏神社の西側には今から約1350年前の白鳳時代、林氏によって建てられたと考えられるお寺がありました。この寺は、現在字名に「寺の山」とあるだけで当時の様子はもとより、寺名までも分からないため「拝志(はやし)廃寺」と呼ばれています。なお、境内には、塔の心柱の礎石が残っています。