元来、この地は入海の瀬戸（狭い海峡）のため、干満時に急流となり海上交通の難所でした。そのため、5〜6世紀の頃から海神を祀っていたとされています。
源頼朝が平家追討の挙兵に御神恩のあったことを感謝して、伊豆三島明神を勧請したのが瀬戸神社の始まりと言われています。