創建の年代は不詳だが、古くは神郡社と称していたようです。ここは奈良時代の寺跡（芥川廃寺）と見られており、境内にある手水鉢（ちょうずばち）はその塔心礎（とうしんそ）とされています。かつては塔がそびえ、堂々たる金堂（こんどう）が建てられていたと推測されています。