10世紀に編纂（へんさん）された「延喜式神明帳（えんぎしきじんみょうちょう）」にも記されている式内社です。住吉大神を祀ることから住吉神社とも呼ばれており、明治維新後には諏訪神社、大将軍社などが境内社として移築されました。社名は「新選姓氏録（しんせんしょうじろく）」にある豪族・阿刀連（あとのむらじ）に由来するという説があります。