直至明治时代神佛分离之前，小菅神社一直称为归属新义真言宗的小菅山元隆寺，昔日曾与户隐和饭纲并称北信浓三大修验场，隆盛一时。创建的由来尚无定论，根据来由记称，为求一处能弘扬佛法之地，修验道的鼻祖役小角寻访诸小国，终遇小菅山，于白凤8年（680年）将小菅山开山，大同年间（806~810年）坂上田村麻吕来到这里，重建了八所权现本宫和加耶吉利堂，并且还创建了小菅山元隆寺这座修验寺院。人们就视其为小菅神社的起源。据保留下来的记述内容，当时这里祭祀着小菅权现（摩多罗神），并观请了熊野、金峰（吉野）、白山、立山、山王、走汤、户隐这七柱神，在石窟内祭祀八所的宫殿。另外，在平安时代后期，本地垂迹思想扎根下来，熊野修验进入，促进了小菅山的确立。

其后在进入镰仓时代，南北朝时代启幕之前，小菅一带与南朝的高梨氏势力和北朝的市河氏势力相接，南朝党的高梨氏受到反击，惨败于小菅。之后，随着室町幕府统治的稳定，小菅山迎来了作为修验灵场的隆盛时期，用了4年时间重建了元隆寺的宫社坊中寺观，并建成奥社内的宫殿，制作了桐竹凤凰文透雕奥社胁立二面。这就是说，在室町时代之前小菅山一直在不断进行各种营造，能做到这一点，足见其在当时有何等繁荣。

进入日本的战国时代后，整个信浓地区成为上杉氏和武田氏争霸的舞台，小菅山一带被置于上杉氏的庇护之下。上杉谦信向武田信玄挑战时，在此献上了祈愿必胜的愿文，但这种繁荣也止于永禄10年（1567年）的川中岛之役。在这场交战中，上杉军败退，在武田氏的军事势力下，元隆寺遭受兵燹，一般认为，除本堂以外的堂塔悉数焚毁。其后，经过织田氏灭了武田氏后的统治时代，小菅成为上杉景胜领地，待形势安稳下来后才重建了奥社本殿。

到了江户时代，奥社参道两旁的杉树和许多宗教建筑都得到了整修，作为灵场的小菅的统治权从领主庇护下的寺院手中转移到了乡里人手中。祭礼的性质也有了转变，在纯宗教仪式中不断加入愉乐和观光的性质，将重点放在了向观客（参拜者）展示的一面。

江户时代过去后进入明治，在神佛分离的政令下，大圣院别当职就任神职，并将佛式什器移交菩提院保管，同时成了小菅社八所大神，明治33年（1900年）改称小菅神社。这样，今天这座相当于直接起源的小菅神社出现了。

• 奥社 小菅神社本殿
  地处海拔900m附近的小菅神社的本殿-奥社到了。有记录表明它在天正19年（1592年）经过修复，这里祭祀着小菅神社的祭神8柱。本殿和附属宫殿是室町时代中期所建，昭和39年（1964年）被指定为国家的重要文化遗产。
  
  建筑以南侧为正面，采用妻入的入母屋结构，北面背靠岩窟，建造时北侧不带庇，而是从西侧的阶梯上社殿。从背后的岩地中有水滴下，本殿内有甘露池，有人说该池或许就是进殿后首先要膜拜的地方。另外，上杉谦信在出兵川中岛时在此献上祈愿必胜的愿文，新泻县也有许多崇拜者。御本尊是马头观音，除祭日等特别的日子之外，人们不能进入建筑物中。并且，建筑物深处有块名为“鼓岩”的岩石，听说对其拍手时可闻太鼓之声。
  
  顺便提一下，从探胜线路再经过小菅山山顶（1047m），还有一条通往北龙湖的旅游线路。
• 镜石
  在中途，有一处探胜线路（面向初次探胜者）和参道分开的路，沿着参道走，会见到一块表面平整如镜的“镜石”。该镜石被作为“七木八石”之一，与镫石、隐石、御座石、船石列为五石，另外的三石，即御割石、大黑石、卧象石现在不知存于何处。
• 不动岩
  传说弘法大师登拜此地之际，投笔于岸壁，写下梵字。现在在他投笔之处，系着稻草绳，不允许人们进内，在深谷对面可见“不动岩”。在几乎垂直的陡峭的不动岩腰部放着一尊不动明王石像。将巨大的石造物搬上这样险峻的山间，或许也算一种修行吧。
• 船石
  据说该石形同船只漂浮在大海波涛之上，故有“船石”之称。在御座石和这块船石中间处，路两边的杉树到了尽头，接下去就是裸露熔岩性岩石的险峻的登山道。
• 隐石
  说是川中岛交战时，上杉谦信躲在这块岩石后面，避开了武田军队的追兵，故名“隐石”。据传，信玄当时一直追到小菅乡里，但是随着山上一声轰鸣，巨大的岩石突然崩落，并且有一棵大树倒下来，好像是在追击他们，所以信玄势开始害怕小菅权现的神威，狼狈逃回。
• 御座石
  所谓“御座石”，就是役行者和弘法大师参拜时坐的石头。上面有一个小凹坑，据说是他们拿的手杖的前端崁进去后形成的。在通到这里的参道的路上，有一个传说是坂上田村麻吕重建的加耶吉利堂的遗址。
• 镫石
  在山岩的侧面有一个像是马镫形状的凹坑，因此这里被称为“镫石”。镫就是挂在马鞍两边，用于套脚的马具。
• 鸟居
  这是通往小菅神社奥社的参道入口的鸟居大牌坊，立在元隆寺大圣院遗址护摩堂的旁边。奥社建在海拔900m的大岩洞内，从这里过去还有1260m路程。左右两旁都是树龄几百年的大杉树，现在开始走上正式的参道。在路边杉树入口处周围，有一排石造物，其中有在善光寺地震中亡故的金井和助翁的石碑、石灯笼、芭蕉句碑和梵字的石碑等。它们表明，这里实质上是小菅乡里的中心地。
• 行道杉树
  在约800m的道路两边有180多棵大杉树。这些杉树是在江户时代种植的，据说其中最大的一棵高达45m，树龄已有300年。包括到奥社的区间在内，每年冰雪消融后，在举行祭祀活动之前，地区的住民都会对这些行道杉树进行修整。