直至明治時代神佛分離之前，小菅神社一直稱為歸屬新義真言宗的小菅山元隆寺，昔日曾與戶隱和飯綱並稱北信濃三大修驗場，隆盛一時。創建的由來尚無定論，根據來由記稱，為求一處能弘揚佛法之地，修驗道的鼻祖役小角尋訪諸小國，終遇小菅山，于白鳳8年（680年）將小菅山開山，大同年間（806~810年）阪上田村麻呂來到這裡，重建了八所權現本宮和加耶吉利堂，並且還創建了小菅山元隆寺這座修驗寺院。人們就視其為小菅神社的起源。據保留下來的記述內容，當時這裡祭祀著小菅權現（摩多羅神），並觀請了熊野、金峰（吉野）、白山、立山、山王、走湯、戶隱這七柱神，在石窟內祭祀八所的宮殿。另外，在平安時代後期，本地垂跡思想紮根下來，熊野修驗進入，促進了小菅山的確立。

其後在進入鐮倉時代，南北朝時代啟幕之前，小菅一帶與南朝的高梨氏勢力和北朝的市河氏勢力相接，南朝党的高梨氏受到反擊，慘敗於小菅。之後，隨著室町幕府統治的穩定，小菅山迎來了作為修驗靈場的隆盛時期，用了4年時間重建了元隆寺的宮社坊中寺觀，並建成奧社內的宮殿，製作了桐竹鳳凰文透雕奧社脅立二面。這就是說，在室町時代之前小菅山一直在不斷進行各種營造，能做到這一點，足見其在當時有何等繁榮。

進入日本的戰國時代後，整個信濃地區成為上杉氏和武田氏爭霸的舞臺，小菅山一帶被置於上杉氏的庇護之下。上杉謙信向武田信玄挑戰時，在此獻上了祈願必勝的願文，但這種繁榮也止於永祿10年（1567年）的川中島之役。在這場交戰中，上杉軍敗退，在武田氏的軍事勢力下，元隆寺遭受兵燹，一般認為，除本堂以外的堂塔悉數焚毀。其後，經過織田氏滅了武田氏後的統治時代，小菅成為上杉景勝領地，待形勢安穩下來後才重建了奧社本殿。

到了江戶時代，奧社參道兩旁的杉樹和許多宗教建築都得到了整修，作為靈場的小菅的統治權從領主庇護下的寺院手中轉移到了鄉里人手中。祭禮的性質也有了轉變，在純宗教儀式中不斷加入愉樂和觀光的性質，將重點放在了向觀客（參拜者）展示的一面。

江戶時代過去後進入明治，在神佛分離的政令下，大聖院別當職就任神職，並將佛式什器移交菩提院保管，同時成了小菅社八所大神，明治33年（1900年）改稱小菅神社。這樣，今天這座相當於直接起源的小菅神社出現了。

• 奧社 小菅神社本殿
  地處海拔900m附近的小菅神社的本殿-奧社到了。有記錄表明它在天正19年（1592年）經過修復，這裡祭祀著小菅神社的祭神8柱。本殿和附屬宮殿是室町時代中期所建，昭和39年（1964年）被指定為國家的重要文化遺產。
  
  建築以南側為正面，採用妻入的入母屋結構，北面背靠岩窟，建造時北側不帶庇，而是從西側的階梯上社殿。從背後的岩地中有水滴下，本殿內有甘露池，有人說該池或許就是進殿后首先要膜拜的地方。另外，上杉謙信在出兵川中島時在此獻上祈願必勝的願文，新瀉縣也有許多崇拜者。禦本尊是馬頭觀音，除祭日等特別的日子之外，人們不能進入建築物中。並且，建築物深處有塊名為「鼓岩」的岩石，聽說對其拍手時可聞太鼓之聲。
  
  順便提一下，從探勝線路再經過小菅山山頂（1047m），還有一條通往北龍湖的旅遊線路。
• 鏡石
  在中途，有一處探勝線路（面向初次探勝者）和參道分開的路，沿著參道走，會見到一塊表面平整如鏡的「鏡石」。該鏡石被作為「七木八石」之一，與鐙石、隱石、御座石、船石列為五石，另外的三石，即禦割石、大黑石、臥象石現在不知存於何處。
• 不動岩
  傳說弘法大師登拜此地之際，投筆於岸壁，寫下梵字。現在在他投筆之處，系著稻草繩，不允許人們進內，在深谷對面可見「不動岩」。在幾乎垂直的陡峭的不動岩腰部放著一尊不動明王石像。將巨大的石造物搬上這樣險峻的山間，或許也算一種修行吧。
• 船石
  據說該石形同船隻漂浮在大海波濤之上，故有「船石」之稱。在御座石和這塊船石中間處，路兩邊的杉樹到了盡頭，接下去就是裸露熔岩性岩石的險峻的登山道。
• 隱石
  說是川中島交戰時，上杉謙信躲在這塊岩石後面，避開了武田軍隊的追兵，故名「隱石」。據傳，信玄當時一直追到小菅鄉里，但是隨著山上一聲轟鳴，巨大的岩石突然崩落，並且有一棵大樹倒下來，好像是在追擊他們，所以信玄勢開始害怕小菅權現的神威，狼狽逃回。
• 御座石
  所謂「御座石」，就是役行者和弘法大師參拜時坐的石頭。上面有一個小凹坑，據說是他們拿的手杖的前端崁進去後形成的。在通到這裡的參道的路上，有一個傳說是阪上田村麻呂重建的加耶吉利堂的遺址。
• 鐙石
  在山岩的側面有一個像是馬鐙形狀的凹坑，因此這裡被稱為「鐙石」。鐙就是掛在馬鞍兩邊，用於套腳的馬具。
• 鳥居
  這是通往小菅神社奧社的參道入口的鳥居大牌坊，立在元隆寺大聖院遺址護摩堂的旁邊。奧社建在海拔900m的大岩洞內，從這裡過去還有1260m路程。左右兩旁都是樹齡幾百年的大杉樹，現在開始走上正式的參道。在路邊杉樹入口處周圍，有一排石造物，其中有在善光寺地震中亡故的金井和助翁的石碑、石燈籠、芭蕉句碑和梵字的石碑等。它們表明，這裡實質上是小菅鄉里的中心地。
• 行道杉樹
  在約800m的道路兩邊有180多棵大杉樹。這些杉樹是在江戶時代種植的，據說其中最大的一棵高達45m，樹齡已有300年。包括到奧社的區間在內，每年冰雪消融後，在舉行祭祀活動之前，地區的住民都會對這些行道杉樹進行修整。