据《道学传》说，道教创始人张道陵曾在嵩山修道九年。南北朝时，又有著名道士寇谦之在此改革“五斗米道”，创立“新天师道”。峻极门东侧的《中岳嵩高灵庙碑》就是当年刻立的，碑文记载寇谦之修中岳庙和传道的事迹，是关于这位名道最早的记录。此后，历代还有不少知名道士在这里主持过道场。峻极门东侧还有《五岳真形图碑》，这一高3米的碑石雕刻着象征五岳的图象，为明代万历年间所刻立。据道教经典《云笈七签》说，五岳真形图是道士入山辟邪的护身符，一切妖鬼虫虎都不能近。如今河南道教协会就设在中岳庙，每年农历三月和六月庙会热闹非凡，这一习俗至今不衰。