祥云寺地形奇特、环境优雅，处在密县到汴梁的官道上，地理位置非常好。它座落在高岗之上，四周环水，犹如天然城池。自古以来都流传着祥云寺是块风水宝地、是块活地的说法。传说是这样的：
  
    祥云寺的地形原来很高，四周是一圈天然的土城墙。上面林木繁茂，只有一个寨门可以进入寺院。明朝崇祯年间，农民起义军李自成部队攻入中牟。为断绝汴梁明军的西路，起义军便驻扎在中牟西南(含祥云寺、张庄)一带。当时寺院附近几个村镇的老百姓四处逃散。也有很多的老百姓往祥云寺寺院里来躲避。一时间寺院里挤满了人。而且外地远一点的村庄听说到寺院有佛祖保佑，也随着大批地涌向祥云寺。就这样，寺院到底进了多少人没有谁能查的出来，反正凡是来到这里的老百姓都进去了。后来部队把寺院围了个水泄不通，但就是找不到进入寺院的院门，城墙一圈荆棘丛生，根本没办法往上爬，而且大雾迷漫，这些部队围了一天一夜也没有进入寺内，后来就自动撤兵了。