铁山禅寺始建于东汉末年，是汉人出家的**位僧侣严佛调所建，为其开山之道场。公元前117年，即汉武帝刘彻在位的第六年，设置了临淮郡，盱眙为临淮郡都尉治所。据《出三藏记集》上记载，严佛调为临淮郡，也就是现在的盱眙。东汉桓帝（刘志）时，洛阳已成为汉地翻译佛经的中心，并在洛阳建立了中国历史上**座寺院——白马寺。作为当时的知识分子的严佛调有才无报国之门，深感苦恼。他从临淮郡辗转去了洛阳，在鸿濡寺结识了安息僧安世高。
    寺庙占地二三百亩，建成历时15年，且历朝扩建，屡废屡建，到明万历年间，规模达到鼎盛，方圆几百亩地内石门石柱、石龛石佛，形成以铁山寺为中心，汪姑寺、清凉寺、龙山寺等十数座寺庙，在皖东地区形成“小九华”，僧人达到千余人，和尚念起经来轰轰如雷鸣。而寺庙的文化交流也相当频繁，主持和尚迷醉云游，先后从大江南北乃至朝鲜半岛带回珍稀物种，并逐渐养成山区偏好植物栽培的风气。
    到民国初年，土匪横行，十数座寺庙均被山匪所占，当时国民政府调动一个师兵力剿匪，寺庙大部分建筑毁于战火。解放后,只留下部分禅房及断垣残壁,但仍有许多佛教信徒来此朝拜。到文革后期时任江苏省革委会主任、南京军区司令曾是少林寺弟子的许世友将军曾以指导作为名来此朝拜，被当地人传为佳话。