传说五台最早是道家的地盘，《道经》里称五台山为紫府山，曾建有紫府庙。《清凉山志》称佛教的文殊菩萨初来中国时，居于石盆洞中，而石盆在道家的玄真观内，这说明当时五台山为道家所居。

佛教最初传入中国时，只有少数人奉行。公元前二年，大月氏国国王的使者伊存来到当时中国的首都长安（即今西安），他口授佛经给一个名叫卢景的博士弟子，这是中国史书上关于佛教传入中国的最早记录。佛教传入五台山，普遍的说法是始于东汉。史籍记载，永平十年（公元67年）十二月，汉明帝派往西域求法的使者同两位印度高僧迦叶摩腾和竺法兰来到洛阳。

据《清凉山志》等多种古籍记载，东汉永平年间，汉明帝刘庄梦见一头顶发着光的金人，待他正要向金人发问时，那金人却悠然升空，向西飞去。第二天，他把梦境告诉了大臣们，最后与大家议论的结果是“西方有神称为佛，且佛有佛经，金人往西飞去，可能就是佛”。汉明帝派大臣蔡愔、秦景等人赴西域拜佛求经。

当蔡、秦等在大月氏（今阿富汗一带）求得佛经、佛像时，巧遇在当地宣扬佛教的天竺（今印度）高僧迦叶摩腾和竺法兰，立即邀请他二人来中国讲经授法。之后一行人白马驮载佛经、佛像于永平十年十二月来到洛阳。

永平十一年，迦叶摩腾和竺法兰离开洛阳，来到清凉山（即五台山），发现这里不仅是文殊菩萨演教和居住地，而且还有一座阿育王佛舍利塔，更主要的是发现显通寺所踞地极像天竺国的灵鹫山（释迦牟尼修行处），他二人想在此建寺，但由于当时五台山是道教根据地，他二人颇受排挤，因此奏知汉明帝。汉朝廷为辨别佛教与道教的优劣高下，让僧人与道士表演、说明、验证，因此双方达成协议——约期焚经，以别真伪（相传，焚经地点在今西安焚经台）。焚经的结果，道教经文全部焚毁，佛教经文却完好如初，故他二人获得建寺的权利。便在此建起了规模宏大的灵鹫寺。为显弘信之意，汉明帝又加“大孚”二字，这就有了显通寺的前身“大孚灵鹫寺”。

《大方广佛华严经》中的《诸菩萨住处品》载：“东北方有处，名清凉山。从昔以来，诸菩萨众，于中止住。现有菩萨，名文殊师利，与其眷属，诸菩萨众，一万人俱，常在其中，而演说法”。《佛说文殊师利宝藏陀罗尼经》中说：“尔时，世尊复告金刚密迹主言，我灭度后，于南赡部洲(大地)东北方，有国名大震那。其国中有山，名曰五顶，文殊师利童子游行居住，为诸众生于中说法。”

“清凉山”、“五顶”山，恰好符合五台山五峦巍然、气候清凉的特征。汉明帝时，天竺高僧摄摩腾、竺法兰等入中土后，以天眼神通观之，即知此山乃文殊住处，兼有育王所置佛舍利塔，故五台山为文殊菩萨道场。