讲到佛香阁的来历，其背后有一个美丽而神秘的传说故事，这个故事与元世祖忽必烈的皇后翁娘娘还有着直接的关系。翁娘娘是一个聪明贤惠且才华很高的人，对于忽必烈遇到的一些疑难问题总能及时提出正确的解决方案，为元朝的建立也是立下了汗马功劳，因此，在忽必烈心中，她就是自己不可或缺的高级智囊。但是天有不测风云，这位翁皇后突然身患疾病，在久治不愈的情况下，生命也走到了尽头。在弥留之际，忽必烈问翁娘娘还有什么心愿未了，翁娘娘说：“在我死之后，要将我葬于城南的一个小山包之上。”见忽必烈疑惑不解，翁娘娘又说：“日后必有天子日夜为我守墓”说完这话之后，翁娘娘便与世长辞了。由于忽必烈对翁娘娘宠爱有加，对于这个要求自然全部照办。从此以后那个小山包就改叫翁山了。为了防止后人盗墓，忽必烈派手下的人将墓修的非常隐蔽，对于墓穴的准确位置，外人更是无从知晓了。

据说翁娘娘还有精通风水的本领，她对这个小山包的位置早就观察过，是块风水宝地，她预料以后也会有人看上这里，而能够在这个地方大兴土木的也只有皇家才有这个实力，因此她才说了：日后必有天子日夜为我守墓。这句预言。

到了500年后的乾隆年间，乾隆皇帝见到此地山清水秀、风景优美，就想在此处修建行宫。于是他马上开始征集民工，在翁山之上大兴土木的修建起了皇家园林。因为当时正值自己的母亲孝盛皇太后的寿辰，为了表达对母亲的祝寿意愿，就把翁山改名为万寿山了。

正当工程顺利的进行之时，有一天，在半山腰挖地基的工匠，忽然脚下坍塌出了一个大地穴，四周都是用的大石块砌的，还有一个石头大门，关得特严实。工匠们费了九牛二虎之力才撬开了门前的一块挡门石。翻过来一看，都被吓住了，原来上面刻着几个大字：“你不动我我不动你”。于是工匠们马上禀告了乾隆，乾隆也是很迷信这类事情的，一看，慌忙命令工匠把石头重新砌好。又在翁娘娘的坟墓边修建了佛香阁，就是佛香阁背后的故事。