传说唐开元年间,中秋之夜,方士罗公远邀玄宗游月宫,掷手杖于空中,即化为银色大桥。过大桥,行数十里,到达一大城阙,横匾上有“广寒清虚之府”几个大字,罗公远对玄宗说:“此乃月宫也”,见仙女数百,素衣飘然,婀娜多姿,随音乐翩翩舞于广庭中。玄宗看得如痴如醉,默记仙女优美舞曲,回到人间后,即命伶官依其声调整理出一首优美动听的曲子,然后配上模仿月宫仙女舞姿的舞蹈,这就是闻名后世的《霓裳羽衣曲》,成为千古佳话,月宫从此也有“广寒宫”之称。
相传月亮上的广寒宫前的桂树生长繁茂,有五百多丈高,下边有一个人常在砍伐它,但是每次砍下去之后,被砍的地方又立即合拢了。据说这个砍树的人名叫吴刚,是汉朝西河人,曾跟随仙人修道,到了天界,但是他犯了错误,仙人就把他贬谪到月宫,日日做这种徒劳无功的苦差使,以示惩处。