元丹丘本世外之人，不惯长安官场生活，报与玄宗，欲离长安，玄宗也未挽留，李白与元丹丘相交甚厚，为之送行。临别时二人对饮，元丹丘道：“贤弟与我都不是官场之人，大唐表面看起来繁花似锦，实则权相弄柄，言路难开，玄宗皇帝惑于美色，早已不理朝政，此盛极而衰之兆也。”
“我原想辅佐玄宗皇帝立一番功名然后归隐，可皇帝只把我当成一个写诗的人，毫无实权，我与皇帝走得近，又常受一些官员的诽谤，这段时间玄宗已经渐渐疏远我了。长安我也没有久留之意了。”李白叹道。
二人依依惜别，李白作《西岳云台歌送丹丘子》
西岳峥嵘何壮哉！黄河如丝天际来。
黄河万里触山动，盘涡毂转秦地雷。
荣光休气纷五彩，千年一清圣人在。
巨灵咆哮擘两山，洪波喷箭射东海。
三峰却立如欲摧，翠崖丹谷高掌开。
白帝金精运元气，石作莲花云作台。
云台阁道连窈冥，中有不死丹丘生。
明星玉女备洒扫，麻姑搔背指爪轻。
我皇手把天地户，丹丘谈天与天语。
九重出入生光辉，东来蓬莱复西归。
玉浆倘惠故人饮，骑二茅龙上天飞。
李白自遭谗言，玄宗久不召见，以往结交的王侯也极少再与李白交往，李白十分苦闷。此种思想反应在他的一些诗歌中。如《同王昌龄送族弟襄归桂阳二首》、《月下独酌四首》《把酒问月》、《古风其二“蟾蜍薄太清”》、《古风其十二“松柏本孤直”》、《古风其二十一“郢客吟白雪”》、《古风其四十四“绿萝纷葳蕤》、《古风其四十九“美人出南国”》、《感遇四首其四“宋玉事楚王》、
《行路难三首（其三）》
有耳莫洗颍川水，有口莫食首阳蕨。
含光混世贵无名，何用孤高比云月？
吾观自古贤达人，功成不退皆殒身。