“谪仙人”这一称呼源于贺知章，李白在《对酒忆贺监二首》的序中说：太子宾客贺公，于长安紫极宫一见余，呼余为“谪仙人”，因解金龟，换酒为乐。没后对酒，怅然有怀，而作是诗。关于贺知章呼其为“谪仙人”一事，孟棨在《本事诗》中的描述更为细致，“白自蜀至京师，舍于逆旅，贺监知章闻其名，首访之，请所为文。白出《蜀道难》以示之，读未竟，称叹者数四，号为谪仙，解金龟换酒，与倾尽醉。期不见日，由是称誉光赫。”经贺知章的赞誉之后，“谪仙人”的称号传闻天下。
杜甫《寄李十二白二十韵》：“昔年有狂客，号尔谪仙人。笔落惊风雨，诗成泣鬼神。声名从此大，汩没一朝伸。……乞归优诏许，遇我宿心亲……”李阳冰《草堂集序》云：“……又与贺知章，崔宗之等自为八仙之游，谓公谪仙人，朝列赋谪仙之歌凡数百首，多言公之不得意。”魏万《李翰林集序》：“故宾客贺公奇白风骨，呼为谪仙子，由是朝列作歌数百篇。”不仅别人称他为“谪仙”，他自己也以“谪仙”自许，“大隐金门是谪仙”、“青莲居士谪仙人”，由是，李白为“谪仙”遂为历代相传。
