《桃花源记》的“渔人”形象既负载着我国古典文学的“渔人”描写传统，也有其历史人物的原型。就传统而言，他是虚的；就原型而言，他是实的。实中有虚，虚中有实，虚实相生，正是《桃花源记》叙事艺术的主要特点。陈寅恪(1890-1969)曾指出：

桃花源记寓意之部分乃牵连混合刘驎之入衡山采药故事，并点缀以“不知有汉，无论魏晋”等语所作成。

陶渊明之作桃花源记，殆取桃花源事与刘驎之二事牵连混合为一。(《桃花源记旁证》，《金明馆丛稿初编》，三联书店1959年版，第188-200页)

在这里，他有意无意地暗示刘驎之(生卒年不详)就是“渔人”的原型。陶渊明《搜神后记》第6条“刘驎之”：

南阳刘驎之，字子骥，好游山水。尝采药至衡山，深入忘反。见有一涧水，水南有二石囷，一闭一开。水深广，不得渡。欲还，失道，遇伐弓人，问径，仅得还家。或说囷中皆仙方灵药及诸杂物。驎之欲更寻索，不复知处矣。(汪绍楹校注，中华书局1981年版，第6页)

此事又见《晋书》卷九十四《隐逸列传》。东晋时衡山属于衡阳郡，而武陵郡与衡阳郡都属于现在的湖南省，就地域而言，两郡相距自然不远。所以，“武陵人捕鱼为业”的说法本身对“渔人”的人物原型也可能是一种暗示。类似的例证如《陶渊明集》卷三《述酒》诗“重华固灵坟”一句，古直(1885-1959)注云：

吴师道曰：“恭帝废为零陵王，舜冢在零陵九疑，故云。”直案：恭帝被弒，“重华固灵坟言零陵王何在？但有灵坟耳。《经传释词》曰：“固，又作顾。”顾，犹但也。孙绰《聘士徐君墓颂》：“乃与友人殷浩等，束带灵坟。”(《陶靖节诗笺定本》卷三，台湾广文书局，1964年版，第94页)