关于潘姓的姓源，《姓纂》上面是这样记载的：“周文王后毕公之子季孙，食采于潘，因氏焉。有广宗，河南两望。”

毕公，就是毕公高，是周文王的第15个儿子，被他当天子的兄弟武王封在毕地，也就是现在陕西省长安和咸阳以北的一带。后来，他又让自己的儿子季孙食采于潘，而后周文王的这一支子孙就按照当时的习惯，纷纷以国为氏，统统都姓了潘，潘姓的最早发源地，当然也是在陕西的北部。

大约四五百年以后的春秋时代，南方的楚国又有人以潘为姓，这是根据《姓氏寻源》的记载。《姓氏寻源》上是这样说的：“楚公族芈姓之后，以字为氏，潘崇是也。”这一支潘氏，很显然是颛顼帝高阳氏的后代，他们的发源地，大致是在今安徽、江苏和浙江一带。

分别发源于南方和北方的两支潘氏，姓源虽然看起来有所不同，但认真推溯起来，根本都是黄帝轩辕氏的后代。因为，周文王固然是黄帝的姬姓嫡裔，而楚国所出的芈姓则是传自黄帝之孙颛顼。在血统方面实际上同出一源，没有太大的分别。

汉代以后，潘姓的知名人物不绝于史书，堪称济济多士，譬如，三国时代东吴的名将潘307和潘璋，就是千百年来民间所熟知的人物。大家熟知的“走麦城”的故事中，关公父子就是被潘璋所捉到并加以杀害的。

“貌比潘安”，是大家都懂得应用的一句话，用来形容姿容美好的男子。这位潘安，就是晋代的大才子潘岳。

宋代的大将潘美，也是民间家喻户晓的人物，不过大家对他的印象都不好，把他列入“坏人”之林，当然，这主要是因为在著名的“杨家将”故事中，“潘仁美”扮演的是反派的角色，处处跟杨家过不去的缘故。

实际上，这真是冤枉了他了。正史上的潘美，是宋太祖赵匡胤的一名大将，战功辉煌异常，曾经在太祖受禅之初，为宋室收复凶悍的陕帅袁彦，而巩固了赵家的天下。后来，他并且平定泽潞扬州，下江南广东、云南，以大功累官至忠武军节度使，还被封为代国公。像这样一位杰出的名将，竟被“杨家将”的作者，随便地在他的名字中加个“仁”字，就把“潘仁美”塑造成一个反派的角色。