潘氏是一个多民族、多源流的姓氏，在当今姓氏排行榜上名列第三十六位，属于超级大姓系列，人口约七百六十三余，占全国人口总数0.47％左右。
春秋战国时，潘氏主要在今湖北省境内发展，此后，有向山东、湖南迁徙的少数潘氏族人。
汉朝时期，有潘氏族人北迁至荥阳中牟(今河南中牟)的，至三国时发展兴旺而为荥阳郡一大望族，以东汉献帝时尚书左丞潘勖为始祖。东汉灵帝有潘乾因仕宦而迁江苏溧阳，此地以潘乾为始祖。吴国有右将军潘璋由发干(今山东冠县)而迁建康(今江苏南京)，而吴国还有浏阳侯潘濬，为汉寿人(今湖南常德)，而孙权妻潘夫人为浙江会稽人，这说明在三国以前，潘氏族人已播迁于上述地方，其中以中牟潘氏最为兴旺。
晋朝时期，潘勖之裔孙潘才因任广宗太守，而落籍广宗(今河北威县)，后又发展成为潘氏历史上第二大郡望，此期亦有潘氏人播迁广东。
北魏时期，破多罗氏改汉姓潘，并逐渐在洛阳形成潘氏的第三大郡望，其开基始祖为潘威。此期潘才的八世孙潘绍业因任随州(今湖北随县)刺史落籍当地。
唐朝初期，陈元光父子开漳，有河南固始人潘节随其入闽。此期潘绍业的曾孙潘求仁因任杭州刺史而定居当地，其间并有移居陕西的潘勖的后人兴旺发达起来，而江夏(今湖北武昌)的唐秘书监潘肃仁自称是汉寿潘濬的后裔，由此可见，自东汉末至唐朝，潘氏族人从中牟望族中又衍分出许多支脉，而潘威的后裔则从洛阳望出，又兴盛播迁于怀朔(今内蒙古固阳)、陕甘等地。豫章潘氏兴盛于唐朝，至五代南唐时成为当地名门望族。
宋朝时期，有潘节后人迁广东、云南。
元、明、清时期，潘氏族人已分布于全国各地。
如今，潘氏族人分布广泛，尤以广东、江苏、安徽、内蒙古、河南、四川、湖北、浙江等省区为多，这八省潘氏族人约占全国潘氏人口的65％以上。