溯潘氏起源，在商末周初，始祖毕公，住河南开封荥阳县盘江村木洋屯，专长种田产粮，济众泽民，造福人间。业后感动周文王，取义成仁，受周公王赐封“潘”姓，诗云：
河南开封荥阳县，盘江木洋好地方；
好水好田产好米，毕公乐意助文王。
文王打到商纣王，为民除暴保江山；
社稷欢腾歌善政，毕公领姓祖源长。
公元前1100年，文王建立周朝后，国泰民安，吾祖奉召转移至山东清州府益都县白马街。。当时，吾祖雄心勃勃，勤劳刻苦，研产糯米，繁荣糯米巷，造福人间。史记：荥阳潘系糯米巷人氏。时至西晋中期，老祖潘岳，字安仁，任河阳令（公元247--300）奉召率军南下，安定祖国边陲，遂在广东花县乐业，繁衍后代。后有泰源公始从花县进广西创业，子孙分各地，惜年代久远，文史失传。潘氏祖鼻已若干世代，尚待详考。
明朝嘉靖年间（1527年）二十一世祖堂、良、俊三兄弟，随新建侯王守仁征剿岑猛之乱，平息后从武鸣仙湖屯移居安定，垦荒创业。良公文武全才，世袭安定司十九代官职；俊公后转马山六乐定居；堂公续留苏利六良、堆好、堆目艰苦创业，培育子孙。至今后裔遍布全桂甚至湘黔。