现茂林潘氏大宗祠建于清代中期，潘氏大宗祠位于潘村柘南山南侧，坐北朝南共三进，总面积2300平方米，砖为青色，定做的砖模，每砖7.5斤，砖上都刻有“永思堂”三字，屋沿滴水有专制沿瓦。宗祠门扭朝东，外面有两个大石狮，其上有“潘氏大宗祠”，屋脊上有铸铁“天下太平”四个大字，大门楼建有四个翘角，上面都有一条龙，廓下吊有风铃。大门正中门楼上，有钦赐的“太子少保”匾额。进了外大门就是开阔的天井，天井地面是用黑白黄三种色的扁形河石，排成各种图案。还有四个石鼓围成专供插旌旗的石洞，过天井上石阶是内大门，分中左右三门，中门两边有两白石鼓。过内大门便是前堂、天井，有石料铺成的路通向正厅路两边还有花墩，花墩两边就是东西走廊，有二十四根白色大理石柱，支撑着两侧的走廊，走廊有侧门，东门楣上有“世德作求”，西门楣上有“孝思维则”八个兰色八寸方体字，门内住有看护宗祠的住户。大厅是宗祠的主要部份，厅间有很粗的白菓树木柱，柱上刻有挂联，大厅正中有清道光帝御赐给潘锡恩的六个金“福”字。正厅二梁上有“永思堂”三个字，便是大宗祠的堂名，大厅两边的墙壁上，有七尺高，四尺宽，用青石板雕刻的“忠义节孝”四个大字，一边各两块。是潘氏祖先教导子孙后代的信条，和做人的宗旨。屋梁上还悬挂有许多皇帝赐赠的匾额，厅内靠西侧有一楼梯上二楼，楼上朝南一排房间共有二十四扇窗门，门内就是放祖宗牌位的地方。大厅正面摆放着一排屏风。转过屏风到后进首先看到的是一汪荷花塘，塘边用白石围砌成边，白石板上均刻有图案，上首四角还有四只小石狮护着，水中养着各式各样的金鱼，供人观赏，环境十分优雅，此荷花塘仍是第三进。后面就是一排房子供人居住。

大宗祠的雕刻十分出色，从下到上，从竖柱到横梁，什么三尊四佛，八仙过海，十八罗汉，天上神仙地下菩萨，庵堂庙宇民间情侣，各种戏剧历史人物，花鸟鱼虫飞禽走兽应有尽有，色彩鲜艳立体感强。大宗祠在道光二十二年（1842年）和光绪二年（1876年）建造过二次，潘锡恩在道光年重建时首捐银五千两。为众首，光绪再次重建时潘锡恩一房共捐银五千七百二十，其中锡恩长子骏文代父及母和自已共捐银三千两，此后又捐银七百两，再创众首。
1941年1月4日新四军军部及部队九千余人，奉命北移苏南，5日到达茂林地区休息一天，6日下午军部在潘氏大宗祠召开军部机关和各纵队首长会议，这是新四军北移后第一次军事会议旧址，也是皖南事变枪声最初响起的地方，1958年——1964年大宗祠曾作过粮站，1976至1977年间作过茂林中学的部份教室和学生宿舍，后因无人维修，无法使用，截止1995年已倒塌三分之一，1998年倒坍过半，1998年12月24日由县文化局出面全部拆毁，盛世一百余年的大宗祠终在这一代被毁，凡到过这里，做过留影的游客。对照起来，无不为之感叹！

良辅公迁烟川，是烟川潘氏始迁祖，但烟川一地在何处呢？，良辅公，字朝相，登进士学，持节新安剌史，广明之乱避地歙之篁墩，后徒文笔山下（文笔山为浙江淳安县笔架尖），再徒潘村，定为烟川潘氏始祖，良辅公为仲阳公从弟仲道公之后，仲道公父亲兴仁，是仲阳公父亲兴义公的三弟。良辅公生有二子，长子潘万一，良辅公次子潘万二，名唐运，官通州长史，其六世孙潘日宝，在北宋初960—976年间率二子迁安徽泾县茂林潘村，为茂林始迁祖。在歙县篁墩新安江畔，沿江顺次有潘村、下烟村，烟村，烟西村，此正是烟川一地名的出处。因为时代久远。加之地方太小才会被后人忘记的。

茂林古溪潘村共分十甲，南宋末元初初时，潘村潘氏人口已近万。外出为官和从商者遍及全国各地，为便于宗族管理 。从十三代起先后分为十甲。十甲居住地如下：1、一甲，始祖十三世潘瑞四，居住拓南山南麓，大宗祠西侧有一个一甲支祠。
2、二甲，始祖十三世潘俊七，居住周村涝下二甲桥处。
3、四甲，始祖十五世潘原庆，居住上岭脚，也有个支祠堂。
4、五甲，始祖由凤姓外甥承继未改姓，这就是后来传说的潘村十甲九姓潘的由来。后迁到茂林凤村
5、六甲，始祖十三世潘学六，在约丝岗有个六甲塘上下屋便是六甲居住地，六甲祠堂就在潘村中的六甲巷西侧。还有个附六甲，始祖是十三世潘俊五。
6、七甲，始祖十三世潘梓乙，住潘村小学东侧，建有七甲支祠堂。
7、八甲，始祖十三世潘绍祖，住三甲村内。
8、九甲，始祖十五世潘积庆，住亚枫树，现已全部毁为耕地了。
9，十甲，始祖十三世潘蟠孙，住在潘村中从天益堂到长房，包括街上。十甲在此后的十七世，二十一世，二十五世时又派生了七房。

十甲，八甲，三甲在第十世共一曾祖重八，重八为九世士鶚之子，当地人称“三、八、十”始祖，并建了重八公的祠堂，潘锡恩在建河帅府第时，将该祠堂围于河帅府院墙内，并开一大门，亦称“重公祠”。四甲，六甲，九甲在第十世时共一曾祖重十，一甲，七甲在第十世时共一曾祖重七，二甲，附六甲在第十世时共一曾祖重五，重十、重七、重五均为世鹏之子，世鹏老大和士鶚为亲兄弟 。
从北宋到明清千余载间，古溪潘村的潘姓人，人口已过万，然在同治年间太平天国时，因在茂林发生了一场大仗祸及潘村，族民殉难流亡不胜数仅存千人不到。到2002年统计，潘村，三甲村共403户，口1368人。

巢湖市海如线有很多潘氏子孙在泾县茂林潘村，族谱有记载。

三甲始祖潘永保，三甲居住在三甲村内，古溪桥西南侧有个三甲支祠，三甲以后又分六房。以六房为最盛。潘氏三甲一支科举兴盛，官员众多。品位最高的是南河总督潘锡恩（封荣禄大夫，太子少保，从一品），他的后代也很显赫，长子潘骏文官至福建布政司（从二品），次子潘骏望江苏候补知州，三子潘骏猷广东肇阳道员，四子潘骏德直隶清河道员，五子潘骏祥江西知府。在潘锡恩的侄辈中做官的人也不少，潘方来（在四川任知县）、潘方毅（四川候补知州）、潘时敏（江苏华亭知县）、潘骏章（福建盐法道）、潘庆琪（广东候补同知）、潘文凤（福建蚶江通判）、潘兆奎（知府衔候选通判）、潘兆芬（江苏柘林通判）、潘兆基（湖北候补知县）等等。加上他的孙辈，大约有24人做过知县以上的官员。这在同一个支族，仅三代人当中出了许多官员，实属罕见，而且这些官员当中不少人是多才多艺。有书法家、画家和诗人，其中最突出的一位，具有现代科学技术知识、参加过建筑中国第一条铁路的人，就是潘锡恩的第四个儿子潘骏德。
据潘氏宗谱记载，潘骏德字梅园，清光绪六年（1880）任直隶清河道兼理京畿水利，同年8月委办机器局务。因办事卓有成效，受到朝廷的封赏加二品衔。光绪十四年（1888）中国的第一条铁路——北京西苑铁路开始兴建，第二年竣工，从紫光阁到镜清斋，包括岔道在内全长约2330米。潘骏德参加了这条铁路的设计和实施。光绪十五年西苑安装国内最早的电灯，潘骏德也参加了设计的施工。三甲支祠内原来有块“殊恩叠沛”的匾额，记载着他因参加这两项工程有功，受到皇家四次“恩赏”。匾上有这样几段文字：
“光绪十五年三月十八日，西苑初演电灯，恩赏八丝缎袍褂料二卷”。
“五月五日电灯告竣，恩赏实地纱袍褂料二卷……”。
“六月十日西苑试演铁路，恩赏直径纱褂料二卷，本色葛一卷……”。
“八月初十日铁路工竣，恩赏宁绸袍褂料二卷”。
光绪十八年立 直隶清河道潘骏德 。
在旧中国封建社会里，像潘骏德这样一位二品大员，兼有修铁路，装电灯和水利等方面的科学技术知识，实属难能可贵。同时，他又善于呤诗作画，所作水墨梅花尤为盛誉，被称为“神品”，为时人争相收藏。

泾县茂林潘村《荥阳潘氏统宗》共二十四卷，现仅存卷一首，末三首，现存于中国国家图书馆和中国社会科学院研究所图书馆。该谱是清光绪十年，（1884年）由茂林潘村三甲人潘江藻和他长子潘官懋一起主修的，始迁祖潘日宝。
潘江藻，泾县茂林潘村三甲人，茂林潘氏始迁祖日宝公29世裔孙。生于嘉庆二十四年（1819年），乳名淦之，字春舫，娶妻吴氏紫香，诰封宜人。由增贡生捐训导分发试用，同治二年（1863年）署安庆府训导，攻克金陵案内保加盐举衔，署合肥县训导，同治六年（1867年）中举人，光绪五年（1879年）以举人选授徐州直隶学正，光绪十年(1884年)为泾县茂林潘氏《荥阳潘氏统宗谱》主修人，此事记载于三甲支谱上。因修谱时还健在所以何时去世无考了。
潘江藻的长子潘官懋，日宝公30世孙，与其父潘江藻同为光绪十年（1884年）泾县茂林潘氏《荥阳潘氏统宗谱》主修人。此事记载于三甲支谱上。字德荅，号渔孙，生道光十九年（1839年），优贡生考取八族宦学汉教习，，光绪五年（1879年）中举人，娶妻吴氏定姑。因修谱时还健在。所以何时去世无考了。
潘江藻其父潘纶恩（1802--1857），乳名八三，字渭渔、炜玉，1826年考中秀才，岁贡生，选授盱眙县训导，诰赠奉直大夫，妻李氏华荘，诰赠宜人，庶妻徐氏云凤。是江南河道总督潘锡恩的堂弟，纶恩壮岁出外跟随锡恩做幕僚，有机会接触了形形色色的人物，听到了新奇古怪的故事，日积月累潘纶恩回茂林后把道听途说的故事编辑成书。《道听途说》是一部创作于清代道光中后期至咸丰初年的笔记小说集。全书十二卷，收录小说110馀篇，大多数为情节曲折的传奇体之作。是一本千载难逢、不可多得的好书。书记载了泾县本地许多真实的事件，故不仅很具收藏价值，还颇具研究之价值。《道听途说》凝聚了潘纶恩的半生心血，据《茂林春秋》和《古溪潘氏谱》记载潘纶恩还有《箨月山房诗抄》传世。

72世（一世）日宝（字良贵，泾县茂林始迁祖,茂林一世祖）。
73世（二世）五公、五公字延和。（迁乌岭，为西乡诸潘共祖）。七公，生一子子篙。
74世(三世) 子蒿，字惟高，生三子。长子居皓，次子居盈，三字居万。
75世(四世) 居皓，经传世德--思忠---信---文迪---士元再四传到十三世归孙迁长安
居盈，生一子，世卿。
居万，经世宽传思仁、思谊，再传时，节、文，再文锜、文铎、文克、文镜。
76世(五世) 世卿，生一子思厚，
77世9(六世) 思厚，生二子，长子振，次子礼
78世(七世) 振，生三子。长子文瘦、次子文忠、三子文週。
礼，生一子，文衍。
79世(八世) 文瘦，迁双浪，又四传至千一迁南陵、千二生二子，长子 贵六、次子贵七迁双浪 七甲， 千三迁华阳、千四又四传至昌祥。再二传至进源，生四子。长子富亨迁双浪十甲，次子仁亨迁双浪十甲、三子贞亨迁双浪六甲、四子志亨迁双浪六甲、五子恩亨迁双浪十甲。
文忠，又五传至辰招，迁贵池赤岭。
文週，又四传至龙一，迁芜湖石硊。
文衍，生三子，士洪、士鹏、士鹗。
80世(九世) 士洪，
士鹏，生五子。重三、重五、重七、重九、重十。
士鹗，生一子重八。
81世(十世) 重三，名元琪，生二子，成二（名永瑶）、庆三（名永怀）。
重五，名元祯，生三子，成一（名宋亨）、成三。第三子庆二继重十一为嗣
重七，名元震，字国器，生四子，成五、成六、成八。三子成七继重十为嗣。
重九，名永坎。迁青阳。
重十，二子，嗣子成七，一子成八。
重八，名元善，生二子，成四、道二。
82世(十一世) 成三，生一子福三。
成五，名永铭，生一子福四。
成六，名永最，生五子，恩一、恩二、恩五、恩七、、恩八。
成七，名永旺，生二子，恩三、恩四。
成八，名永昌，生一子恩六。
道二，
成四，生五子，祥一、祥二、祥三、祥四、祥五。
83世(十二世) 福三，生二子。长子俊五，次子俊七，
福四，生一子梓乙。
恩七，生一子槐三。
恩八。生一子槐七。
恩四，生一子端二。
恩六，生一子学六，
祥三，生一子蟠孙。
祥五，生二子，长子绍祖。次子永保。
84世(十三世) 俊五。附六甲始祖。
俊七，二甲始祖。此后再二传至熒孙分迁震山，为震山始迁祖。
梓乙，七甲始祖。
槐三，一甲始祖。
槐七，迁坎下。为坎下始迁祖。
学六，六甲始祖。
端二，生一子复孙。复孙生二子， 长子积庆，九甲始祖。次子原庆，四甲始祖。
蟠孙，十甲始祖。
绍祖，八甲始祖。
永保，三甲始祖。
注：统宗谱72世潘日宝，为泾县茂林潘村始迁祖，为茂林潘村一世。以此累推。84世为茂林潘村十三世。十三世起分为十甲。此后各甲有支谱。所缺茂林潘村五甲是由凤姓外甥承继未改姓，立为西山凤五甲。所谓茂林潘村十甲九姓潘正是此说，