大阜潘氏宗祠位于歙县大阜“来龙山”的“龙首”南麓。始建于1585年，清朝同治年间重修。整个建筑依“来龙山”地形而建，座北朝南，气势恢宏。
该祠堂共六进，每进渐次高起，最后一进50年代被拆（做大阜粮站需要用砖）。祠堂正面门厅为五凤楼建筑，两侧八字墙上饰以细腻的砖雕，其余三面较简洁,结构与民居相同。首进为木栅栏与大门之间（木栅门已于60年代初拆毁），大门两侧有石鼓。进门后为院落，石板铺地，两侧为虎廊。第三进为主厅，五开间，大厅梁，木柱极粗硕，雀替、平盘斗等处雕刻百余匹马（实无法数清），或奔跑，或嬉戏，栩栩如生，称为"百马图"。
月梁上曾高悬历朝名人匾额（因祠堂解放初期作为粮站，再加上文化大革命的动乱，许多匾额已流失，包括红底金字的“大学士”匾。现仅存不多的几块，但文物价值还是很高的，如刘镛为潘奕藻、潘世恩题写的“伯侄翰林”，刘镛为潘世恩、
题写的“父子进士”等还在）。第四进为天井，天井四周是黟县青石栏,每个望柱头上均刻有石狮(石狮文革中被毁），栏板上镌刻花草礼器等图案，洗练精致。池内种有百年桂花树两棵，东边为金桂（开黄花），西边为银桂（开白花），现仅存金桂。
第五进高出地坪1米多，两侧分别有九级石梯（这可是金銮殿上才有的，民间是不许建造的）攀升。该进为七开间，青石檐柱，重檐，有楼，迎面为龛台。楼上左右两楼梯间有门通祠外后山。已被拆毁的第六进地基上现已树木葱郁。
祠堂正门三排石阶而下，即为纵贯全村的横铺石板的大道。距祠堂正门二十余米，矗立着一道二十余米长的照壁，十分壮观。照壁与大道之间为平坦的操场。
照壁之南，为一大池塘，范围极大，约800平方米，四周用石板拦之，间竖石柱。池内遍植荷花，每当盛夏，袅袅红莲，田田荷叶，景色十分宜人，更有缕缕清香，沁人心脾，令人流连忘返。
大阜潘氏宗祠气势壮观、雕饰精美。现为安徽省重点文物保护单位。
苏州望族潘氏，世代门第显赫，状元、探花、翰林、举人玎：胜枚举，享有“天下无第二家”之誉，苏州民间称之为“贵潘”。因其迂自徽州大阜村，故又称“徽潘”。平江历史街区的南石子街(6—10号)潘宅，历史上曾是清光绪年间军机大臣潘祖荫和弟潘祖年的住宅。
潘氏是大阜的名家巨族，据族人讲述：潘氏始迁祖系唐代的一位刺史，其人原来是世家八闽，后为宦新安，因黄巢之乱而无法返乡，只能卜居徽州，，子孙遂散处于新安六邑（徽州一府六县）各处。据《大阜潘氏宗祠记》“家礼乐而户诗书” 。 复旦大学教授王振忠如是说。