潘仙祠位于高州市区文明路冼太庙东侧，为纪念西晋时代岭南道教先驱者潘茂名而建。潘茂名，潘州人，永嘉中入山，遇仙翁点化，授其长生不老之法。他按其仙翁指点，采药炼丹，救苦救难，最后乘坐石船飞升而去。潘茂名飞升仙去后，当地群众创建有10多座不同风格的纪念建筑，以志纪念。其中较有代表性的有：东山的东山寺，潘坡的潘仙亭，笔架山的潘仙亭，城西的仙易亭，观山的潘仙殿等