据陈列于溪北书院《潘公孺初生平学行事实》记载：“潘存字仲模别字存之，号孺初，清嘉庆戊寅年（1818），生于文昌县铺前港头村。七岁就塾读书，一目数行，塾师异之。年十二三，操笔为文，滔滔不绝，号为神童。三十四岁（咸丰元年）中试本省五十五名举人，后任户部候补主事等职。在京居三十年，耿直忠介，疾恶如仇，不倚权贵，未得升迁。”
潘公居京师30年，公务余暇，研究经史，淹贯百家。工诗、古文辞、书法亦妙。能悬肘作绳头细楷，是潘公最擅长的手法。凡汉魏六朝碑版，以及唐宋明清诸名家书贴，收藏最富，朝夕摹写，以至废寝忘食。故所作文字，中外名士不惜重金争购。尤东洋人见潘存书，仰之如泰山北斗。潘公是日本最具影响力的三十二位中国书法名家之一。他毕生镜六书之渊，著有《楷法溯源》一书，共七卷。该书论述精辟，观点新颖，订正百家之讹谬，是传世之作。
潘公一生治学严谨，精研经史百家。著有《论学》26篇、中华诗词43首，还有《克己集》、《论学十则》、《赏花有感》、包括《楷法溯源》等，均由侨居新加坡的裔孙潘宾臣结集印行传世。
潘公居京师30年，因秉性耿直，从未依附权贵。但公卿知其贤，与其交谊甚挚，凡有进言，必与讨论。但公性复耿介，不苟同异，服官30载，竞无所遇，不得升迁。于1884年66岁时辞官归故里。
据史料记载，潘公是第一个提出海南建省的人士！1884年，时值法帝国主义滋事。琼州西北与越南近邻，东北与闽海相接，孤悬海外，为战略要地，是两广屏障。当时的广东总督张树声知潘存才德，推荐他为雷（州）琼（州）团练。文官当起武将，靖内御外，经营守卫，地方得以安宁，朝廷论功赐四品官衔。其时潘存向朝廷提议“琼州改建行省”。并亲自撰拟建省理由与方略，呈报后任的两广总督张之洞。张之洞对此建议十分重视，但因国事纷乱，不久张之洞调离，未予处理。
自1888年起，潘公离开了30余年的官场生活之后，一心一意致力于兴学育才的教育活动。曾在惠州丰湖书院、府城苏泉书院、文昌蔚文书院掌教。由于“务实学，重躬行”，屡获学子、家长及社会的敬佩和爱戴。
潘公于经史百家之作，无不博通。惟其志在追步前贤，不喜以词章自炫。他一生留下的诗词和楹联并不多，偶有所吟，亦极古醇朴。光绪十五年（1889）冬拟的府城五公祠楼上名联，读后令人激愤泪下。
联云：
唐嗟末造 宋恨偏安 天地几人才置诸海外
道契前贤 教兴后学 乾坤有正气在斯楼中
此联后由著名书法家麦华三于1980年撰写于溪北书院“讲堂”墙壁上。
