镌刻于溪北书院讲堂墙壁上的《潘公孺初学行事实》记载：“潘存，字仲模，别字存之，号孺初，清嘉庆戊寅年（1818）出生于文昌县铺前港头村。七岁就塾读书，一目数行，塾师异之。年十二三，操笔为文，滔滔不竭，号为神童。咸丰元年（1851）三十四岁中式本省（广东）五十五名举人，后任户部候补主事等职。”
潘公居京师，公务余暇，研究经史，治学严谨，淹贯百家，终成一代硕儒。潘公尤其尊崇孔孟之道，注重儒家学说研究，从今存其亲笔著述之《论学说十则》、《克己集》及《赏花有感》中可见一斑。其在《克己集》中云：“君子以仁义为本，而文艺次之。”而且认为：“圣贤学问，争于方寸，不在富于言论。”“余读《语》、《孟》文字，见其德之至，而忘其文之美也。”此乃真正抓住儒家学说之精髓，故能登高望远，视野开阔，并升堂入室，体验自不同一般。正如其所言：“不登峻岭，不知天之高；不亲圣人，不知道之大。”
潘公的理学成就和个人风采，清末海南诗人冯骥声《挽潘孺初先生联》云：“理学传陆象山，经术师顾亭林，屈指数岭海贤豪，灵光岿然推此老；议论若陈同甫，气节似鲁仲连，何意遇龙蛇岁厄，康成殁后又斯人。”
晚清学者梁鼎芬《赠孺初先生三首》中更明确称誉：“孺初先生，当代硕儒。”
潘公居京为官30载，虽诸公卿知其贤，与其交谊甚挚，但因公性耿直忠介，疾恶如仇，不倚权贵，不苟同异，竟不升迁，于光绪九年（1883），辞官归故里。时值法帝国主义滋事，中法战火燃烧，清廷开始动员“保家卫国”，两广“团练”始兴。两广总督张树声知潘存其才德，深孚众望，而奏举其筹办雷（州）、琼（州）两郡团练，以加强地方防卫力量。于是潘公文官当起武将，与“镇南关—谅山大捷”之英雄冯子材成了受命举办团练的领军人物。
张树声于光绪九年十一月二十六日（1883年12月25日）之《粤督文高廉雷琼团练折》曰：“琼州孤悬海外，设守最难，昨已与兵部尚书臣彭玉麟遵旨派兵前往布置。查该郡文昌籍户部主事潘存，学识闳通，年德俱茂，冠绝一时，而忠义之诚，尤老而弥笃，海南士庶无不敬而爱之。臣已手书谆劝，恳其出任团防，并属镇道各官虚衷延访，冀使官绅一气，固结人心，能弥补外患于将来。”张树声亲笔手书《与潘存书》，诚恳敦请，表露心声：“闻阁下谈及贵处阻山滨海，民风强梗，渔人习水，远过江南，海门扼波，足称天险。若能加以训练，辅以地势，当可自存。今者事变方殷，用敬虔请高贤，起膺匡救，办理乡团，招练渔户。德望所及，能使苍屹山前海波不作，则田子春之节义，唐荆川之将略将复见于兹矣。”潘公亲赴省城，谒见张树声，多方洽谈操办事宜。备受鼓舞，爱国抗敌，热情高涨，激励众志，固结人心，同矢共仇，靖内御外，经营守卫，地方得以安宁，一时传为佳话。张树声卸任后，张之洞1884年7月接任两广总督，对潘公尤为倚重，继续举荐其办理雷琼团练，抵御外侮，并将其功绩禀报朝廷，皇上论功加赐四品官衔。
潘公卸任后，深感琼州西北与越南近邻，东北与粤闽海域相接，为战略要地，系两广屏障，为南疆门户，宜改制建省，从事建设，使其发展繁荣，充实国力。于是最先献议“琼州改建行省”，撰拟《琼崖建省理由与建设方案》。分地位、政治、军事、经济、交通、文教六大类洋洋近十万言，呈报张之洞。张氏对此建议十分重视，但因国事纷乱，未予处理，“琼州改建行省”未能实施。近年史学界多有考证，确认潘存系提出海南建省之第一人士。
