自1886年起，年逾古稀的潘公离开官场后，一心一意致力于兴学育才活动。最先应广东督学张湘涛之聘请，于惠州丰湖书院任教将近两年。由于怀念家乡，返回乡里，曾坐任府城苏泉书院、文昌蔚文书院掌教。由于“崇实学，黜浮伪，重躬行”，屡获学子、家长及社会人士敬佩和爱戴。在此期间，潘公多方筹资办学，为了表达对琼山丘文庄公之敬仰，欲新建奇甸书院，未能如愿。光绪十六年（1890），得到两广总督张之洞和雷琼兵备道、观察使朱采（亮生）两位风云人物的鼎力相助，潘公筹得巨款，创建溪北书院，购置图书，教化后代，实现了其毕生的夙愿，为文昌乃至海南的教育事业作出了突出的贡献。为了建造书院，潘公呕沥心血，殚精竭虑。令人遗憾的是，光绪十九年（1893），在潘公的亲自督办下，经过将近三年紧张繁忙的采购、备料、施工，就在书院即将举行落成典礼之际，潘公因长期奔波劳累，积劳成疾，不幸病逝于铺前港头村家中，享寿76岁。值得欣慰的是其堂侄孙潘为渊宣统二年（1910）采录《钦加四品衔宣付国史馆户部候补主事潘存先生学行事实》，其所著《克己集》、《论学说十则》、《赏花有感》、《楷法溯源》等包括诗词43首，由其侨居新加坡的裔孙潘宾臣结为《潘孺初先生遗集》，印行传世，成为极其珍贵的历史文化遗产。
潘公毕生惟其志在追步前贤，不喜以词章自炫，所留下楹联并不多，偶有所吟亦极古醇朴。光绪十五年（1889）冬拟的府城五公祠楼上名联，读后令人激愤泪下。
联云：
唐嗟末造 宋恨偏安 天地几人才置诸海外
道契前贤 教兴后学 乾坤有正气在斯楼中
此联后由著名书法家麦华三于1980年撰写镌刻于溪北书院“讲堂”墙壁上。
潘公认为“读书求做人为要，我不欲与今人争文章，而欲与古人争德行。”为栽成后世，自拟并书写两幅长联悬挂于“讲堂”两旁圆木立柱上。
联云：
学问无他 求益于身心家国天下
载籍极博 折中于易书诗礼春秋
曾与诗翁dǐng花品
偶逢樵者问山名
潘公不仅工诗书古文辞，书法亦妙。最为擅长悬肘作蝇头细楷。凡汉魏六朝碑版，以及唐宋明清诸名家书贴，收藏最富。朝夕摹写，以至废寝忘餐。故所作文字，中外名士不惜重金争购。尤东洋人见潘存书，仰之如泰山北斗。潘公系日本最具影响力之三十二位中国书法名家之一。他毕生竟六书之渊，著有《楷法溯源》一书，共七卷，论述精辟，观点新颖，订正百家之讹谬，是传世之作。《潘存书法集》由其得意门生、书法家楊守镜编纂印行（线装本，弥足珍贵，值得收藏），是晚辈书法爱好者临摹的绝佳版本。溪北书院大门两侧短联：“维持风俗，教育人才”由潘公亲自撰联并书写。阴刻“讲堂”“经正楼”五个大字，也是潘公所题，大门“溪北书院”四个隶体大字则由楊守镜题。
溪北书院2009年定为海南省重点文物保护单位，2019年定为全国重点文物保护单位。
近日，笔者和几位朋友再次参观了潘存故居和溪北书院，进一步了解潘存的人生经历，深为其严谨探究学问、致力于兴学育才的精神所感动。现在政府文物保护部门已经拨款修缮溪北书院，修缮工程正在紧张有序地进行。文化主管部门拟开设潘存生平陈列和溪北历史文化展览，心中甚感欣慰。但愿溪北书院崭新的面貌早日展现在世人面前，以表达文昌人对一代宗师，著名教育家、书法家潘存的敬仰和怀念，告慰其在天之灵。
