光绪十六年（1890），在两广总督张之洞和雷琼兵备道、观察使朱采（亮生）两位风云人物的鼎力相助下，潘公筹得巨款创建“溪北书院”，购置图书，教化后代，实现了他毕业的夙愿，对文昌的教育事业作出了突出贡献。
溪北书院，位于海南省文昌市铺前镇珠溪河之北，占地20多亩，建筑面积一万多平方米，是清末著名书院之一。建成时，在海南规模仅次于府城的琼台书院，位居第二。现在是“全国重点文物保护单位”。书院坐北朝南，由大门、讲堂、经正楼、斋舍、东西庑廊五部分组成，全部砖瓦结构。其间由东西庑廊相连，四周围墙环绕。门匾上为潘公得意门生、清末著名书法家杨守镜题“溪北书院”四个大字。大门两侧短联“维持风俗”和“教育人才”则由潘公亲自撰联和书写，对联言简意赅，阐述了书院的办学宗旨。
庭院前方，有一半月形水塘，古称“泮池”。水面波光粼粼，清水荷莲。水塘增加了书院的庄重感，并且或有“淘洗心中杂念”的暗示在其中，暗示学生，心静若水，潜心学问，出于污泥而不染。
潘公“崇实学，黜浮伪”，他认为“读书求做人为要，我不欲与今人争文章，而欲与古人争德行。”为栽成后世，自拟并书写两幅长联悬挂于“讲堂”两旁。
联云：
学问无他 求益于身心家国天下
载籍极博 折中于易书诗礼春秋
书院至今仍珍藏着潘公的真迹。
据传，溪北书院前殿“讲堂”和正殿“经正楼”两个牌匾均为潘公所书。有趣的是，细观察“讲堂”的繁体“讲”字，直笔缺竖，杨守镜题的“溪北书院”繁体“书”字缺一横笔。这是中国书法史上意义深远的两个残缺字，暗藏玄机，发人深省。后经有人研究认为：这是潘公及其学生在告诫后人，作为师长，毕生有讲不完的学；作为学生，毕生有读不完的书。学海无涯，要刻苦自励，孜孜不倦，由此可见，一代名家潘存的良苦用心。
为了建造书院，潘公可谓呕心沥血，殚精竭虑。令人遗憾的是，光绪十九年（1893），在潘公的亲自督办下，经过将近三年紧张繁忙的采购、备料、施工，就在“溪北书院”即将举行落成典礼之际，潘公因长期奔波劳累，积劳成疾，不幸病逝于铺前港头村家中，享寿76岁。
最近，笔者和几位朋友再次参观“溪北书院”和“潘存故居”。书院的“大门”、“讲堂”、“经正楼”三大主建筑保持十分完好，但东西两庑廊已严重损毁，“泮池”已干涸，不见碧水，只见芳草萋萋。近日听说政府文物保护部门准备拨款修缮，心中甚感欣慰，但愿一个崭新的“溪北书院”再次展现在世人面前。
如今，“潘存故居”是“海南省重点文物保护单位”。
一代宗师——潘存，作为教育家和书法家，将永远为海南人敬仰和怀念。
