良禽择木，贤臣择主
“朝为田舍郎，暮登天子堂”，这句话反映了古代许多知识分子追求功名的思想，他们实现做官理想的主要途径是参加科举考试。科举制使门第不高的读书人可以凭才学进入各级政府任职，有利于扩大封建统治的基础，巩固封建统治。但是，林召棠却“学而优不仕”，并且他推说要侍奉在老家湛江的母亲，然而后来为什么又会来肇庆呢？
为什么会做状元师父？俗话说：“有状元学生，无状元师父。”[7]因为中了状元之后，高官厚禄，荣华富贵，享之不尽，哪里还会去执教鞭呢？而林召棠却“学而优不仕”，甘当“状元师父”，主讲两广端溪书院多年，这在历史上是鲜有的。
道光十一年（1831年）林召棠主持陕甘乡试期间，时任军机大臣穆彰阿曾派人命林召棠为其党羽作弊，遭林召棠严词拒绝。乡试毕返京时，又适逢穆彰阿寿辰，林召棠无厚礼可送，故遭白眼；兼之穆彰阿管家又乘机敲诈，索要巨款，林召棠家本寒素，又为官清廉，宦囊如洗，何来巨款？加之林召棠撷取“新科状元”桂冠以来，九年时间已经过去。他头上的光环正在一点一点褪去。熟读圣贤之书，林召棠早就看透了世事沉浮，深知不可因一时之得意而逞强。此时的大清王朝，离康乾盛世已远。他看到了这老大帝国的另一面：小人当道、乌烟瘴气……穆彰阿出仕之后，主持乡试三次、会试五次，并在覆试、殿试、朝考等考试中评选文章，还充任编纂国史、玉牒、实录等史料的总裁，门生故吏遍布天下，很多知名之士受过他的引荐，因此在朝中党羽众多，号称“穆党”。穆彰阿当时权势如日中天，飞扬跋扈，倒行逆施。林召棠虽未得深层次的官场经验，却还是闻到了一种“山雨欲来风满楼”的况味，江河日下的悲凉感浮在他的心头。林召棠性刚正、学深邃、淡名利、耻夤缘，更不愿与虎狼为伍。既已得罪于当朝“宰相”，又痛恨清廷腐败、官场污浊，就是在这样的背景下，他为自己的一生做了一个惊天动地的决定：离京返乡，回家奉母。这是一种既可称作温和又可称为极端的方式。他深信，自己的“不适应”官场，非自己“不合时宜”，而是官场“时宜不合”。
道光十二年（1832）秋，林召棠离京归里。第二年春天，两广总督卢厚生请状元公出任两广端溪书院山长。状元公以侍奉母亲为由，起初并不应允。卢厚生则说，状元公回到广东，若不当这个山长，谁还敢当呢？总督把话说到这个份上，林召棠只好应允，继而欣然前往：得天下英才而教之，不亦乐乎？自己对教育独有情怀，教书育人何尝不是自己奉献家国的一种不错选择？
林召棠从事教育事业，不是自端溪书院始。事实上，林召棠涉足教育始于嘉庆二十年（1815年）。当时他尚未中举，跟随恩师程国仁在山东济南等地辅读，他帮看县试、府试考卷。清嘉庆二十一年（1816年）林召棠顺天乡试中举后，于第三年回到广东东安（今云浮）在文昌宫教馆从教近一年，有8名学生。道光元年（1821年）林召棠再次在文昌宫设馆，学生一下子多达五十余人。这应该是他教馆有方的结果。林召棠主讲书院，则自广东高州高文书院始。高州是古代广东西部高州府的政治、经济、文化中心，高文书院在粤西影响颇大，原名敷文书院（现为高州中学）。高文书院于道光七年（1827年）聘任已经中状元回家丁忧的林召棠为主讲。虽然时间不长，却赏拔了一批相当不错的学生，诸如：信宜人梁巍，后为道光三十年（1850年）二甲进士，任翰林院庶吉士；刘汝新，为道光十年（1830年）进士，任知县，被誉为晚清高州三大诗人之一[8]。高州杨颐尚书、本邑陈兰彬侍郎等皆其赏拔之士。
林召棠主讲端溪书院期间，对其发展做出了重要贡献。有清一代，端溪书院山长任期最长的是乾隆年间的陆嘉颖（18年），居第二位的就是林召棠了（15年）。而以绩效和存留遗迹来看，林召棠应居首位。他在教育教学中贯彻“通经致用”“研经而砥行”的原则，“务为实学”，因而“门生多俊才”。这15年在林召棠87岁的生命历程中只占了一小段时间，但对于林召棠而言，担任端溪书院山长，是他有固定职务、从事固定职业时间最长的一段人生经历。在这期间，他对岭南教育事业的发展起到了重要的推动作用。
卢厚生为什么要请林召棠当端溪书院山长呢？因为当时清廷规定，为了保证省属书院的学术权威，“凡山长充补必请诸朝廷，特重其事。”并且朝廷对山长水平要求甚高：“居中讲习者，固宜老成宿望”，“凡书院之长，必选经明行修足为多士模范者，以礼聘请”[9]。因此各省会书院所聘山长多为一代名流。由此可见，卢厚生能请出林召棠这位状元公来当端溪书院山长自然是非常高兴的。而对于林召棠而言也算不得屈就。在林召棠之前，清代状元在书院任教的就有缪彤、汪应铨、彭启丰等人。[10](https://www.daowen.com)
当时的端溪书院在广东乃至整个岭南都堪称最高学府。为什么肇庆能够出现这样一所声名远播的书院呢？这与历史上肇庆所处的政治、经济、地理和人文环境有关。林召棠在《重修肇庆文庙》中说：“古端州，粤东之中，岭南一都会也。衣冠气盛，人物殷轸……我朝文轸南暨，丹徼投锋，镜清砥平，外薄海甸，重熙累洽，播为弦歌，山川清夷，灵淑钟育，端州文物，遂蔚为英俊之域。”[11]此前，清赵长岭在《重修端溪书院碑记》中也说：“肇庆毗接省垣，南控高廉雷琼，西扼浔梧桂林，旧为广东广西总督驻节之所，两粤人文所交会，故有端溪书院在县署左。”[12]具体而言，第一，肇庆曾经长期是两广总督府所在地。从明嘉靖四十三年（1564年）起至清乾隆十一年（1746年）连续182年，肇庆都是两广总督府驻地，是广东政治、经济、军事、文化中心，实为岭南都会。第二，肇庆地理位置重要，是广东与广西之间、广东上六府与下四府之间的联结点。据康熙、乾隆年间所编的《大清一统志》记载，当时全省分设十府，即上六府、下四府。上六府为广州府、肇庆府、惠州府、潮州府、韶州府、南雄州府；下四府为高州府、廉州府、雷州府、琼州府。第三，肇庆是广东广西人文的交会处。在明清书院的大发展时代，肇庆在客观上有条件也需要有一所岭南最高的学府。
在端州，清代的书院比以往任何一个朝代都要兴盛。雍正十年（1732年）端溪书院是全国知名书院，居岭南四大书院之首。广东学政徐琪于光绪十八年（1892年）给朝廷奏报：“文风自以广州、肇庆两府为最优。”[13]肇庆古代还有其他书院，包括大名鼎鼎的宋代包公所创建的星岩书院，为何端溪书院声名隆著呢？宣统《高要县志·学校篇》作了一个具体的分析：“县治所在书院以星岩、松台为最古，而规模宏远则要阙维端溪。由清康熙即延聘硕学耆儒住院主讲。朝章规约，刊告煌煌。展拓葺修，不遗余力。所选又必为各地文行兼优之士。而厘定课程，则为首群经，次诸史，又次理学辞章，而不域于科举制艺之业，故成就人才较多焉。”
从硬件看，由于朝廷历代不遗余力地对端溪书院进行维修扩建，使之形成了规模宏大的建筑群。就在林召棠到端溪书院的前一年，即道光十二年（1832年），肇庆知府颜扎·珠尔杭阿捐俸对端溪书院重修了一次。重修后的端溪书院布局工整，是一组一路五进的建筑群。第一进是面阔三间的硬山门厅，左右衬厅各一间，门厅前有照壁一幅，照壁左右各有牌坊一座。第二进是广德堂，面阔三间，左右衬厅亦各一间。第三进是掞天阁，歇山顶，面阔五间，两层间有腰檐和平座，楼下大厅称教忠堂。阁前东侧是监院，西侧是书库。第四进是宣教堂，面阔五间，东西为厨房，堂前是天井，天井前有门一座，门前东西各有七间斋舍。第五进是后楼，面阔九间，中间三个开间上层称景贤阁，下层是全谢山先生祠（祀全祖望），东边三个开间是更衣所，西边三个开间是祭器所。第四进和第五进间是庭院，自南向北沿中轴线依次布置，有澂鉴亭，半月形莲池，爱莲亭。端溪书院环境幽静，有堂、有阁，有池、有亭，是读书治学的好地方，特别是书院后面的荷花池与爱莲亭，尤为清雅。那真是：
孕深含幽，蔽日匿景。棉火炫外，蕉阴黝径。阶墀之下，泓为深池。夏雨洗溽，秋风贡凉，仰即见星，俯即拾月。春雷启蛰，池蛙助其鼓吹；冬烘散燠，园禽奏乎笙簧。置身其中，不觉陶陶然，悠悠然。[14]
更为重要的是软件方面，从康熙时代起，端溪书院就聘请著名的学者住院主讲。《端溪书院志》载林召棠任主讲以前的山长先后有：李材、刘斯组、沈廷芳、吴延熙、全祖望、何梦瑶、陆嘉颖、马俊良、饶庆捷、冯敏昌等。书院制定了比较完善的规章制度。入院学生主要是两广文行兼优之士，报考学子必须是生员身份。再者，安排的课程内容丰富，依序有群经、诸史、理学、辞章等，不局限于仅仅是应付科举考试的八股文。端溪书院培养出来的人才也比较多。之所以能够如此，一是朝廷重视。清雍正十一年（1733年）朝廷颁旨各省建立省府书院，指定广东的两所分别是广州的粤秀书院和肇庆的端溪书院。前者属广东，后者属广东广西，是两广总督亲自抓的。二是经费充足。清光绪前，书院常有生息银四千两，地租银一千一百两，另有不固定收入。因此山长的经济待遇优厚。山长的全部收入每年达到七百九十余两银；到了光绪年间，山长的年俸银增至千两左右。学生每年的膏火银近一两，饭食在三两以上。三是图书资料丰富。到光绪年间，端溪书院有藏书81库。这些图书，有购置的，有捐赠的，还有书院编辑出版的，诸如《端溪书院丛书》。
当时端溪书院为广东书院之首，状元主事，相得益彰。历时十五载，自然是硕果累累。