在肇庆。明万历元年，佥事李材创建。后为岭西道署，又改为督标中军副将署。清康熙四十七年，两广总督赵宏灿复建书院，取名“天章”，为总督课士之所，选招两广之士肄业其中。前为讲堂，堂上为天章阁，又名后掞天阁。中为宣教堂间，堂后偏东为莲池，池后为近光亭，东西为斋舍。雍正十一年总督郝玉麟修葺，奉旨拨帑银两发商生息，以供生徒膏火，旋改名“端溪”，定为省级书院。十七年，院长全祖望订立学约则。二十二年，知府吴绳年购民房地添建后楼间，奉祀先贤。嘉庆四年，冯敏昌掌教时又订立讲正学、敦品行、辨义利、习礼文、背五经、疏书理、观史事、正文体、究诗赋、工书艺、兼诸学、通训诂、立课程、勉应课、少出入、戒非事等学规条。十四年，院长刘朴石又订务敦品、正文体、究诗赋、工书艺、兼诸学、通训诂、立课程、勉应课、少出入、戒非事等学规条。十四年，院长刘朴石又订务敦品、正文体、崇风雅、闲出入、杜抄袭、严扃试等学规条。二十年总督蒋攸铦、二十三年总督阮元均加修葺。道光三年，粮道夏修恕、十二年知府珠尔杭阿、二十六年肇罗道署赵长龄率属下先后捐修。咸丰四年，遭战火毁坏，图籍荡然无存。五年，知府郭汝诚修复。光绪十三年，总督张之洞重修，院长梁鼎芬书大堂匾额为“广德堂”、掞天阁下讲堂为“教忠堂”，改尊经阁为景贤阁，阁下为全祖望（谢山）祠，祠东为更衣所，西为祭器所。东西斋舍间、监院间、书库间，规模宏大。梁鼎芬更订《端溪书院章程》。院内藏有经、史、子、集、典志、类书等共部，册，住院生徒可以借阅，居外者准许到院翻阅。又设刻书局，以每年余款发刊《端溪丛书》种。自两广总督张之洞设广雅书院于广州之后，端溪不再招广西学生，地位下降。三十一年，改为肇庆府中学堂。
全祖望：端溪书院讲堂条约
清乾隆十七年
——正趋向书院与学校相为表里，学校盛，则书院与之俱盛；书院衰，则学校与之俱衰。宋明以来，历可征也。今圣天子宏作人之化，宪府大臣实宣布之，葺讲堂，萃图籍，以成文明之盛。粤中远在峤南（峤南：峤，岭也。峤南即岭南。），不远五千里，延掌教以莅之，所望于诸生者甚重，固不仅区区章句之学，博一科举而已也。况此间前哲张文献、崔清敏以来，魁儒时出。白沙、才伯、南川、甘泉、弼唐、中离、曙台诸先生，学统迢遥，弓裘（弓裘：又作弓治。《学记》：“良冶之子必学为裘，良弓之子必学为箕”。后用弓袭、弓冶比喻父子世传的事业。此则谓岭南代有人出。）不替，而邱文庄、梁文康、海忠介、陈文忠并以勋业风节起而翊之。虽诸生未必遽足语此，然岂无中人以上之资，寻坠绪之茫茫，苦质疑之无自者乎，掌教愿进而语之。
——励课程院中藏书不下万卷，虽无秘册，而实皆诸生布帛菽粟之需，苟通是，是亦足矣。掌教固不敢薄待诸生，然谅近来士习，沉溺于帖括之学，未必留心及此也。夫学问岂在帖括？然即以帖括言，亦非读书不工。诸生即未能遽读《十三经注疏》、《通志堂九经解》，然于《五经四书大全》，其曾熟复乎？即未能遽窥《二十三史》，然于《资治通鉴纲目》、《文献通考》，其曾详观乎？即未能遍览诸儒之语录讲义，然于《性理大全》，其曾研究乎？自今以始，愿诸生分曹定课，日有章程，其有疑义，拈笺以问。每人各置一考课册，填写所业于其中，掌教五日一升堂，或墨或复讲，其必能启发神智，荟萃古今，从此更上一层。读尽诸书，不仅以帖括之士终，而亦必不为寻常庸劣之帖括也。掌教其待大叩小叩之至而应之。
——习词章功令以帖括取士，诸生之汲汲于此，亦其势也。然功令未尝专任帖括，二场之表以观其骈体，论以观其散体，判以观其律令之学，三场之策以观其时务。进而为翰林，则有馆课之诗赋以观其韵语。苟能是，是亦足矣。诸生倘能如掌教之言，通明经史性理，其于表、论、判、策，已非所难。然而行文之体，或尚未娴，仍不出帖括家数以应之，亦非矣。则八家文集及朱子文集，不可不读也，亦须时时习之。掌教当为别裁其体之不合者、词气之驳杂者，媕群雅而归于大醇，是所厚望于诸生者也。诗赋则粤中自有嫡传，张文献公以来，世有其人，近而南园五先生、广州之三家，皆惊代才也。向例院中二课，止及帖括。今掌教添古学一试，各具策问、诗赋、表论诸题，诸生能者各报名赴课，不必求备，亦不强人以所不能也。掌教当自捐笔资，以为奖励之助。
——戒习气士子束身敦行，未有不守礼教而能至成立者。泰山、安定二先有法也。向闻院中课试陋习极多，试艺则不在公堂列坐，各归其舍，是即抄袭等弊所由生。而且卜昼不已，继以卜夜，甚至更漏过午夜，相沿成风，以致督学使者试日，有所降黜，大为掌教之辱，甚至迁延至次日始缴卷，岂非荒唐骄慢之一大征乎！掌教向主浙之蕺山，尝力禁之，不许给烛。今念诸生因循已久，姑稍宽之，每试自未牌即升堂，亲自监收，许诸生以上更为度。既上更，掌教即退，其过此而交卷者不阅，三次犯规，即移咨，斥出讲堂。先三令而五申之，诸生勿怨也。其诸生告假、销假，自有册籍。至于每日不无出入，在掌教亦无不情之阻遏，但皆须禀知，无得率情任意，是即礼教之一端也。至于掌教之来，乃宪府所资给。诸生以师弟之谊，或少致时物，非不知其雅意，然而人心不古，物议易生，绛帐青毡，不可以受藏垢纳污之语，为此亟行谕止，万勿过于多情。诸生但能奋然自拔于流俗之中，不为俗人，而为端人；不为俗学，而为正学。他日院中著录，足为掌教之光，掌教即拜诸生之赐矣，更不须其他也。至于诸生聚处乐群，友朋■厉，最是乐事，友其贤者，矜其不能者。当戒浇漓，消嫉妒，相接以虚衷，相勉以古道，相期以远大之业，是非但掌教之厚望于诸生，亦即宪府牧伯诸公之所有同情者。其或造言生事，分门结党，饮酒狎邪，试艺则代请传递，种种疵谬，以致斥逐谴责。在诸生谅必无此，但掌教不得不戒之于豫也。