茶陵书院兴于宋，盛于元，至清代发展到鼎盛。数量之多，宋代居湖南第三、元代居第二、清代居首位，可谓文化奇观。数百年来，塑造了这座古城最深厚的文化底蕴。

明弘治十七年(1504)，被贬至茶陵的知州林廷玉，以培育人才、敦厚地方民风士习为主张，倾力倡办了洣江书院，以供士子诵读、存养。当时，这里集中了最为优秀的人才，历代书院的山长也都是名望之人，清末状元萧锦忠，翰林曹诒孙、经师尹学周、廉吏尹占寅等数十位先贤，都曾在此执教，洣江书院也成了湖湘著书立说的文献之地和传道、授业、解惑的师儒学舍之地。

明末清初，洣江书院差点毁于战火，后经修复和扩张，成了茶陵历时最长、规模最大、影响最深远的官办学院。

书院建筑系仿古风格，采用中轴递进，左右对称的空间格局，内设主敬斋、行恕斋、修德斋、大讲堂、大成殿、御书楼、崇道祠、山长室等，共计房舍21间。2010年6月茶陵启动洣江书院复建工程，2012年5月竣工并对外开放。重修落成后的洣江书院被列为茶陵一中的重要教育设施，将传统文化与现代教育相结合，承担讲学、藏书、教学等功能，并免费对外开放。