乐昌龟峰塔始建于明嘉靖十九年（1540年），位于县城中心位置，东依大肚岭，南靠近武江河，居高临下，俯视全城。龟峰塔下有个龟峰古寺，后改寺建龟峰书院，是乐昌四大书院之一。据《乐昌县志》载：明嘉靖十九年韶州知府符锡命乐知县张坚所建，属县城风水塔，称“龟石吞流”或“龟石回澜”，传说武江河中有一神龟常兴风作浪，河患频繁，须修塔锁之，有着镇压洪水、保平安之寓意。清代欧堪善有诗《龟石吞流》称：“高空塔影俯江流，楼阁参差一望收。龟石全吞泷水阔，笔峰双插海天秋。潭深应有蛟龙卧，岸远平看星斗浮。洛浦当年曾献瑞，图书好向此间求。”
与龟峰塔一河之隔的文峰塔，双塔遥相辉映，是乐昌的古八景之一。关于龟峰塔、文峰塔的故事，有坊间传说：乐昌常遭遇洪水的肆虐，是因为河中有一神龟常兴风作浪，造成河患频繁，民众深受洪水肆虐之痛苦。众人欲捐集修建宝塔锁住这只神龟。只因年年洪涝，农收甚微，所化缘的银子有限，不及造塔之费用。当众人一筹莫展之时，恰逢南宗六祖惠能到湖北黄梅东山寺师从五祖弘忍，得五祖衣钵南归来经过此地。县太爷当即亲自前往西石岩拜见慧能大师，恳求惠能大师指点迷津，帮助化解。慧能大师掐指一算，说：“三日后午夜时分，有一神仙挑着一双宝塔路过此地，该宝塔能镇魔驱邪。能否把宝塔留下来，就看你们的造化啦”。
县太爷连忙问：“怎么才能请神仙留下宝塔？”
慧能大师闭目打坐，呢喃诵经。
县太爷不敢打扰，只好静静在等待。莫约过了半个时辰。慧能大师看见县太爷如此虔诚地为民请命，亦就动了恻隐之心，就悄悄地说：“这神仙本是酒仙，因喝酒误事，被玉皇大帝贬罚做了赶脚挑夫。”说罢，慧能大师又合掌打坐了。
县太爷谢过慧能大师，便退了出来。在轿子里左思右想，仍然不得要领，回到衙门便召集众人商议。县衙里的绍兴师爷道：“这挑脚的既然是酒仙，我们不妨这几天家家酿酒，酒仙闻到酒香，自然会下来歇歇。那时，我们就如此如此......”
三天后的半夜时分，神仙从西天挑着两座宝塔，飞快地穿过昆仑山脉，当正在南岭山脉时，就闻到阵阵的酒香，忍不住放慢了脚步，只听见底下的人高喊：“天上的神仙路过此地，请下来喝杯薄酒吧”。
神仙抵挡不住美酒的诱惑，心想：“离天亮尚早，喝杯酒也无妨。”便挑着宝塔飘然而下。
只见县衙门张灯结彩，桌上摆放了美味佳肴，美酒飘香。神仙在众人的拥趸下开怀畅饮。酒过三巡，县太爷便恭恭敬敬地作了个揖，诚恳的哀求神仙：“神仙，此地有一神龟经常兴风作浪，掀起洪涝，让民众年年饱受洪涝之苦。恳请神仙留下一座宝塔来镇压此龟吧。”
神仙听罢，连忙推辞道：“断然不可！这两座宝塔是南边众僧人化缘到银子订造的。我只受玉皇大帝的差遣，负责运送。天亮前还需赶回天庭复令的。”
师爷见此计不成，又心生一计，让众人频频向神仙敬酒，背地里交代衙役，在挑宝塔的绳子上做手脚。
神仙在众人的陪酒中，开怀畅饮，不知不觉醉如烂泥，等他醒来，东方已经泛白了。“不好！又要误事了。”神仙吓得一身冷汗，连忙爬起来挑起宝塔，腾空而起。刚到半空，谁知“嘣”一声，系宝塔的绳子断了，两座宝塔掉了下去。
这时，“喔喔喔——”雄鸡打鸣了，神仙一看“坏了，要误回天庭复命啦”，便朝下喊道：“宝塔就留给你们啦！”“嗖”一声，就朝天庭奔去。
县太爷率一班百姓、绅士和佛教徒连忙跪下磕头，齐声高喊：“谢神仙！”
从此，两座宝塔分别命名为龟峰塔和文峰塔，两塔仅有一江之隔，交相辉映。文峰塔就是祈祷乐昌能多出文人，此后，乐昌从此开科举之盛世，仅宋代科举中进士就有20多人、举人近百人；龟峰塔镇压洪魔，祈福乐昌风调雨顺，五谷丰登。千百年来，两塔隔河相望，像两个卫士守护着乐昌大地，寓显山水之灵秀、万家之安康。
不过，不知何时，龟峰书院早已荡然无存了。在我还是孩提的记忆中，龟峰塔下是县公安局，一幢土黄色的两层土木结构楼房，透过楼顶，还能看见那威武耸立的龟峰塔的上半端。然而，在1990年公安局改建成一幢8层的钢筋水泥大楼，从此只能在东西的两个方向，才能仰视到龟峰塔的英姿。
