天子得两处回报，心下便知道不可挽留丞相了。只好同意吴河、甘安所言，准许丞相辞官。于是请领英进殿，与群臣相见，对领英道：“既然皇太后与朕姑母皆言相父行事有道，吴御史与甘太傅也言当以全相父心愿，朕只好从命。但相父卸任丞相之后，谁人为继呢？”

领英道：“臣已经为陛下安排妥当。丞相一职，丞相府长史文显昭可胜任也。只是惜其名望资历尚不够，今陛下可暂不设丞相，以三公代之。并令文显昭总录尚书事，三五年之后，文显昭若果有政绩，便可进位为丞相。以臣观之，文显昭当不负臣所望、陛下之盼也。”

孝昌皇帝便依从领英之言，起用文德，总录尚书事，总揽国政。于是潜龙卸下兵权，并将国柄奉还天子。令大将军展鸿、骠骑将军北泽等尽心辅佐皇帝。遂嘱咐香荷留在长安，自己将归西城竹庐隐居。

香荷欲要相伴夫君，只是自己也年老不堪再远行，领英道：“你是金枝玉叶，我不过一山野村夫出身。吾今归隐故乡，你不便与吾同往。吾今去后，如闻陛下召，还将回长安来看看你。”香荷没办法，只好哭了一场，让领英自去。

昌国11年春三月，领英已经将朝政安排妥当，遂前去明陵，祭奠华武帝与诸大臣，洒泪告别，又祭奠章陵孝正皇帝。完毕，便乘坐一单车，只带心腹仆从二人，准备出长安翻越秦岭，望西城而去。

皇帝率群臣送领英出长安，御赐车马军士随从等，领英皆不受，笑道：“陛下勿要担忧老臣，老臣自有上天护佑，只需昔日心腹二人相从即可。臣既然回归本真，又怎可再用朝廷车驾呢？”

皇帝只得顺从潜龙之意，依依不舍告别。大臣中有人见之叹道：“丞相已经非凡人了。”

领英虽然年已六十六，但与章武纵横刘察文雄等不同，章武等皆寿命不过七十。而领英习得道术，善能导气养生，所以年过六十却仍然身体康健，登山乘马都可，只是精力不如从前。

领英来到秦岭，进入终南山，对二从者道：“国师公孙先生，今年已经过百岁了吧！吾今路过于此，不可不前去拜见。”于是准备上终南山太乙宫，拜见公孙范。

行不数里，忽然一伟岸道者手执拂尘，鹤发童颜，飘然而出现在山岩之上，呵呵笑道：“来者不是当世潜龙吗？”

领英遂上前与公孙范相见，公孙范道：“贫道已经得知潜龙辞相归田，今特侯于此，有一法术相赠潜龙。”领英谢过，公孙范道：“贫道别无他能，唯长于养生。”遂传领英养生之道，嘱咐其清心寡欲，少问人间世事，自然可益寿延年。

领英学得了公孙范养生之术，便回至西城，也不入西城侯府，径直到汉城县月溪村。昔日竹庐，经杨秀等人修葺，至今尚是原样，只是物是人非，领英伫立于竹庐之前，感慨万千。

次日，便修葺旧宅，隐居于月溪村。村中人民，见一老者带领二仆人住进竹庐，皆大为惊奇，中有村民老者知道领英者，上前探察之，果然认得正是领英，村人大惊，十里八乡皆传言：潜龙回到月溪村了！一时间引起轰动，惊动汉城令并西城郡守杨秀，杨秀等亲自来迎接看视领英，领英一一安抚村中人民，对杨秀道：“吾欲返璞归真耳，此处是吾故乡，吾舍不得弃之。”杨秀知道潜龙之意，便嘱咐西城郡各县官员，勿要打扰潜龙清净。

潜龙便归隐于月溪村，白日亲自下田耕稼，与平常山民无异。日出而作、日落而息，并不问世事。闲时便修炼打坐养生，教授二从者，二从者本也是学道之人，倾慕潜龙，诚心鞍前马后服伺潜龙，潜龙见二人甚有慧根，便收为弟子，携带身边教授之。

自此后，月溪村中，又多了三人，与山民门相处融洽。人们时时看见，有一白发老翁，身材并不高大，常荷锄披衣，带领二弟子在田间劳作。或坐于竹庐之上，焚香抚琴读书。月溪村村民都知道，这就是威名扬于天下的潜龙丞相。如果有外人前来，村民里正等都会令人在村口道路盘问来意，然后通报领英，得到允许后，才放人前来，否则，即便是朝廷天使，也不让其进入月溪村。

月溪之上，竹庐之中，一阵苍凉悲壮的古琴曲响起，行人驻足细听之，正是后汉蔡邕饮马长城窟行、青青河边草等曲词，曲调如泣如诉，又如诗如画，更又如梦如幻