宣和二年（1120年），与朝廷政见不合，被贬谪到永宁府（今四川省叙永县），又调往崇庆军（今四川省崇州市）主持军政事务。他在当地号令严明，为边人所敬畏。宣和四年（1122年），奉命征西，抵达广宁洞，发现遗金十万，命令储存在官府钱库，分毫不取，连看都不看一眼。

钦宗靖康元年正月（1126年2月），金兵进犯宋朝，宰相李邦彦主张割地议和，文绍坚决反对，被李邦彦诬陷，被贬到长沙。五月（6月），行至中途，身患重病，卧床不起；有一老人馈赠三只黄柑，食用后当天痊愈，年已五十七岁的文绍不仅面容恢复年轻状态，连头发都变青黑色了。

北宋灭亡后，宋高宗被金兵追击，被迫从中原南迁扬州。文绍得知消息，赶回扬州护驾。建炎三年二月（1129年3月），金兵长驱直入，占领扬州，文绍和众将领护卫宋高宗南渡越州。建炎四年四月（1130年5月），金兵在宋军围攻下被迫北撤，宋高宗改越州为绍兴府，作为临时都城，并改年号为绍兴。

绍兴二年正月（1132年2月），宋高宗定都临安（今浙江省杭州市），文绍被召入京城，恢复翰林学士职位，参与诏书的拟定。四年（1134年），因身有疾病请求辞职，然而平素清正廉洁，深受皇帝信任，上书三次都未能批准；拖到五年三月（1135年4月），才得到批准，带领全家定居越州（今浙江省绍兴市），自号“柑仙翁”。绍兴三十年庚辰三月十七日（1160年4月25日）去世，享年九十一岁；次年二月廿一日甲子葬于会稽县义安乡（今浙江省绍兴市越城区皋埠镇郦家埭村）。

文绍公自从长沙返回朝廷后，所作的诗词文赋，文采均超出常人，好像有神灵暗中相助似的。他留下了《易解》十篇、《太极辩论》数卷、《奏议》二十卷、《稽山集》二十四卷。他一生所担任的职务，都留下政绩，能知人善任，从不独断专行，当时已经享誉各地。

文绍公一生值得记载的事迹很多，后人评论说：“文绍公对外柔顺，秉性刚强，自始至终，坚持原则。他在日常生活中，待人和蔼可亲，言行举止值得大家学习。”他在言谈中离不开忠君爱国，他经历了哲宗、徽宗、高宗三代宦海朝政，德高望重，常人莫及。他的一生正气凛然，即使面对艰难困苦和功名富贵，也从不动摇自己的爱国信念。

文绍公留下的文章，气势磅礴，雄伟如同高山，坚硬如同磐石，铭刻文坛，永垂青史。

南宋初期，定居会稽县义安乡（今绍兴市越城区皋埠镇郦家埭），如今郦家埭郦姓人口大约有三千余。
元朝年间，郦家埭有一支往南发展到吼山；另一支北迁孙端一带。
明朝前期，郦家埭有一支往东南远迁三门县横渡镇，如今横渡镇有郦姓人口近两千。
明朝后期，郦家埭有一支往西南迁到绍兴县平水镇嵋山村，隐居到高山孤峰顶上！
清朝中期，嵋山村有一支迁居嵊县西部，我们尚未展开调查，资料暂缺。
民国年间，吼山有一户迁往天台县。

南宋前期，迁居金华府兰溪县游埠镇，子孙散居兰溪、金华、建德、杭州等地。

南宋前期，迁居诸暨县；到了南宋后期，连续三代担任大理寺提领（相当于最高法院院长）。当时，还有两个分支，一支迁居诸暨城北郦村，至今仍是一村，大约一千人口；一支由于抗击蒙古入侵，前往苏南作战，便迁居江苏省丹阳市，子孙往西北散居镇江、南京、湖北蕲春，往东南散居常州、无锡、苏州、上海，大约两万多人口。

进入元朝，诸暨县城的郦氏子孙，分为曾九公、曾十公、曾十一公这样三支。曾九公后来分为贵二公、贵三公、贵四公这三支。其中，贵二公分为景三派、景八派这两支；贵三公分为景二派、景四派、景五派、景七派这四支；贵四公分为志一派、志四派这两支。

到了明朝，景八派分为元一房、元三房、元五房、元九房、元六房、元四房、元七房、元十一房；其中，元九房有一支从诸暨迁居山阴县州山村（今属绍兴县柯桥镇）；元六房有一支从诸暨迁居云南庄州卫（今云南省盐津县）。景四派迁居湖南邵阳，发展到武冈、通道。景五派分为友六房、友八房。景七派分为维新房、维尧房、秉彝房、荣华房。志一派有一支迁居会稽县白衙弄（今属绍兴市区）。其中，秉彝房又分为崇本堂、福持堂、茂荆堂。

进入清朝、民国年间，诸暨郦姓曾九公的后代，各派各房已经遍及一百三十余村，人口达到两万余。元一房有的迁居富阳、义乌境内；元五房有的迁居台州府玉环境内；元九房州山支又有一支迁居附近的项里村，另一支远迁湖北省来凤县，该支又有部分迁居重庆万县；元四房的郦会七，享年一百二十六岁，实属古今罕见；友六房注重书香文化，民国年间出现很多國民黨高级将领，后代分布台湾香港美国；维新房有一支南迁处州府云和县；维尧房出现中共诸暨地下党第一任县委书记；秉彝房崇本堂出现一位感动全县的烈女贤母；福持堂、茂荆堂注重文化，举人进士、留学外国的人才不断涌现。志一派的一支迁居杭州菜市桥；白衙弄一支有部分迁居铁甲营（也属绍兴市区）。志四派有一支迁居五泄。

南宋前期，迁居天台县；明朝年间，又迁往临海县。