公元四世纪初，在北方游牧民族大举进犯中原之时，西晋王朝被匈奴攻灭，东晋王朝在江南偏安一隅。

涿州的郦氏家族由于连年战乱，被迫分为两支：郦怀带领北支郦氏家族留居华北，其后裔一直参与北朝少数民族政权机构。郦性带领南支郦氏家族迁往江南，其后裔一直参与南朝汉族政权机构。

四世纪末，郦怀的曾孙郦绍，归顺北魏王朝，世代高官。

六世纪初，郦绍的曾孙郦道元，身居朝廷要职，因得罪权贵，魏孝明帝孝昌三年丁未十月（527年11月）被派往前线，惨遭叛贼杀害，留下《水经注》四十卷。

七世纪前期，郦道元的曾孙郦昶，早年跟随唐太宗征战有功，唐高宗永徽二年辛亥（651年），担任扬州刺史，升任司空，遂迁居维扬（今江苏省扬州市），是为维扬始祖。

八世纪后期，郦昶的曾孙郦弼，与白居易友善，以作诗闻名于世。朝廷五次下诏征求，始终不肯应召，隐居于太华山中，享年九十八岁。

九世纪末，郦弼的曾孙郦宏，担任大司空；天复四年甲子正月（904年2月），在朱温毁灭都城长安时，挺身仗义，忠君尽节。

十世纪中期，郦宏的四世孙郦文孙、郦斌孙兄弟，担任节度使，扈从宋太祖征西，前往泽州（今山西省晋城市）讨伐叛臣李筠、李重进。班师后，兄弟都以战功封侯。

十一世纪前期，郦斌孙之子郦辅，官至翰林学士，享年一百〇六岁。

十二世纪前期，金兵大举南下，攻灭北宋王朝。宋徽宗第九子赵构仓惶南逃，郦文绍在扬州带领部下护驾南渡。宋高宗绍兴五年乙卯三月（1135年4月），郦文绍定居越州（今浙江省绍兴县）。享年九十一岁，葬于会稽县义安乡（今绍兴市皋埠镇）。

十二世纪后期，郦文绍之长子郦嵩，担任著作佐郎，定居会稽郦家埭（今浙江省绍兴市皋埠镇郦家埭村），守护父墓，是为会稽始祖。

十五世纪前期，郦嵩的八世孙郦德征，从绍兴迁居宁波府宁海县大横渡（今三门县横渡镇），是为横渡始祖。

十六世纪中期，郦德征的六世孙郦骥，担任太子太傅，回乡之后，奉皇帝圣旨在横渡镇建造“上国观光坊”，至今尚存。