远祖廖爽公，字可挹，号西楼，五代后梁仕楚，授衡州太守，遂家于衡。拜丞相，进爵南阳郡开国侯，食邑衡山，为衡山廖氏始祖。十子，长子匡图，为楚天策府学士，有文集十卷。五世瑞公，由衡山迁江西。又传八世至思政公，字魁三，明洪武2年（1369）由江西吉安府泰和县圳上复回衡山，卜居龙溪一都，明宣德元年（1426）、天启4年（1624）纂有族谱，后散佚。清康熙52年（1713）首修族谱，1928年七修，2002年八修。至1948年，有族人12000余人，多居白果、新东、岭泉等乡。宗祠建于聚堂铺。该族名人廖山涛，北京大学数学系教授、中科院院士。班行：景茂荣廷士大昌，邦家定国永安康，绍修先哲文章焕，克笃前功继序良，承俊和华立维新，超学志敏望弘勋，任重惇远树伟泽，达尚秉正玉宇成。

   爽生凝，原籍江西泰和县，仕南唐，为都昌令，秩满挂冠归老衡岳。凝公生三子，长秉乾卜居耒阳，为耒阳廖氏始祖；次子秉坤，卜居永兴。秉乾子孙繁衍四乡，如夏塘、长岭、石准、春光铺、双洲、芭蕉、黄岗等地。

    爽公六世至理安，居江西泰和，再六世至淇惠迁长沙城南，淇惠曾孙城景又迁宁乡县横田。城景第三子万仪，字鸿达，一字容观，元末迁居安化丰乐乡大屋村（今属涟源市）双陂，而后分析大屋村等地。至1949年，已传24代，男女丁口9500余人。宗祠设在大屋村，支祠数处。