生活在石鼓村的虞氏家族，是连山的望族大姓。据连山县博物馆原馆长周昭文考究，虞姓是较早在连山定居的姓氏。石鼓虞氏族谱（1947年修本）记载，连山虞氏始祖尚骘公，于南宋孝宗淳熙七年（1180年）七月，从浙江金华县义乌来到连山宜善（现福堂镇）定居。

虽然连山从公元506年就已置县，但由于地处僻远，关山闭塞，迟迟不得开发，一直以来仍然处于“蛮荒”状态。公元1180年7月，时年58岁的虞尚骘与友人黄十五公、蒋公一起避难来到连山，只见这里树高林密，山清水秀，飞鸟不绝，有如人间仙境。被称为“田洞”的山与山之间的空旷平地，土厚质肥，其间河流潺潺，水源充足，浇灌便利，极易种植。但人口却极为稀少，这些肥沃的土地根本就没有人耕种。他们便不再游历，在此定居。为了确定三人所辖土地，他们商定，以骑马踏山撒留标记的方式，对这一片土地进行了划分。虞尚骘骑着马，以撒谷壳为记，从宜善出发，一直来到钟山。他见山涧里溪水叮咚，一路撒欢往山下流去，汇入“田洞”里的小河。虞尚骘便不再骑马向前，而是将谷壳全部倒进溪水里，任由它随水漂流，谷壳随水经过的地方，那些土地就是他的“领地”。

谷壳随着溪水汇入了小河，一直流到水口（今上吉水与沙田水交汇处），就停滞下来不再漂流。结果，水口以上的那一片土地以及它的山山水水就成了虞尚骘的“领地”，归他管辖了。虞尚骘把他的领地命名为“尚骘洞”，把流经“尚骘洞”的小河命名为“尚骘水”。几百年过去了，人们为了书写方便，把“尚骘”写成谐音“上吉”，将“尚骘洞”写作“上吉洞”，将“尚骘水”写作“上吉水”。明隆庆六年（1572年）这地方设置为 “上吉乡”。1940年国民政府对全县区乡进行调整，将上吉、永吉、沙田三乡合并为吉田乡，从此“吉田”这个名称便一直保留至今，1964年时任国务院副总理、中南局书记陶铸视察连山县时，决定将连山县城从永和搬到吉田，现在吉田是全县政治、经济、文化、交通、商贸中心。

尚骘公在获得这大片土地之后，便在宜善开始了他的“地主”生涯，除了开发田地，更多的是怡情于山水。到1225年尚骘公103岁那年，他上山打猎，坐在一棵老树下休息时，溘然长世，无疾而终。

到尚骘公的曾孙“思”字辈时，虞姓有过一次大迁徙。尚骘公共有19个“思”字辈曾孙，宜善这个地方不足以容纳他们，他们就分别迁居湖南、广西、本省连县等地，向外扩散。大约在元朝仁宗延祐年间（约1316年），“思”字辈的虞思义也从宜善搬走。带着他刚娶的妻子唐氏，来到上吉乡佛子（地名，现吉田镇佛子村）居住，在此繁衍生息。

又大约200年后，虞氏“万”字辈的虞万象，大约在明正德年间（1506-1522年），从佛子村来到更为开阳的上吉河畔定居，繁衍为后来的石鼓村。在后来的历史里，连山虞姓以石鼓村这一支最为兴旺和显贵。构建于明清两代，现在虽然破旧但尚存的石古村建筑群，以小“门楼”为单位的一座座高大住宅，青砖黑瓦，木质坚硬，气势恢宏。其间门当、户对清晰可见，门楼、屋檐、花窗上的栏雕，门口石阶、门墩、街边水渠的石板，做工精细、考究，无不显示了当年的富有和贵气。

为了生生不息，永世繁衍，石鼓村的虞氏子孙开始编排虞姓班辈，记录虞氏的历史。虞姓班辈一共排了二十八代：

尚兴祖思朝　致虞良　

万虞子文学　膺光永绍隆

奕世承先泽　与天日月同

到虞天演这一代刚好是第二十五代，属“天”字辈。到今天，连山虞姓已传到第二十八代，有了“同”字辈。

石鼓的虞姓子孙们继续“开拓疆土”，将祖宗的“领地”扩大。在当时连山北部的禾村，西北部的和睦村、上草村等地，甚至远及连县的一些地方，都有石鼓虞姓的田地和田庄。更值得一提的是，石鼓虞姓人颇有学识和远见。他们在自身好学的同时，十分注重对后代的教育。虞氏族谱称虞万象：“生平励行好学，四方学者崇仰。” 他的孙子，石鼓虞姓第三代祖宗虞子茂“气概倜傥，雅好诗书，稍长立塾延师，恳勤不倦，实开石鼓教育之先河。”曾孙虞文阅 “实为石鼓书香继往开来之人物，其道德文章为乡人共仰。”大约从虞子茂时代开始，石鼓村的私塾教育就没有间断过，并且在族中设有“养贤田”、“养贤银”，专门用于子孙教育。虞姓子孙到私塾读书是完全免费的。更为难能可贵的是，石鼓私塾不禁止女子接受教育。到民国期间，石鼓静溪私塾远近闻名。民国中期，石鼓几位大学毕业生创办了实行新学教育的 “镇安小学”，名噪一时。正是在这种氛围下，石鼓虞姓子弟一直以来都得到比较好的文化教育，素质较高。封建王朝推翻后，新学兴起，石鼓人外出读书求学，谋职做事的人也相对比较多。整个民国时期，全县仅有16名具有学士学位的大学毕业生，石鼓虞姓子弟就占了5名，近1/3。从民国元年到1947年共36年间，石鼓虞姓人担任县教育长有4人，担任县立中学，县、乡中心小学校长共有12人次。

解放前，石鼓村边有一座石鼓庙，庙门首有一副对联，描述了连山虞姓迁徙、繁衍、发展的历史：

程山聚族姓，历宋元到明清到民国，七百余年相传世系

浙水溯源流，由宜善而佛子而石鼓，廾五代下定有伟人