高潜子公，即在大港和静海地区为人们所熟知的高翰林，时人尊之为潜公。潜公于清光绪三年农历七月二十六日(丁丑岁，公元1877年9月3日)出生于今天的大港区小王庄镇小苏庄村(清时隶属静海县)，小名“儒”，本名令谦，字浣卿，号东岑，别号潜子，科考时用试名毓彤，字淞泉。其先祖世居山东青州益都蓝柳树庄，自明朝洪武十三年，即公元1380年燕藩就封，其始祖从王北来。初定居今小王庄镇南和顺庄，明天启元年，即1621年迁居东树深庄。后其四世祖生凤公（字敬宇）迁居今静海县中旺镇丁庄子村，至六世祖廷锡公（生于清乾隆六年，公元1736年）因过继迁居小苏庄村。父高恺基，字迈元，即清光绪年间广西巡抚高崇基之五弟(迈元公兄弟五人，公排行第五)；母亲丁氏，是为丁太夫人。潜公26岁(27虚岁)殿试，进士及第，入翰林院为庶吉士。因潜公排行第六，故其后世族人尊之为“翰林六爷”。
潜公的父亲迈元公天赋聪敏，未至十岁便读完五经，过目不忘，为时人所赞叹，加之生母丁太夫人也极为重视对子女的文化教育。因此，潜公自幼便得到良好的家庭教育和文化熏陶。潜公两岁(3虚岁)时，便在母亲的教导下开始识字读经，且每夜灯下学习不辍。3岁时，其父迈元公因病在床，潜公则每日站立床前接受读经教育。先从《孝经》读起，随后是《诗经》，至4岁读完《诗经》，5岁即能背诵《尔雅》。而此时，家藏的书箱、书架中的古籍潜公差不多都能读懂。6岁时，潜公对读书迷恋到废寝忘食的程度，不与同时的孩子们嬉戏，而是自学汉魏、六朝时的文章以及唐诗，并会吟咏以品味声韵之美。7岁时，潜公读完《书经》，并在父亲的指点下进一步扩大阅读范围、加大对古籍的阅读量。同时，潜公还将僻字生典随手抄录，并写成了《日记录》长卷材料。大量的阅读和严谨勤奋的学习，为潜公日后进行学术研究，打下了深厚的知识基础和坚实的基本功。
为备科举之用(这也是封建时代读书人的必由之路)，潜公于8岁便开始习作八股文，到10岁开始出外，拜刘晓山为师，研读“四书”，继续学习写作八股文和“试帖诗”(封建时代科举考试有作试帖诗一项考试科目)。11岁又从师研读《春秋左传•公羊•榖梁三传》始习考证之学(潜公在这方面的论著抄本在解放后献给国家，现藏于北京国家图书馆)。是年，即公历1888年，潜公之二伯父高崇基(字紫峰)出任广西巡抚，此时紫峰公在沧州的公馆由其子令详(字理卿，行二)公留守，潜公为理卿公之六弟，遂被召纳寄宿于馆内，且供给食用之费。紫峰公的书斋中藏书甚丰，潜公便设榻于斋内，通宵达旦，遍览群书，而不知疲倦。由是，潜公大开眼界，自感受用不尽者即在于此。
一年以后，即潜公12岁时，因父亲病重而回家侍奉父亲。这一年(1889年)，紫峰殁于广西节署。此时又遇荒年，室如悬磬，生活陷于困境。但是，潜公侍奉父亲的同时，克服困难继续攻读不辍。年至15岁首次参加科举考试，由于没有考试经验而落榜。第二年大病一场，面目几乎全改，所幸的是还没有危及生命而度过难关。过了两年复报考县级科举考试，名列第一，既而参加“院试”一级的科考，又名列第一，考中秀才。“院试”一级的第一名也称“解元”，即人们常说的“连中三元”的头一个“元”。这一年潜公17岁，为农历甲午年(公历1894年)。由于中日甲午战争，潜公未能于当年的秋季去参加乡试。
潜公21岁时父亲迈元公病逝(1898年戊戌岁)，潜公于守孝期间开始研究“三礼”，即《周礼》、《仪礼》、《礼记》。此时，潜公又患“呕血”之疾，至23岁开始研究中西数学比较之学。因其手中有西方数学之译本书籍，而被义和团诬为“二毛子”，为避难，潜公去了天津。一年以后才躲过大难。他自己称：“以贫免得于祸”。24岁时又遭“出天花”之大病，至25岁（时为1902年）应岁科试，取得第一，为优贡。当年秋季又参加会试，再得第一，称为“会元”。次年参加殿试：进士及第，入翰林院为庶吉士。潜公自称：“应试资斧，皆出理卿伯兄所助。”