桓荣，字春卿，怀远龙亢人。 少年时曾游学长安， 习《欧阳尚书》， 拜博士九江朱普为师。 因贫穷无所倚， 经常出卖劳力以糊口，但他勤学不倦，15年不曾回家。
他的老师朱普病故后，到九江奔丧，负土成坟，并留在九江教授生徒数百人。王莽倒台， 天下大乱，桓荣抱着经书，与弟子逃至深山，虽饥寒交迫，仍讲经不辍。汉光武帝建武十九年（公元43年），桓荣的弟子虎贲中郎将何汤推荐桓荣为太子讲学。光武帝召见桓荣说《尚书》，听后十分满意， 于是拜桓荣为议郎，并赐钱 10万，命他教授太子。每朝会，光武帝就命桓荣与公卿讲解经书，大加赞扬，并感叹说：“得生几晚！”这时正值欧阳博士缺位，打算让桓荣来当。桓荣叩头推让说：“臣经术浅薄，不如同门生郎中彭闳，扬州从事臬弘。”于是，拜桓荣为博士，提拔彭闳、臬弘为议郎。
光武帝乘车至太学，大会诸博士辩论经文，桓荣身着儒服，温文尔雅，辩明经义，以礼相让，儒者无人可及。光武帝诏赐奇果，儒者皆怀抱着，只有桓荣双手捧着奇果拜谢，光武帝指着桓荣道：“这才是真正的儒生呢！”从此，光武帝对他更加敬重和厚遇，并命他住在太子宫中教授，长达5年之久。 后来桓荣又推荐自己的弟子九江郡胡宪侍讲，才允许他出太子宫，但每天还要进宫讲授一次。桓荣生病，太子朝夕遣人询问病情， 并赐珍贵的食品、帷帐及奴婢。 对他说：“如有不讳，不必为家室忧虑。”桓荣病愈，仍继续为太子侍讲。
建武二十八年（公元52年），光武帝大会百官，要为太子正式拜师，征求百官意见。群臣知道光武帝欲让太子舅舅阴识为师，因而都说阴识可当。只有博士张佚正色道：“现在陛下立太子，究竟是为了阴氏，还是为天下？假如是为了阴氏，则阴识可为太子师，假如为天下，就该任用天下贤才。”光武帝称赞张佚言之有理，说：“拜师是为了辅太子，今博士不难匡正我，更何况太子呢！”于是拜张佚为太子太傅，桓荣为太子少傅。
桓荣因为太子经学已成，上疏要求辞职，太子执意挽留，未能获准。建武三十年（公元54年）屏为太常，主管宗庙之事。太子即位，是为明帝，以师礼待桓荣，对他十分敬重，并拜他的两个儿子为郎官。桓荣年逾80，多次上书引退，明帝总是加以赏赐而挽留，并亲自去太常府，令桓荣上坐，为他设几杖，大会百官，自骠骑将军、东平王以下及桓荣的学生数百人，明帝亲自执弟子礼，每言都说：“太师在此。”
永平二年（公元59年），明堂、辟雍、灵台三雍初成，拜桓荣为“五更”，封关内侯，食邑5000户。
桓荣每次生病，明帝都派使臣探问，太官、大医络绎不绝，相望于道，及至病重，桓荣上书谢恩，让还爵位和封地。明帝亲自去太常府探问起居，入街下车， 拥经而前， 抚桓荣而流泪，并赐床茵、帷帐、万剑、衣被， 很久才恋恋不舍而离去。 诸侯、将军、大夫问病者，不敢乘车到门，皆拜于桓荣床前。桓荣病故，明帝身穿孝服，临丧送葬，葬于首山之阳。