解放后，刘伯承担任南京市首任市委书记、市长和军管会主任。他十分注意联系群众，反对搞特殊化。一次，有人向刘伯承反映，少数政府工作人员、部队人员，不按规定手续购买车票，免费乘车;进入戏院、电影院和娱乐场所不买票，看“霸王戏”。得知这一情况后，刘伯承非常生气，以军管委的名义，连续下发了“乘坐车辆须按规定购票(布告、军字第一号)”、“进娱乐场所须购票入座(布告、军字第二号)”。这两项“禁令”一出，违纪现象顿时消失，广大市民拍手称快。
    刘伯承在南京生活了近10年。其长子刘太行回忆说，父亲最反对的就是家属和子女搞特殊化。解放军刚进城时，他就叮嘱母亲，现在解放了，国家还很穷，人民生活也不富裕，我们的生活，特别是子女的生活，决不能特殊，要同群众的生活大体相当才是。
   “有一件事我印象很深，那时南京刚解放，父亲是南京市长，有一天，他带着我们去参观中山陵。到了那里，看到一张通知，说那天因故不能接待参观者。父亲正要带着我们回家，中山陵的负责干部赶来了，可是父亲还是坚持服从规定，拒绝了让我们进去参观的邀请。回家的路上，父亲给我们讲道理:‘爸爸虽然是个高级干部，但和普通工作人员一样，都是为人民服务的，因此也应该按规定办事，不能搞特殊化。’”
    刘伯承还对子女下农村参加劳动、接受教育十分支持。他经常说，干部子弟生活优裕，如果长期脱离群众，将会养成资产阶级意识。
    1964年，刘伯承的小女儿刘弥群在北京航空航天学院读书，适逢社会主义教育运动在农村开展，大学生需到农村参加8个月的“社教”活动。刘伯承知道后非常支持女儿参加。“父亲要我下去体会一下劳动人民的思想感情，还很严肃地指出，干部子弟生活优裕，如果长期脱离群众，将会养成资产阶级意识。他说下农村是好事，不要让人说我们是‘红墙里的贵族’。”
    在刘伯承家的电话间里，一直贴着一张告示——儿女们，这些电话是党和国家供你爸爸办公的。你们私事绝对不许用这些电话。假公济私是国民党的作风，不许带到我们家里来。
   “我们兄妹穿的衣服，都是代代相传，甚至不分男女的。”刘弥群的弟弟刘蒙读中学时，还穿着姐姐穿过的女式旧军装，以至于很多同学笑话他，叫他“黄皮”。回到家，刘蒙吵着以后再也不想穿女式军装了，还遭到母亲的严厉批评。
    1970年后，刘伯承的儿女们先后结婚，但都和本单位的职工住在一起。长子刘太行结婚后，一直住在单位分配的9平米的房子里，厨房和厕所都是公用的，直到刘太行的孩子出生，单位才给他们调换了一个18平米的套间。