司马迁出身于中下层官吏家庭。高祖司马昌，当秦始皇时，作主铁官。曾祖司马无泽，在汉初作长安的一个“市长”。祖司马喜，没有作官，而有第九等爵位，为五大夫。他的家庭在汉文帝时可能是所谓“中人之家”，以农业、畜牧致富，因而能够出粟买爵。司马迁说自己“耕牧河山之阳”，不一定就是亲自参加耕牧。

司马迁后代一说
  司马迁自称“生龙门，耕牧河山之阳”（《史记·太史公自序》），又称其数世祖茔均在高门，即今陕西韩城；但此地至今无一姓司马者。据韩城县文化馆介绍，距司马迁出生地“龙门砦”仅三里之续村，今为鬼东嵬阳村，同、冯两姓却历来均自称为司马之后。同姓祖陵存碑文录于下：
 “维兹同族，世传司马。初序天地，系出重黎。至周失官，尝典史笔。去周适晋，分散他乡。错在秦朝，夏阳居处；喜及后代，高门成茔。官太史者谈，作《史记》者子长。葬史坡而山明水秀，生临观而子孝孙贤。史通因避莽乱，隐居嵩阳；徽为长门嫡孙，改姓同氏。追归故里，徙居徐村。坟墓先茔，不能悉志。自茂至杰，略表所知。”
 此碑勒于清嘉庆二十二年，来源于清康熙二十二年韩城知事翟世琪所撰《重修太史庙记》。该碑文称：“自康熙八年，众为太史公庙会而不能得太史公生辰。适有华山方外士自言知其详，谓：司马子长四柱为甲寅、戊辰、庚午、丙戌，寿七十三岁，卒于丙寅年九月初四日。有二子，长临，字与仲；次观，字何求。史通，临之孙也。莽为安汉公，封史通。史通避莽乱，偕逢萌居嵩阳。司马徽正临嫡派，今子孙或在洛阳，同姓；或在襄阳，马姓。观之八世孙为懿，传帝十五叶，辟刘宋之祸，去司返高门。又有女为杨敞夫人。敞后传帝二世，前五代终始，皆子长之裔也。而观裔司马君实，与临裔司马徽，皆别有不朽，以德不以位。”宋武帝刘裕灭东晋之后，难免要追杀司马后代。司马子孙为避株连遭祸，改姓同、冯，返回高门，颇近事理。至于华山方外士所言，来自遗闻传说，虽无史籍可考，却不能一概视为荒诞不经，至少可作为史学家研考之资料。