尉迟氏源于塞族，出自南北朝时期鲜卑拓拔部尉迟氏族，属于以部落名称汉化为氏。

距今一千六百余年前，西北地区有一个氏族部落号“尉迟”，其祖先是中亚胡人的一个分支，即后世的“于阗人”，就是今称的塞族人(塞尔维亚族)，使用印欧语系伊朗语族东伊朗语支的于阗语即于阗塞语，其族首领的世家姓氏叫做“Vi-ca”，汉译音为“尉迟”，是冠在从汉朝时期开始立国的于阗国名前的头衔，其意是“征服者”、“胜利者”。

尉迟一族后与鲜卑拓拔部联合，被称作“西方尉迟氏”，后逐渐崛起成为一支部落，被鲜卑拓拔部大人称之为“尉迟部”。之后，尉迟部一直跟随拓跋部称霸于北方地区。经过长时期的东征西战，鲜卑拓跋氏终于建立了北魏政权，当上了中国北方皇帝，而尉迟部也就跟着身价百倍，成为北魏皇室中的世代贵族，也是北魏勋臣八姓之一。

后来，北魏孝文帝为博大精深的中华传统文化所折服，在北魏太和十七～二十年间(公元493～496年)将都城从平城(今山西大同)迁往洛阳入主中原后，大力推行汉化改革政策，连皇帝的姓氏都由原来的拓跋氏改为汉姓元氏，同时还下令其余的鲜卑族人也一律改汉姓。鲜卑尉迟氏部落族人便是在这种情形下，以部落名称的谐音汉字“尉迟”为姓氏，称尉迟氏，后逐渐融入汉族之中。

在隋朝时期，整个尉迟氏家族又进行了第二次汉化过程，许多贵族称单姓尉氏，平民多称单姓迟氏，奴仆则称单姓胡氏，后来还有尉迟氏被隋文帝赐改为杨氏者，如隋朝末期著名的将领杨义臣就是。杨义臣的父亲就是隋朝的开国大将尉迟崇，后来在战场上牺牲，隋文帝出于对尉迟崇功业的追忆，于是下诏：“义臣可赐姓杨氏，赐钱三万贯，酒三十斛，米麦各百斛，编之属籍，为皇从孙。”不仅赐予皇室姓氏，还确定了杨义臣在皇族的辈份。

至唐朝初期，整个尉迟氏家族即已经完全成为汉族，但仍又一部分族人维持尉迟氏复姓，与同宗同源的尉氏、迟氏、胡氏、杨氏世代相传至今。