在西汉之时，北方的少数民族匈奴族与南方的少数民族越族之中，都各有一支赵姓家族。
西汉之时，有一位叫赵安稽的匈奴族人，世居甘肃塞外匈奴领地，为当地的匈奴王。汉武帝时，赵安稽投降汉朝，被封为昌武侯，元朔四年(公元前125年)，匈奴左贤王举兵叛汉，赵安稽随骠骑将军霍去病出击左贤王，累立战功，被封为坚侯。后病故。赵安稽世居塞外匈奴领地，其世系不明，但从秦朝灭赵国时，迁代王赵嘉之子赵公辅出主西戎，世居天水，赵姓家庭以"天水为望"，后"散处"各地来看，匈奴领地与天水相距不远，很可能是天水赵姓"望族"后裔北迁至此，其后人人匈奴籍。从秦初至汉武帝中期约为一百余年，入匈奴籍的赵姓后裔，借助"公辅主西戎，西戎怀之号曰赵王"的优势，夺得匈奴王的位置，是完全可能的。

　　赵安稽同族人中，有一位叫赵信的匈奴人，初为匈奴相国，有"胡小王"之称。曾降汉朝，被封为翕侯，并任将军。后又归降匈奴，匈奴伊稚斜单于重赵信之才，将自己的姊姊嫁给赵信，并封赵信为次王。当时，汉武帝派骠骑将军霍去病等大将，统大军击匈奴。赵信于是建议单于迁所部到漠北，以诱使汉军罢兵而退，再将所部迂回漠南塞外故址。单于从其计，将所部迁漠北，不近边塞。谁知，赵信族人赵安稽之家臣探知单于仍屯部于漠北，待汉军回朝后将继续南迁的情况。赵安稽于是建议利用赵信误以为汉军不会出击漠北的思想，遣大军远征匈奴。汉朝遵其计，远征匈奴获大胜。单于只得派赵信为使者与汉室和亲，边事遂安。

　　西汉汉武帝时，正当匈奴族中赵姓封侯之际，南越的苍梧王赵光也被汉室封侯。赵光世居苍梧(今广西梧州)，南越贵族子弟，原自认姓秦，自名秦王，又号苍梧秦王，以示反汉，并表明自己是秦姓后裔。元鼎五年(公元前112年)，苍梧秦王与联姻南越吕嘉一齐起兵反对汉朝，真是以卵击石，当年就被武帝派遣的将军路博德率大军平定。苍梧秦王只得识时务，率众投降。汉朝撤其秦王号，封为随桃侯。为了表示自己再也不怀二心，不思念秦朝，苍梧秦王不用秦姓，而用与秦共祖、又有功于汉朝的赵姓，故名赵光。今岭南越族之中的赵姓成员，多数是赵光的后裔。