到齐国，不被任用；又至周，仍不被任用；后被虞公任用为大夫，晋灭虞后被虏，作为陪嫁之臣被送往秦国，因秦穆公以媵臣待之，出走至宛，为楚人所执。后秦穆公闻其贤，用五张黑牡羊皮将其赎回，授以国政。称为五羖大夫。任秦大夫七年后，与蹇叔等共同辅佐穆公建立了霸业。

百里奚生活在群雄逐鹿，血流漂杵的社会大动荡大变革时期，在任秦国上大夫(相当于丞相)期间，他辅佐秦穆公倡导文明，增修国政，实行“重施于民”，让人民得到更多好处的政策，使秦国由一个西陲小国，变成威震天下，“八方来服”的春秋五霸之一，为秦国最终统一中国的千古基业奠定了牢固基础。百里奚品质高尚，经历曲折坎坷，极富传奇色彩。

在齐国郅地，百里奚遇见了蹇叔，两人一番高谈阔论，就结为知己。此后，在蹇叔的举荐下，到虞国当了个大夫。但虞国国君是个爱财如命的国君，在收了晋国的垂棘(垂棘之地产的宝玉)和宝马等财物以后，就答应借道路给晋国，让晋国途径虞国去征讨自己的邻国虢国，也是虞国的同姓兼同盟国。

果然，晋国灭了虢国后，回首即将矛头指向了虞国。公元前655年，晋国(献公)灭掉了虞国，俘虏了虞国国君及其大夫百里奚。由于百里奚拒绝在晋国做官，被晋国充作了奴隶(媵人)，在穆姬嫁给秦穆公时候，陪嫁到秦国。百里奚在去秦国的途中，逃回到楚国。楚国国君楚成王听说百里奚善于养牛，就让百里奚为自己养马。

秦穆公便问公子絷：“那我该怎么样才能得到百里奚呢？”

公子絷说：“可以贵物贱买，用一个奴隶的市价，也就是五张黑公羊皮来换百里奚。那样楚成王就一定不会怀疑了。”

于是，秦穆公便用市场上购买奴隶的价格，用五张羊皮换回了百里奚说。当百里奚被押回秦国后，秦穆公亲自接见了百里奚。

百里奚说：“我是亡国之臣，哪里值得国君垂询！”