因百里奚是秦穆公用五张黑公羊皮换回来的奴隶，故世人称百里奚为“五羖大夫”。羖，就是黑公羊的意思。

百里奚在秦国当了上大夫(丞相)以后，始终保持着爱民思想，他勤勉政事，劳累不坐车，酷暑炎热不打伞，走遍国中，不用随从的车辆，不带武装防卫，深得秦国人民的信赖。对内，则提倡教化，开启民智，也就是精神文明，按照周朝的官制和朝仪，百里奚改变了秦国落后的国体；对外，搞好与邻国的关系，不兴战事，使秦国短期内大治。

那老妇人走到大庭广众之下，落落大方地援琴抚弦，自弹自唱道：“百里奚，五羊皮。忆别时，烹伏雌，炊扊扅，今日富贵忘我为。百里奚，初娶我时五羊皮。临当别时烹乳鸡，今适富贵忘我为。百里奚，百里奚，母已死，葬南溪。坟以瓦，覆以柴，舂黄黎。搤伏鸡。西入秦，五羖皮，今日富贵捐我为。”

听着这委婉幽怨，耐人寻味，字字真切的歌声，百里奚大为惊讶，就上前去询问，方才知道原来是自己的结发妻子杜氏千里寻夫来到了眼前。百里奚妻杜氏自丈夫离别之后，几十年杳无音讯。家境贫困，又逢上灾荒年景，就带上儿子外出逃荒。杜氏讨饭到秦国，打听到百里奚已经在秦国当了大夫。为了能接近百里奚，她设法到百里奚府中当了洗衣的佣人。相堂之上相认后，夫妻两人抱头痛哭起来。

在百里奚的辅佐治理下，秦国逐渐强大起来。而作为秦晋之好的友邦晋国却经历了几次大的国内动荡。公元前651年，晋献公去世，晋献公的妃子郦姬想让自己的儿子奚齐继位，不久就被大臣里克杀死。国君也没有了继承者。晋献公病逝后，晋国的嗣位成为保持大周时局稳定的大问题。百里奚在搞好自己的国内政治前提下，带兵护送公子夷吾归国继位，称为晋惠公。

为了给秦国发展争取好的外部环境，百里奚主张不杀晋会公，保持秦晋友好关系。在穆姬也以死相威胁的情况下，秦穆公同意放晋惠公归国。公元前637年，晋惠公死后。百里奚又辅佐秦穆公设法从楚国把晋国公子重耳接到秦国，并将重耳送回国，驱逐了晋惠公的儿子子圉(晋怀公)，立重耳为君，史称晋文公。

晋文公称霸以后，百里奚继续着手修复秦晋之间的友好关系，开始共同征伐附近与楚国结盟的小国曹国、卫国和郑国。公元前632年，秦晋军队在城濮打败了进犯中原的楚国军队，使楚国领兵的最高军政长官令尹子玉自杀。秦国成为继晋国以后，北方最具实力的强国。