1910年入山东陆军小学。1917年入保定陆军军官学校第六期步兵科。

从二十世纪二十年代末上官云相倒向北伐军成为国民革命军的师长以后，他的戎马生涯便和反共、“剿匪”交织在一起。从三十年代初到1949年蒋中正集团被赶出中国大陆，二十年间上官云相从未有停止过对中国共产党及其红军的“围剿”，哪怕是国共合作的抗日战争时期也是如此。

有人提出：上官云相既不是浙江人，又不是黄埔军官学校毕业，更与蒋中正也没什么姻亲瓜葛，而是半路投效的“北洋余孽”，但却得到蒋中正的重用，这究竟是为了什么？没有人问过上官云相，他是否与蒋中正谈过他们是保定军校的校友。但可以肯定的是：蒋中正定然知道上官云相是保定军校毕业的。这是因为蒋中正历来用人是注重姻亲、同乡，同学这类关系的。跟蒋中正同出身一个军事学校无疑会给蒋留下一个良好的印象。除此以外，上官云相跟国民党的一些高官还有一些姻亲关系，比如他的妹妹便是曾任国民党广东省政府主席、第四路军总司令余汉谋的如夫人。“一损俱损，一荣俱荣”这条《红楼梦》式的人事定律，对上官云相的宦海沉浮也许适用。不管是哪种原因在起作用吧，反正上官云相从二十世纪三十年代开始仕途便一路顺风，屡被委以重任，从旅长、师长到总司令、司令长官，从少将、中将，从大陆败逃台后他竟被追赠为上将了。人们不会想到，这位出身草莽的山东二哥竟像汉高祖刘邦一样了！

同年，中国共产党的领导者们发动了南昌起义，到井岗山开辟革命根据地。因为这时共产党还是“星星之火”，再者蒋中正在南京建立的新政权还不够巩固，冯玉祥、阎锡山、李宗仁几股地方实力派还在找他的麻烦，所以他一时还腾不出手来去“剿共”。

1935年初，任第一路军中路军总指挥；4月晋升为陆军中将。1936年1月，被派赴欧洲考察军事，次年返国，旋任豫鄂皖边区绥靖主任。

“七七事变”后，抗日战争爆发，他出任第三战区江防军第十一军团军团长，参加了保卫上海的淞沪会战。1938年春，任第三战区司令长官部总参议，11月，任第三十二集团军总司令。

新四军是抗日战争初期根据共产党与国民党谈判达成的协议成立的。从1937年10月开始，将分散在江西、福建、广东、湖南、湖北、河南、浙江、安徽八省的红军游击队分别集中，改编为“国民革命军新编第四军”，由叶挺任军长，项英任副军长，于1938年1月在江西南昌成立，下辖四个支队，分别由陈毅、张鼎丞，张云逸、高敬亭任支队司令员。新四军初成立时，只有一万两千人，到1945年8月抗日战争胜利时，新四军已发展到三十万兵马。