明朝建立的前一年，史学界称之为吴元年，也就是1367年，虽然国家还未统一，政局尚动荡不安，朱元璋就已经开始考虑未来国家政治权力的运行分配问题，尤其是如何加强自己的皇权并限制官员的权力。朱元璋虽然没怎么读过书，但是他却非常注重总结历史经验，寻找巩固皇权统治的办法。明太祖认为元灭亡的重要原因之一就是“人君不能躬览庶政”，也就是君主不能够亲政，最终导致“主荒臣专，威福下移，由是法度不行，人心涣散，遂至天下大乱”。因此，他需要吸取元灭亡的教训，加强君主专制。
    但他又同时明白，虽然他贵为皇帝，掌握着至高无上的权力，但国家大事小事庶多，他又不可能事必躬亲，仅凭他皇帝一人之力是不可能治理好国家的，需要把一些权力分配给大臣，让他们去替自己处理相关政事，这就是在皇权专制的情况下如何分权的问题。朱元璋从起义中发家，他深刻明白一个道理：臣权过大就会影响皇权，进而影响统治。因此，他又不放心把权力交给大臣。于是，他就想到了一个办法，把权力分给不同的大臣，并让他们相互制约，从而既能保障皇权的至高无上，又可以使皇帝的旨意顺利地通过大臣推行到全国各地。
    朱元璋的做法就是在承袭元代官制的基础上推行“三府分立”。1367年，朱元璋借鉴前朝的做法设置御史台，设左、右御史大夫、御史中丞和侍御史等一系列官职，并任命邓愈、汤和为御史大夫，刘基、章溢为御史中丞，同时下旨告诉他手下的大臣：“国家立三大府，中书总政事，都督掌军旅，御史掌纠察。朝廷纪纲尽系于此，而台察之任尤清要。卿等当正己以率下，忠勤以事上，毋委靡因循以纵奸，毋假公济私以害物。”朱元璋在这里虽然强调的是御史的重要性，但也奠定了明代官制的基本框架，那就是实行政权、军权和监察权分立，也就是“三府分立”。
   “三府分立”主要有以下几个方面：行政方面，废丞相制，把职权分给六部。明代初年曾承袭元制，在朝廷设立中书省，置左右丞相。在实际运行过程上，朱元璋觉察到丞相权力过大，已经影响威胁到皇权，因此他决心废除丞相，把权力集中到自己手中。明洪武十三年（1380年），明太祖借有人告发丞相胡惟庸有不法行为，一方面，将胡惟庸以擅权枉法的罪名灭族抄家，另一方面，宣布撤销中书省，废除丞相，升格六部，由其亲自掌管，国家政事由皇帝一人决断。为了防止后人再设丞相，他在洪武二十八年（1395年）敕谕群臣：“国家罢丞相，设府、部、院、寺以分理庶务，立法至为详善。以后嗣君，其毋得议置丞相。臣下有奏请设立者，论以极刑。”明太祖废除丞相，把中央大权分给六部，六部尚书直接对皇帝负责，这样秦汉以来的丞相制度从此废止，皇帝的权力空前提高。但在后来，皇帝又感到一切乾纲独断，日理万机，实在太辛苦，所以又依宋制设华盖殿、武英殿、文渊阁、东阁诸大学士，备皇帝顾问，“传旨当笔”，充当秘书，帮助皇帝处理政事，逐渐形成了内阁制度。内阁在明中后期发展成熟完备，职权越来越大，名义上是帮助皇帝处理政事的秘书处，但实质上“参与机务”，是国家的中枢政务机构，入阁者虽无丞相之名，但却有丞相之实，阁权就相当于相权，内阁的地位要远高于六部。
    军事方面，明代军事分别由兵部和五军都督府管辖。朱元璋本是农民起义中的一名将领，后来逐渐成为军事统帅，最后又依仗自己所掌握的军事力量建立明朝，取得全国的统治。因此他十分重视军权，尤其不忘对军队的控制。洪武十三年（1380年），朱元璋为了防止武将擅权，将军权一分为五，设中、左、右、前、后五军都督府，统领军队，负责分领京师和外地的都司、卫所，与六部中的兵部同为中央最高军事统御机构，共掌军事。兵部与五军都督府“合之则呼吸相通，分之则犬牙相制”，它们之间并非从属的关系，而是各有所司。“兵部有出兵之令，而无统兵之权，五军有统兵之权，而无出兵之令。”也就是都督府只管军籍和军政，负责军队的管理和训练，没有指挥和统率军队的权力；兵部虽有颁发军令、铨选军官之权，也不能直接指挥和统率军队。如遇战事，需要由皇帝作出决定，兵部才能颁发调兵命令，再由皇帝亲自任命军事统帅，然后统率从各卫所调集的军队作战。战事完毕，军归卫所，主帅还印。这样总指挥权和统帅任命权操纵在皇帝之手，而军籍、军政的管理和军队的调拨、指挥权分离开了，造成将不专军，军不私将，从而可以避免悍将跋扈、骄兵叛变的现象，增强皇帝对全国的统治。
    监察方面，洪武十三年（1380年）罢御史台，洪武十五年（1382年）改置都察院，洪武十七年（1384年）定都察院官制，以都御史为正二品，与行政方面的六部尚书品级相同，保障了监察权与行政权的同等地位。朱元璋设立都察院的目的很明确，就是要监察百官。明代都察院权力很大，不但有监察权，还有司法权和行政权，甚至还有军事指挥权。其监察权主要是通过十三道监察御史来行使。都察院的司法权主要体现在“三司会审”上。明洪武十四年（1381年）规定遇有重大、疑难案件由刑部尚书、大理寺卿和都察院左都御史三法司长官共同审理，最后由皇帝裁决。三司会审不是终审判决，最后须由皇帝做裁决，才能生效。遇有特大案件，则实行“九卿会审”制度。明代本来在地方实行三司分权，明太祖改行中书省为承宣布政使司，统管地方民政和财政，设提刑按察使司管理司法，设都指挥使司指挥军队。三司各行其职，互不统辖，都直接归中央有关部门管辖。但都察院的都御史外派为总督、巡抚时，却可以节制三司，抚循地方，考察官吏，提督军务。
    明代的“三府分立”虽是为了加强皇权而设，但在皇权专政的前提下，也起到了分权的作用，有利于国家权力更好地运行，在一定程度上起到了维护封建统治的作用。但在后来的实际操作中，“三府分立”却受到了宦官专权的严重挑战。“三府分立”的前提是皇帝的英明决断，但明中后期，皇帝大多不理朝政，朝政被宦官把持，太监通过替皇帝照阁票批行操纵内阁从而掌握了行政权，由太监掌控的厂卫具有超越刑部和大理寺的司法审判权，此外，皇帝派往各地的镇守太监可以随意干涉地方军政事务，“三府分立”并没有得到很好的执行。