我国在夏商时期就出现了教育机构，“校”和“庠”就是夏商时期出现的教育结构，其中“校”是从驯养军马场所逐渐演化为教育机构的，而“庠”最初是官方设立的养老地点，同时也让老人对年轻人进行道德教育，后来渐渐演化为教育机构。
    古代把仕途作为读书人的唯一出路，因此古代教育也一直是为朝廷选拔官员服务的，读书人要想报效朝廷，必须到官方办理的学校读书才行。因此私人兴办的学校大多是为启蒙教育服务，学生在读完启蒙教育课程后，就要经过选拔或考试进入官方学校读书。比如汉代的中央官学太学、宫邸学、鸿都门学，学生从这里毕业后就可以得到一官半职。但这些官学都是给贵族子弟上的，地方上的读书人则在地方官学郡国学校读书，优秀的人也可获得被举荐的机会。
    从隋唐开始，出现了科举制度，此时从中央到地方，也有各种学校，中央级别的有国子监、太学等，地方则有儒学、专科学校、社学等，学生要想考科举，必须到指定的地方学习一段时间，合格了才能参加科考。一般到国子监这样的中央学府上学，能考中进士的机会是最大的。
    此外，在古代还有一种专门研究学问的教育机构，就是书院。书院最初是民间办的，后来官方为了统治读书人的思想，开始监督和管理书院。