1958年中国科大的地球物理系首任系主任，赵九章，首次提出创建研究生院的想法并得以在中国科大实施，开辟了 中国高等教育发展的一块试验田。
1977年9月10日，中科院在其直属的、已迁至安徽合肥的中国科学技术大学内设立研究生院。该院虽冠以“中国科学技术大学”的校名，并由中国科学技术大学颁发毕业证书和学历证书，但鉴于其办学主体在中科院院部所在地北京，研究生的培养工作也主要由中科院及其各研究所承担，因此，中国科学技术大学研究生可以被认为我国第一所实质意义上的科研机构研究生院。
1986年，中国科学技术大学研究生院更名为“中国科学技术大学研究生院（北京）”，同时在合肥又创建了一个新的、真正属于中国科学技术大学的“中国科学技术大学研究生院”，拉开了该院两地办学的历史。2000年，中国科学技术大学研究生院（北京）又更名为“中国科学院研究生院”，从此成为名实相符的科研机构研究生院。