统计学的英文statistics最早源于现代拉丁文Statisticum Collegium（国会）、意大利文Statista（国民或政治家）以及德文Statistik，最早是由Gottfried Achenwall于1749年使用，代表对国家的资料进行分析的学问，也就是“研究国家的科学”。十九世纪，统计学在广泛的数据以及资料中探究其意义，并且由John Sinclair引进到英语世界。

统计学是一门很古老的科学，一般认为其学理研究始于古希腊的亚里士多德时代，迄今已有两千三百多年的历史。它起源于研究社会经济问题，在两千多年的发展过程中，统计学至少经历了“城邦政情”、“政治算数”和“统计分析科学”三个发展阶段。所谓“数理统计”并非独立于统计学的新学科，确切地说，它是统计学在第三个发展阶段所形成的所有收集和分析数据的新方法的一个综合性名词。概率论是数理统计方法的理论基础，但是它不属于统计学的范畴，而是属于数学的范畴。