《女士品茶》第55章


缏宸虻难忌颍扛窭目疲↗oseph Glivenko)对此定理也做出了贡献,他采用一种新的数学符号,即斯蒂尔切斯积分(Stieltjes integral)概括了这一结果,他的论文在1933年发表于一本意大利的数学期刊。格利文科所采用的数学符号是现代教科书中使用最多的一个符号。
格利文科-坎泰利引理是那种直观上显而易见的,但是,只有当别人发现后,你才会意识到,否则看不出来。如果有一些数,我们对它们的概率分布一无所知,那么数据本身可以用来构造一个非参数分布,这是一个不那么好看的数学函数,其间有许多断点,怎么看都不优美,尽管它的结构不雅观,坎泰利还是可以通过增大观测值的数量,来使不那么美的经验分布函数(empirical distribution function)越来越接近真实的分布函数。
格利文科-坎泰利引理的重要性立刻得到了承认,在这之后的20年里,这个引理被用来还原并证明了许多重要的定理,它是一种经常用于证明中的数学研究工具之一。为了用这个引理,数学家在20世纪初,不得不想出一些计算方法的简便算法,如果没有小窍门,在大量的数据样本中用经验分布函数来进行参数估计,就需要有一部在一秒钟内可以进行数百万次计算的超强计算机。在20世纪50年代、60年代乃至70年代都还没有这样的机器,到了80年代,才有这样的计算机用于这样的计算。格利文科-坎泰利引理成为新统计方法的基础,而这种新统计方法只能生存在高速计算机的世界里。
埃弗龙的“解靴带”法
在1982年,斯坦福大学的布拉德利?埃弗龙(Bradley Efron)发明了所谓“解靴带”(Bootstrap)(我们称为“自助法”)的方法,它基于格利文科-坎泰利引理的两种简单应用。这两种应用方法的原理很简单,但是它们要求用电脑进行大量的计算、再计算,……如果对一组数量适中的数据进行典型的“解靴带”分析,即使是利用最好的计算机也需要花好几分钟的时间。
埃弗龙把这种方法称为“解靴带”,是因为整个计算过程是一个数据自身模拟提升的过程,就像是解靴带一样,一个接一个地被解开。计算机不会介意重复单调的工作,它一遍又一遍地做着同样的工作,从不抱怨。由于使用了现代的晶体管芯片,计算机可以在不到万分之一秒内完成这些工作。在埃弗龙的“解靴带”背后还有一些复杂的数学理论,他最初的论文中证明了,如果对真实的数据分布做出了恰当的假设,这个方法与标准方法是等同的。这个方法的应用非常广泛,从1982年开始,几乎在每个数理统计期刊上都刊载一篇或更多的与“解靴带”相关的文章。
重复抽样和其它运算密集方法
还有其它一些与“解靴带”类似的方法,总称为重复抽样(resampling)。事实上埃弗龙已经阐述了费歇尔的许多标准统计方法都可以看作是重复抽样,而且,重复抽样方法属于范围更广的统计方法的一种,我们称之为“运算密集”(puterintensive)。运算密集法充分利用现代计算机,对相同的数据不断地重复进行大量的运算。
20世纪60年代,美国国家标准局(the National Bureau of Standards)的琼?罗森布拉特(Joan Rosenblatt)和德州农工大学(Texas A&M University)的伊曼纽尔?帕仁(Emmanuel Parzen)发展了这种运算密集的程序,他们的方法被称为“核密度估计”(kernel density estimation),而且,由此产生了“核密度回归估计”(kernel densitybased regression estimation)。这两种方法涉及到两个任意参数,一个是“核”(kernel),另一个是“带宽”(bandwidth)。这些方法出现不久,1967年(远在计算机可以解决这些问题之前)哥伦比亚大学的约翰?范里津(John van Ryzin)利用格利文科-坎泰利引理确定了参数的最优配置。
当数理统计学家们还在研究理论,并在他们自己的期刊发表文章时,罗森布拉特和帕仁的核密度回归已经被工程界独立地发现了,在计算机工程师中,它被称为“模糊近似值”(fuzzy approximation)。它用了范里津所称的“非最优核”(nonoptimal kernel),并且,只是非常随意地选用了一个“带宽”。工程实践不是为了寻找理论上最佳的可能方法,而是在于追求可行性。当理论家们还在为抽象的最优标准而大费周折时,工程师们已经走出去,到了真实的世界,用模糊近似值的概念建立了以计算机为基础的模糊系统。模糊工程系统应用于傻瓜相机,可以自动对焦和调整光圈。这一系统还应用于新建筑物中,根据不同房间的不同需要调整和保持舒适的恒定室温。
巴特?科什科(Bart Kosko)是工程界一个私人咨询师,是模糊系统推广者中最成功的一位。当我读他书中列出的参考书目时,可以找到关于19世纪一些主流数学家,像戈特弗里德?威廉?冯?莱布尼茨(Gottfried Wilhelm von Leibniz)等的参考资料,还有对随机过程理论及其在工程领域的应用方面做出贡献的数理统计学诺伯特?维纳(Norbert Wiener)的一些资料。但我找不到罗森布拉特、帕仁、范里津或核回归理论(the theory of kernelbased regression)任何后来贡献者的资料。这表明,尽管模糊系统和核密度回归的计算机运算法则基本一致,但它们各自完全独立地得到了发展。
统计模型的胜利
运算密集法在标准工程实践中的扩展,是20世纪末统计革命已经渗透到科学界各个角落的一个实例。数理统计学家们已经不再是统计方法发展唯一的、甚至已经算不上是最重要的参与者了。在过去的70年中,科学家和工程师们并不知道那些刊载于他们期刊中最重要的理论经常一次次地被重新发现 。
有时,应用者应用基础定理时没有进行重新论证,仅仅凭直觉上以为是对的就假定它是正确的。还有的情况是,使用者使用了已经被证明是错误的定理,仅仅是因为这些定理直观上看起来是正确的。存在这种问题的原因,是因为在现代科学教育中概率分布的概念已经根深蒂固,以至于统计学家和工程师们思考问题的方式也是基于概率分布的角度。一百多年前,K?皮尔逊认为,所有的观测都来自于概率分布,而科学的目的就在于估计这些分布的参数。在这之前,科学界相信宇宙遵守着某些规律,如牛顿运动定律,而观测到的任何差异都是因为误差的存在。逐渐地,皮尔逊的观点占据了优势,其结果,每个在20世纪接受科学方法训练的人都理所当然地接受了皮尔逊的观点。这种观点深深地植根于现代数据分析的科学方法之中,几乎没有人去考虑其所以然。很多科学家和工程师使用这些方法,但从不考虑K?皮尔逊观点的哲学含义。
然而,当科学研究的真正“主体”是概率分布这一观念被广为接受时,哲学家和数学家发现了许多严重的基本问题,我已经在以上的章节中概略地列举了一些,在下一章节将详细论述。
第29章 “泥菩萨”
1962年,芝加哥大学的托马斯?库恩(Thomas Kuhn)出版了《科学革命的结构》(The Structure of Scientific Revolutions)一书。这本书深刻地影响了哲学家们和实践者们如何去看待科学。库恩指出,现实是复杂的,是绝对不可能由一个有组织的科学模型来完全描述出来的。他认为科学就是试图模拟建立一个描述现实的模型,符合可用的数据,并且可以用来预测新实验的结果。因为没有任何一个模型是完全真实的,所以,数据越来越多,要求不断地配合新的发现去修正模型以修正对现实的认知。这样,模型因为带有特例的直觉上难以置信的延伸,变得越来越来复杂,最终,这个模型不再适用了。这时,有创新精神的人将会考虑建立一个全新的模型,一场新的革命在科学领域即将展开。
统计革命就是模型变换的例子。用19世纪决定论的科学观,牛顿物理学已经成功地描述了行星、月球、小行星和彗星等天体的运动,运动都是遵守几个明确的运动和引力定律;在寻找化学规律方面也取得了一些成功;并且达尔文的自然选择学说为理解进化提供了有利的依据;甚至有些人试图将这种寻找科学规律的模型研究引入社会学、政治科学以及心理学等领域。那时,人们相信寻找规律的难点在于测量不准确。
19世纪初,一些数字家如皮埃
小说推荐
返回首页返回目录