如果说一位生活在300年前,一位18世纪英国的牧师,他的贡献促成了现在人工智能的发展,你一定不要觉得惊讶。今天我们就来讲一讲托马斯·贝叶斯,一位默默无闻于生前、却在身后影响深远的思想家,却因为在概率方面的贡献,让自己的名字在今天的人工智能时代闪闪发光。
历史背景
在托马斯·贝叶斯所生活的1700年代初期的英国,刚刚经历了“光荣革命”,确立了议会主权和君主立宪制。英国的海外贸易迅速扩张,工业革命正准备萌发,但是整个社会的宗教气氛还是相当浓重。贝叶斯的祖辈从事钢铁和餐具制品富甲一方,但是他的家庭都是“非国教者”,这个所谓“非国教者”就是没有信奉“英国国教”的一群教徒。英国从亨利八世宗教改革开始就信奉新教,但是新教是一个广泛的宗教改革运动,其中也包括不同的派系。其中“英国国教”则是新教中的一支(圣公会),而“非国教者”是相对于“英国国教”而言的。在当时的社会,虽然他虔诚,但是却被主流体制边缘化 – 因为没有信奉“英国国教”,他也不能在英格兰的大学学习和任教,最终在苏格兰的爱丁堡大学学习逻辑学和神学。
理论核心
托马斯·贝叶斯观察到生物的结构与环境的完美适应,认为这种“设计”不可能是偶然的,而必须出自一位智慧的创造者。虽然世间万象纷繁复杂,但是他发现数学在描述这些现象的时候表现出秩序、规律和优美。在他的另一部著作《通量学说导论》中,他为牛顿的微积分做辩护。他认为牛顿所揭示的宇宙的数学规律性,恰恰是上帝作为理性创造者的明证。他认为科学发现的自然法则,不是削弱,而是印证了上帝设计的精妙。他试图通过数学工具来计算“如此精妙的秩序,其偶然发生的概率有多低?”,以此来证明上帝存在的合理性。他从“有序的世界”这一观测结果,反推“上帝存在”这一原因的概率很高。换句话说,他想建立一个框架:初始的信仰(先验概率)+ 观察到的自然秩序(新证据) = 更强的信仰(后验概率)。这个就是贝叶斯定理的核心思想。
与传统统计的区别
在此之前,传统的统计学是基于反复观察来预测事件的发生概率。贝叶斯的统计思想和这种传统方法不同。在传统的观点看来,需要反复抽取样本来预测某个事件发生的概率。比如我们在路口远远地看见一只小动物,如果经常在这个路口走过,可以根据以前遇到小动物的经验,可以推测出90%的可能性那是一只猫。
但是如果这是一个陌生的路口,在这个路口没有过去的经验。用贝叶斯概率的思想,先对路口的这只小动物是猫的概率做一个主观的估计,比如50%;然后再根据后面观察到的现象来更新这个估计,比如看到这只小动物动作敏捷,那么这个概率估计+10%,然后走近过后又看到有一个长尾巴,这个概率估计再+10%;如果甚至还听到了猫的叫声,那么这个概率就升高到99%。
因此贝叶斯概率的核心在于“动态更新”理念。简单而言,即“初始认知 + 新的证据 = 修正后的判断”。这个思想更接近人脑思考问题的方式,比如在刚才这个例子中,如果在路口遇到了一只动物,你从自己的直觉出发,基于新获取的信息,逐步更新自己的判断的确定程度。所以贝叶斯概率的核心定义可以理解成对某种事件发生的信念的度量。
贝叶斯概率的观点,还可以对许多那种无法重复的事件分配一个概率,比如我们想知道某个同学考上好大学的几率是多少,这个概率是无法进行反复试验得到的,但是可以用相关的证据和先验知识来得到一个概率,比如该同学在每次考试都获得了全班的前几名,那么这个同学考上好大学的几率会被估计得比较高。
在AI中的应用
虽然这个观点看起来很吸引人,但是作为数学工具从它诞生过后很长一段时间却少有人用,这是因为它需要对高维数据积分,计算通常很复杂,手工计算几乎不可能。从1950年代开始,计算机的兴起,以及以萨维奇(Leonard J. Savage)等人为代表的学者,系统地发展了贝叶斯决策理论,使其在数学上更加严谨,从而推动了“贝叶斯”作为一种独立的概率解释和统计范式的复兴。这使得概率论可以应用于科学、医学、法律、哲学等更广泛的领域。
而在人工智能领域,现在最常用的就是各种深度神经网络。神经网络顾名思义,就是模型节点是模拟人类大脑神经元的工作原理。现在的神经网络规模如此庞大,现在大模型可以达到上千亿甚至上万亿的参数,也就是节点数量。神经网络几乎是人工智能的代名词。
但人工智能的本质,其实就是对数据规律进行预测。我们可以用概率的眼光,将人工智能模型的参数看成是某种概率分布,而这个预测问题就变成了找到这种概率分布的定义,比如说对正态分布就是要找到合适的均值和标准差,使得这些符合这个概率分布的参数算出来的结果能最匹配那些训练用的数据,这个就叫最大似然估计。对最大似然估计的模型进行数学推导,我们可以得到和神经网络中一样的数学公式 —— 在神经网络里面用到的激活函数和损失函数都可以在最大似然估计的框架下用数学进行推导。而同样利用贝叶斯概率的贝叶斯回归模型,则可以推导出在神经网络里面使用的正则化的数学原理。
可以说,从生物的神经元获得灵感而构建的神经网络,与由贝叶斯概率推导出的人工智能模型殊途同归。有了贝叶斯概率,才让现代神经网络在数学上有了严格的理论支撑。让动辄数千亿甚至万亿的神经网络节点构成的大模型不再是无源之水、无根之木,而是有坚强的数学理论作为根基。
同时,以贝叶斯概率作为工具,还提出了许多针对神经网络的优化方法,比如变分推断、贝叶斯优化超参数、以及不确定性建模中的Dropout作为贝叶斯近似等技术,这些方法不仅提升了模型的鲁棒性,也让AI系统在面对不确定信息时具备更强的适应能力。
未来展望
所以,从300年前贝叶斯试图通过数学的简洁、优美和秩序来证明上帝的存在,在不经意间开启了一扇大门,让现在的人通过贝叶斯概率创造了新的智能,这何尝不是一种历史的奇妙回响,信仰的追问最终孕育了理性的果实,而人类对一种“智慧”的追寻,竟创造出另外一种智能。
现在,人工智能还在一日千里地发展,但是越来越多的人意识到,现在这种光凭暴力堆叠参数、算力和训练语料的方法终究有个极限,或许用现在的模型和理论还不足以通往通用人工智能(AGI),还期待数学在这方面进一步的突破,因为人工智能本质上是数学的产物。从机器学习、深度学习到大数据分析,几乎所有的人工智能技术都建立在数学模型之上。例如,机器学习算法依赖线性代数进行矩阵运算,而概率统计在数据分析和模型预测中发挥着关键作用。此外,微积分在优化机器学习模型的训练过程中不可或缺,数理逻辑更是编程和算法设计的核心。这些数学分支共同构成了AI技术的基石,使得计算机能够从数据中学习、推理并做出决策。
此外,数学的学习还能培养逻辑思维和抽象思维能力,这对于未来社会的各行各业都至关重要。在人工智能时代,许多传统的重复性工作将被自动化取代,而具备数学思维的人才将在创新和管理岗位上占据更大优势。数学不仅是一种技能,更是一种思考方式,能够帮助人们更有条理地分析问题、制定策略,并在复杂环境中找到最优解。此外,数理逻辑的学习可以帮助培养严谨的推理能力,使人在与AI协作时更具优势。
AI让数学成为每个人都需要重视的核心能力。掌握数学,不仅能帮助人们更好地适应科技发展,还能赋予他们创新的能力,成为未来社会的引领者。因此,无论是学生还是职场人士,都应该重视数学的学习,以便在AI时代中占据主动,迎接更加智能化的未来。
为此,我们开发了专门针对程序员转型的数学课程《深入AI/大模型必修数学体系》。让您成体系的学习在机器学习中可能用得到的数学基础。培养数学的直觉,提高兴趣。
本课程通俗易懂,入门门槛低。我们特别提炼出机器学习最关键的数学体系,裁剪掉多余理论和无用分支,直达目标,高效而系统的学习数学知识。
另外课程还会以程序员最熟悉的方式进行讲解,尽量让每个知识点用代码来对应,因为代码是可重复,可运行,可实验的;通过代码还可以对数据和过程进行可视化,从而帮助同学们更好地理解这些知识;另外就是理论结合具体案例,会尽量让理论都有落脚的案例,保证学有所用;还有就是完善的课后服务,每个章节后面都有练习和精讲,进行巩固,加深,以及扩展;课后还有答疑服务;另外我们这门课不会因为入门门槛低,内容就打了折扣,我们还奉上了 支线任务:包括应用层面和高阶的扩展,从而保证课程的扩展性和深度。
共同學習,寫下你的評論
評論加載中...
作者其他優質文章




