ChatGPT是OpenAI开发的人工智能聊天机器人程序，于2022年11月推出。它能够自动生成一些表面上看起来像人类写的文字，这是一件很厉害且出乎大家意料的事。那么，它是如何做到的呢？又为何能做到呢？本书会大致介绍ChatGPT的内部机制，然后探讨一下为什么它能很好地生成我们认为有意义的文本。
本书适合想了解ChatGPT的所有人阅读。

斯蒂芬·沃尔弗拉姆（Stephen Wolfram），计算机科学家、数学家和理论物理学家，当今科学和技术领域重要的革新者之一。他创造了在全世界备受推崇的软件系统——Mathematica、WolframlAlpha和Wolfram语言。35年来，他一直担任科技公司Wolfram Research的首席执行官，并取得了基础科学领域的一系列突破性进展，包括最近的Wolfram物理项目（Physics Project）。著有畅销书《一种新科学》《这就是ChatGPT》《计算探索者之旅》《创想者》等。

第一篇 ChatGPT在做什么？它为何能做到这些？
它只是一次添加一个词
概率从何而来
什么是模型
类人任务（human-like task）的模型
神经网络
机器学习和神经网络的训练
神经网络训练的实践和学问
“足够大的神经网络当然无所不能！”
“嵌入”的概念
ChatGPT的内部原理
ChatGPT的训练
在基础训练之外
真正让ChatGPT发挥作用的是什么
意义空间和语义运动定律
语义语法和计算语言的力量
那么，ChatGPT到底在做什么？它为什么能做到这些？
致谢
第二篇 利用Wolfram|Alpha为ChatGPT赋予计算知识超能力
ChatGPT 和Wolfram|Alpha
一个简单的例子
再举几个例子
前方的路
相关资源

本书试图用第一性原理
解释ChatGPT的工作原理，
以及它为何奏效。可以说这
是一个关于技术的故事，也
可以说这是一个关于科学的
故事、一个关于哲学的故事
。为了讲述这个故事，我们
必须汇集数个世纪以来的一
系列非凡的想法和发现。
看到自己长期以来感兴
趣的众多事物一起得到突飞
猛进的发展，我感到非常兴
奋。从简单程序的复杂行为
到语言及其含义的核心特征
，再到大型计算机系统的实
用性，所有这些都是
ChatGPT故事的一部分。
ChatGPT的基础是人工神
经网络（本书中一般简称为
神经网络或网络），后者最
初是在20世纪40年代为了
模拟理想化的大脑运作方式
而发明的。我自己在1983
年第一次编写出了一个神经
网络，但它做不了什么有趣
的事情。然而40年后，随着
计算机的速度提高上百万倍
，数十亿页文本出现在互联
网上，以及一系列重大的工
程创新，情况已然大不相同
。出乎所有人意料的是，一
个比我在1983年构建的神
经网络大10亿倍的神经网络
能够生成有意义的人类语言
，而这在之前被认为是人类
独有的能力。
本书包含我在ChatGPT问
世后不久写的两篇长文。第
一篇介绍了ChatGPT，并且
解释了它为何拥有像人类一
样的生成语言的能力。第二
篇则展望了ChatGPT的未来
，预期它能使用计算工具来
做到人类所不能做到的事，
特别是能够利用Wolfram|
Alpha系统对知识进行计算
（computational
knowledge，在后文中简称
为计算知识）的“超能力”。
虽然距离ChatGPT的发布
仅过了三个月，我们也才刚
刚开始了解它给我们的实际
生活和思维能力可能带来的
影响，但就目前而言，它的
到来提醒我们，即使在已经
发明和发现一切之后，仍有
收获惊喜的可能。
斯蒂芬·沃尔弗拉姆
2023年2月28日