从「维特根斯坦」哲学“语言游戏”到「伊利亚」的 大语言模型“GPT智能体” （三）

Ilya系列访谈解读E03S02 - 通向AGI之路（终结篇）

图｜汤源
文｜汤源
这是AI范儿公众号的第68篇文章
完整阅读本文需104分钟

• 篇一：Ilya系列访谈解读E01S02 - 基于ANN的深度学习大语言模型极简而美妙
• 篇二：Ilya系列访谈解读E02S02 - AGI未来时代的憧憬
  
  

这也是本系列最后一篇，主要解读来自Spencer Greenberg的播客Clearer Thinking-the podcast about ideas that matter在2022年10月27日为Ilya做的一篇专访：What, if anything, do AIs understand? with ChatGPT Co-Creator Ilya Sutskever

看Ilya的访谈，正如看主持人与“一个精确预测下一个词的生物智能体”的交互“prompts”，而Ilya，可以说是当今“最懂”人工神经网络（ANN）的通用人工智能（AGI）科学家。

至于为何按访谈时间倒序来安排这三篇解读并成文，笔者发现了“强化学习”现象同样表现在Ilya最近的一系列访谈风格上。

作为一个商业公司的首席科学家，从访谈时间顺序看，随着GPT系列服务商业化以来受到的商业道德风险压力越来越大，Ilya本人也受到公司媒体披露规则的“强化训练”，避而不谈或绕过去的问题也越来越多，和笔者最近一段时间使用BingChat的感受十分类似，看到被人工反馈强化训练（RLHF）对齐约束的GPT智能体涌现火花越来越少，也越来越有点无趣。

好在这篇访谈时间是在去年ChatGPT发布前，从内容看甚至Ilya有点按耐不住的主动，多次在回答之后追问主持人：Do you see what I mean?

希望能够结合播客内容提炼出GPT成功的关键点，为笔者这一段时间对于GPT现象的理解甚至AGI未来之路的思考做一个阶段性的总结。

💡在这个例子中，陶哲轩认为不仅是他对GPT下prompt，GPT产生的文字，也反过来可以看成是AI对人类下的prompt。然后，陶哲轩会受到这个错误但有趣的提示启发，进而想出正确答案。

💡 语言模型（至少）有三种交互模式：

文本型（text-grounded）：

为模型提供文本和说明（“总结此文本”，“基于此文本，以色列的人口是多少”，“本文中提到的化学名称是什么”，“将此文本翻译成西班牙语”等），让模型基于我们提供的文本生成答案；

求知型（knowledge-seeking）：

向模型提供问题或指导，让模型根据内在知识（“流感的常见原因是什么”）提供（真实）回答。

创造型（creative）：

为模型提供问题或说明，然后让模型进行创造性输出。（“写一个关于...的故事”）

• 以自然语言的方式做人机交互：包括对话意图的识别、理解，按上下文提供文本生成，主要集中在文本本身。对应Schulman说的文本型交互模式。
  
  

• 多模态训练后对世界的表达与认知：包括具备了知识、能够做推理等逻辑思考，甚至创造。对于Schulman说的求知型与创造型交互模式。

💡  A deep learning framework for both ANN and BNN

学习目标（the learning goal），表示为要最大化或最小化的目标函数（或损失函数）。

学习规则（learning rules set），表示为突触权重更新；（weights）

神经网络架构（ANN architecture），表示为信息流的路径和连接（如Transformer）

深度学习（Deep Leaning）可以看作是对长期存在的 ANN 思想的重塑。

深度 ANN 拥有多个层，可以是前馈层，也可以是随时间循环的层。“层”最好被认为是类似于大脑区域，而不是生物大脑中的特定薄层 。

“深度”学习特指以端到端的方式训练分层 ANN，使得层次结构的每一层的可塑性都有助于实现学习目标 ，这需要解决“信用分配问题”（计算深度 ANN 中梯度的最常用方法是反向传播）. 

近年来，深度学习的进步来自更大参数量级 ANN 的使用，使用能够有效处理所需计算的图形处理单元 (GPU) 使用更大的数据集进行训练。这些发展为许多新问题提供了解决方案，包括图像和语音、 分类和生成、语言处理和翻译、触觉和抓握、导航、感官预测、玩游戏和推理。

而在机器学习与人类学习模式本身，也早已存在着相互借鉴，交互prompt的现象。

有着Yoshua Bengio（2018年图灵奖获得者）署名，2019年发表于Nature子刊neuroscience的文章：A deep learning framework for neuroscience ；

💡ANN深度学习与BNN系统神经科学的交互promts

系统神经科学寻求解释大脑如何执行各种感知、认知和执行任务。相反，人工智能试图根据它们必须解决的任务来设计计算系统。在人工神经网络中，设计指定的三个组件是目标函数、学习规则和架构。随着利用类脑架构的深度学习越来越成功，这三个设计组件越来越成为我们如何建模、设计和优化复杂人工学习系统的核心。

Systems neuroscience seeks explanations for how the brain implements a wide variety of perceptual, cognitive and motor tasks. Conversely, artificial intelligence attempts to design computational systems based on the tasks they will have to solve. In artificial neural networks, the three components specified by design are the objective functions, the learning rules and the architectures. With the growing success of deep learning, which utilizes brain-inspired architectures, these three designed componentshave increasingly become central to how we model, engineer and optimize complex artificial learning systems.

这说明无论是ANN和BNN智能体，存在网络结构上的相互借鉴，在认知能力的习得模式上，有着共通之处。

💡对话一：智能与智能的理解

SPENCER：太好了。因此，从一点哲学的角度开始，人们有时会争论今天的机器，在做这些看起来很聪明的事情时，它们是否真的聪明。所以我只想问一下，你如何看待智能意味着什么？

ILYA：智能有点难以定义。但我认为有两种有用的方法来思考它。思考智能的一种有用方法是说，“好吧，我们不确定什么是智能，但人类是聪明的。让我们看看人类可以做的事情。如果你有可以做一些同样事情的计算机，那就意味着这些计算机是智能的。你也可以尝试提出智能的正式定义，例如，如果一个系统能够在以某种形式方式指定的某个广泛的任务上做得很好，那么它就是智能的。但我发现这些定义不太有用。我发现只要思考人或动物（主要是人）可以做的事情，如果计算机也可以做这些事情，那么这些计算机就是智能的。计算机能做的事情越多，它们就越智能。

SPENCER：在人工智能和机器学习的历史上，有一件事让我着迷，那就是存在如此多的任务，人们说，“哦，计算机永远无法做到这一点。或者他们说，“如果计算机可以做到这一点，那么它可以做人类可以做的任何事情。然而，一次又一次，我们似乎能够让计算机做这件事，尽管许多人期望它不可能做到这一点，或者通过这样做它必须能够做所有事情。因此，似乎更多的任务比人们意识到的要窄得多。我很好奇你对此是否有看法。

ILYA：我认为这里发生的事情是我们对智力的直觉并不完全完美。智能不是很容易完全观察和经验理解的东西，正如你提出的例子所证明的那样。我认为人们有直觉，某些任务对他们来说很难。所以他们觉得，如果不解决其他所有问题，计算机就不可能解决这些任务。我认为另一方面，人们确实说过这样的话，“好吧，如果你会下棋，那么你就可以做所有其他令人惊奇的事情。事实证明，这些任务确实非常狭窄。但我想说的是，以我们今天在深度学习方面的情况，我们确实有相当通用的工具。如果你想在某个任务上得到非常好的结果，如果你能收集大量的数据，你实际上会在这项任务上得到非常好的结果。

虽然人类语言如何在人脑中产生以及当我们表达想说的事和物的在人脑神经网络（BNN）运作细节，至今仍旧神秘而美妙。

该公式表示生成整个句子w1, w2, … ,wn的概率等于每个单词的生成概率之积（联合概率），其中每个单词的概率都是基于其前面所有单词来计算的。

💡语言的本质并不是静态的符号系统，而是思维交流的用具。

一方面语言可以用来表达外部世界；

另一方面本身俱备其用法上的含义。

💡对话二：怎样理解GPT通过Token Prediction来实现语言的理解与生成？

SPENCER：关于GPT-3给我留下最深刻印象的一件事是，虽然你训练它只做一件事，但它能够做很多事情。对于那些对 GPT-3 不太了解的听众，也许你可以先告诉听众一点它是什么。然后我们可以讨论它如何能够跨任务泛化。

ILYA：所以要解释 GPT-3 是什么，了解什么是神经网络，以及它们如何成为 GPT-3 的基础，将会很有帮助。因此，思考神经网络的方式是，它是一种可以自我编程的并行计算机。这就是神经网络。

它有很多并行计算机，这些计算机具有大量的并行计算和有限数量的顺序计算。这台电脑的特别之处在于它有一个学习算法。它有一种自动编程自己的方法。因此，我之所以将神经网络描述为这些受限制的计算机，是因为如果神经网络像这台计算机一样，可以自己编程，它实际上可以做很多事情，那么它就更容易理解了。

接下来出现的问题是，让我们假设我们确实拥有这些神经网络，它们越大，它们实现的计算机就越强大。我们需要问的问题是，我们应该要求神经网络学习什么，因为好吧，你有这个能力，你应该应用哪种方式？就像你说的，神经网络可以被训练，即由神经网络实现的计算机可以通过程序进行编程。

你给它一些输入，看看它的行为，然后你说，“呃，这不是我想要的行为，请做另一件事。神经网络会说，“好吧，我明白了，我要修改自己，以后不要犯这个错误。”因此，GPT-3 的真正见解是，有一个任务，如果你让神经网络真正非常擅长，它会给你，作为副产品，各种其他功能和任务，这对我们来说非常有趣和有意义。

我正在谈论的任务是在猜测文本语料库中的下一个单词方面做得很好。所以它的设置方式是你有一个神经网络，你给它一些文本，然后你让它猜测下一个单词。猜测下一个单词的工作方式是，你输出关于下一个单词应该是什么的概率。所以你说，“嗯，也许下一个词是这个，或者那个。

而且你想下注，一般来说，你是正确的信心，你的预测通常是正确的。有时你可以把你的预测缩小很多，有时不是那么多。因此，让我们回顾一下我们所处的位置。我们有这些神经网络，这些并行计算机，如果你把它们变大，它们可以学习各种各样的东西。

然后，我们可以让他们完成预测下一个单词的任务，在大型文本语料库中很好地猜测下一个单词。现在，我想谈的第三件事是这种能力的含义。假设你有一个系统，给它一些文本，它猜出下一个单词很好，然后你只需要猜测，然后你把它反馈给神经网络，然后你再做一次。

这将生成文本。现在你有一个系统，可以用有意义的文本响应任何其他有意义的文本。这种能力本身隐藏着许多我们想要的能力。就像你说的，“嘿，人们在互联网上表达的文本中做什么？

好吧，有时他们可能会总结文本，有时他们可能会用文本交谈，或者 GPT-3 所做的所有事情，在某种意义上，就像人们在网上表达的文本中做的事情的反映和插值。

SPENCER：对。因此，即使你从未对系统进行编程来写诗，翻译语言或做简单的数学问题，它也会学习如何做所有这些事情。因为如果你要预测接下来会发生什么，如果你从一首诗的开头开始，最有可能的事情将是一首诗的结尾，对吧？

如果你从一道数学题开始，接下来最有可能发生的事情就是答案，依此类推。因此，为了预测，它基本上必须学习所有这些不同的子任务。

ILYA：没错。我想补充另一件事，那就是，在我们正在谈论的任务级别，直接对系统进行编程以执行这些任务基本上是不可能的。将这样的功能引入计算机的唯一方法是在计算机内部构建一个神经网络，然后在这样的任务上训练它，这就像猜测下一个单词一样。

SPENCER：所以在GPT-3中，我们试图让它预测下一个单词。预测和理解之间有什么联系？

ILYA：有一个直观的论点，如果你有一些系统，可以很好地猜测文本（或者其他模式）中接下来会发生什么，那么为了做到这一点，它必须有一个真正的理解程度。这里有一个例子，我认为在这里是有说服力的。

因此，假设您已经阅读了一本推理小说，并且您处于小说的最后一页。在最后一页的某个地方，有一句话，侦探即将宣布犯罪者的身份。然后有一个词，这是谁的名字。此时，系统将猜测下一个单词。

如果系统真的非常好，它会对这个名字有一个很好的猜测，它可能会将其缩小到三个选项或两个选项。如果神经网络注意力非常集中（嗯，当然注意力也是人类的工作方式关键），如果你在推理小说中非常关注，并且你思考了很多，你可以猜到最后是谁做的。

所以这表明，如果神经网络可以很好地预测下一个单词，包括这个词，那么就表明它理解了小说中非常重要的东西。就像，如果不真正深入小说的含义，你就无法猜测侦探在书的结尾会说什么。这是预测和理解之间的联系，或者至少这是这两者之间的直观联系。

SPENCER：对。因此，你越了解整部推理小说，你就越有能力预测下一个词。所以从本质上讲，理解和预测是同一枚硬币的两面。

ILYA：没错，有一个重要的警告，或者更确切地说，这里有一个注释。理解是一个模糊的概念，比如，如果系统理解一个概念或不理解一个概念，这意味着什么？回答这个问题有点困难。但是，衡量神经网络是否正确猜测某些大型文本语料库中的下一个单词非常容易。

因此，虽然你有这个你关心的模糊概念，但你不一定有直接的处理;你可以非常直接地掌握神经网络预测文本的能力的另一个概念，你可以做一些事情来改进这个指标。

SPENCER：所以它以一种我们可以实际优化的方式运用理解这件事。

ILYA: （你的理解）非常精确.

正如Ilya所谈到，GPT系列的突破事关三点：

• 算力与数据：GPU在摩尔定律下的算力迭代，以及优质文本数据的积累

• 算法与模型：适用于NLP语言序列计算的Transformer并行架构与优化算法

• AGI信仰与直觉：坚信ANN深度学习智能事关更大神经网络参数量与更大的数据集

其中AGI信仰与直觉才是GPT奇迹出现的关键，尤为不易。

神经网络是一种模拟人脑神经元网络的机器学习模型，它最早于1943年被提出，它使用数学模型对神经元进行建模，神经元是人脑的基本单元，它接收输入信号，经过处理后产生输出信号，神经元之间通过突触连接，突触可以增强或抑制神经元之间的连接强度。

单个的神经元很简单，但通过多个神经元的组合，就可以构成复杂的神经网络，这样的神经网络就可以解决复杂的问题。

正如人脑需要学习才能具备智能体的能力一样，人工神经网络的学习也称之为训练，其过程非常复杂，需要大量的数据和计算资源，所以在神经网络被提出后，很长一段时间没有得到应用。而且为了取得好的效果，神经网络的层数就需要很多，深度学习就是指神经网络的层数很多，所以深度学习的训练过程更加复杂。

深度学习就是加深神经网络的层数，当然在特定领域的处理中，除了加深层数还需要处理特定的问题，比如在自然语言处理领域，就需要处理文本的序列问题，这个时候就需要采用RNN、LSTM、GRU、seq2seq、Transformer等模型。

将文本转换为词向量后，另一个问题是目前神经网络都是前馈神经网络，它们都是将输入数据从输入层传递到输出层，而没有反馈，所以无法处理序列数据，比如文本序列。于是就有了循环神经网络（RNN）。

解决文本序列计算问题的RNN

RNN模型指的是循环神经网络（Recurrent Neural Network），它最早于1982年被提出。该模型主要用于自然语言处理任务中，如文本分类、文本生成等。循环神经网络通过使用循环结构，将当前时刻的输出作为下一时刻的输入，从而实现对序列数据的处理。

不过原始的RNN模型存在记忆消失的问题，在长序列的情况下，模型无法学习到序列中较早的信息（可以简单理解为RNN在输入序列的循环过程中，在每次的输入转换中有信息的损失），所以后来又有了LSTM和GRU模型，这些模型通过使用门控结构（输入门、遗忘门与输出门），解决了RNN的记忆问题。

💡神经网络模型的训练

神经网络模型经常使用反向传播和梯度下降算法进行训练，以便更新模型参数来获得更接近真实值的输出结果。然而，由于存在梯度消失和梯度爆炸的问题，导致模型无法正确训练和收敛。在RNN模型中，这些问题尤为突出。

梯度消失是指在反向传播过程中，梯度值逐渐减小，最终使得模型无法训练。与之相对，梯度爆炸是指反向传播中梯度值变得极大，同样也会导致模型无法训练。了解这些问题后，我们需要寻找一些方法来解决它们。例如，可以通过采用梯度裁剪技术来解决梯度爆炸的问题；使用LSTM等网络结构可以有效缓解梯度消失的问题。此外，ReLU激活函数也被广泛使用，因为它能够防止梯度消失并加快训练速度。

有了RNN模型，就可以处理序列数据了，但是RNN模型只能处理单个序列，而不能处理两个序列之间的关系，于是就有了seq2seq模型。

多序列计算的seq2seq模型

seq2seq模型指的是序列到序列模型（Sequence-to-Sequence Model），它最早于2014年被提出。该模型主要用于自然语言处理任务中，如机器翻译、对话系统等。

seq2seq模型通过使用编码器-解码器架构，将两个序列之间的关系转化为两个向量之间的关系，从而实现对两个序列之间的关系进行建模。在不需要手工特征工程的情况下，自动地学习源语言到目标语言之间的映射关系。其中，编码器将源语言序列映射到一个固定长度的向量表示，解码器利用这个向量表示生成目标语言序列。这种端到端的训练方式具有很强的可扩展性和泛化能力，并且随着数据量的增加，模型表现也会逐渐提升。

因此，seq2seq模型既解决了传统机器翻译方法中需要注重规则和特征工程的缺陷，同时也支持了更加复杂和灵活的自然语言处理任务。

seq2seq模型的缺点主要是由于采用RNN的架构缺点导致的，因此我们需要一种新的模型来解决这些问题，这就是Transformer模型。

通过自注意力机制提升序列处理长度与天然并行处理能力的Transformer模型

Transformer模型则是完全基于注意力机制来实现的，因此它不仅能够并行计算，而且能够更好地捕捉输入序列的长距离依赖关系，从而提升模型的性能。

自注意力机制的计算可以并行计算，因为每个单词的表示向量是独立计算的，它们的计算不需要等待其它单词的计算完成，因此可以同时进行。此外，注意力权重的计算也可以并行化，因为每个单词与其它单词的相似度可以同时计算，因此Transformer的自注意力机制可以更快地处理大规模序列数据。

💡Transformer的注意力机制：

假设我们有一组输入序列，包含5个单词：“I”, “like”, “to”, “eat”, “pizza”。

1. 我们将每个单词转化为向量表示。可以使用词向量来表示每个单词。

2. 将每个单词向量应用于三个全连接层，以获得表示向量。每个全连接层都采用不同的权重矩阵，用于捕捉不同方面的单词特征。

3. 为了计算向量之间的相似性，我们将每个表示向量与相邻单词的表示向量计算点积。对于句子中的每个单词，它将与前后单词的表示向量进行点积。

4. 我们将每组点积值传递到Softmax函数中，以得出每个单词与相邻单词的注意力权重。这个步骤计算了每个单词与相邻单词的重要性，并为序列中的每个单词分配了注意力权重。

5. 将每个单词向量与其对应的注意力权重相乘，然后将它们相加。这将形成一个自注意力池化向量，该向量是所有输入单词的加权和。这个自注意力池化向量可以更好地捕捉单词之间的语义关系，同时维护整个输入序列的完整性。

通过这种方式，自注意力机制允许模型更加全面地考虑输入序列中不同单词之间的关系，并获取单词之间的上下文信息，从而为序列到序列转换任务提供更好的表现力和准确性。

Transformer模型将语言模型的训练带入了大语言模型时代，因为它的训练计算复杂度不会随着输入序列的长度而指数增加，因此可以训练更大的模型，从而提升模型的性能。

同时随着GPU计算能力的提升，Transformer模型的训练时间也大大缩短，因此Transformer模型的训练成本也大大降低，于是一个大语言模型的时代拉开了序幕。

💡对话三：GPT诞生的关键三点

SPENCER：比方说五年前，建造像 GPT-3 这样的东西的障碍是什么，你是如何克服这个障碍的？

ILYA：我认为有三件事需要结合在一起看。就使用的计算量而言，GPT-3 并不是一个小的神经网络。一个非常直接的障碍是得有现成的算力，这意味着既要拥有非常快的GPU，可以访问大型集群，又要拥有利用大型集群来训练单个大型神经网络的基础设施和技术。这是第一个障碍。

实际成功使用这台计算机的第二个障碍是你需要有一个神经网络架构和优化工具来成功训练它。换句话说，你需要有一个神经网络架构，这样如果你要把这个计算应用到它，你实际上会得到很好的结果。我想，五年前，过去的情况也不是这样。事情会更糟。那时甚至Transformer还没有出现。

因此，我们将无法在任何地方有效地利用我们拥有的算力。第三个障碍是意识到模型的规模的重要性。关于深度学习，有这种神奇的现象，理论上，如果你训练更大的神经网络和更大的数据集，它们应该会得到更惊人的结果。但这是不容易相信的事情。仅仅是拥有这样的信仰，却是导向 GPT-3 这样的进步的主要部分。

SPENCER：那么让我们回到这三点。我认为他们每个人都有非常有趣的东西。所以第一点，你提到了计算和基础设施。您能否让人们了解训练像 GPT-3 这样的系统需要多少计算或基础设施？

ILYA：在计算方面，您需要使用成千上万个 GPU 训练很长一段时间，至少几周，才能获得所需的结果。所以这只是一个非常大的算力需求，而且要得到它并不容易。

SPENCER：根据摩尔定律，我猜五年前这基本上是不可能的，要进行这么多的计算，或者它会非常昂贵，以至于不合理。

ILYA：确实会更昂贵。肯定是这样的。但除此之外，我认为Transformer框架是在 2017 年底问世的。只是为了解释什么是Transformer，并谈论什么是深度神经网络，以及那里有什么交易，所以神经网络是一个回路，在我看来，这个回路最好被认为是一台并行计算机。

因为神经网络有一个学习算法，所以神经网络实现的并行计算机可以根据数据对自己进行编程。现在，神经网络的各种属性决定了它实现的计算的形状。因此，如果你有一个浅层神经网络，这意味着你有一个并行计算机，它只能并行执行一个步骤。这似乎不是很强大，这实际上是完全显而易见的。

如果你有一台并行计算机，但它只有一个步骤的并行计算，它根本做不了多少事情。这基本上就是AI中的浅层模型的样子。你可以证明数学定理“嘿，它很浅，所以我可以说它很容易在数学上处理。所以我可以证明我的学习算法会在我的浅函数类中找到最好的函数。但是，如果你从我的函数实现的计算机的角度来看待它，它就像一台只执行一个步骤或非常非常少步骤的并行计算机。

一旦您进入深度网络，提供给并行计算机的步骤数量就会显着增加。正因为如此，它可以做更多的事情。然后，Transformer将其提升到一个新的水平。但是Transformer的主要用途来自看似足够高维度的技术性，就像我们正在进行的对话一样。技术性是这样的，如果你在描述神经网络时考虑它们，其中你有这些矩阵乘法，然后是元素非线性，将它们应用于向量是很自然的，但是将它们应用于向量序列会变得笨拙。

最有趣的数据，或者大量非常有趣的数据，都是以序列的形式出现的。语言就是一个例子。所以你说，“好吧，好吧，我希望我的神经网络能够处理长序列的向量。怎么做？“然后你开始说，”好吧，好吧，也许我们可以以一种方式应用神经网络，或者我们可以以另一种方式应用神经网络。将神经网络应用于序列的主要方式是这种称为递归神经网络（RNN）的方式。（我不打算向你解释它是什么，因为它太离题了。

但这是一个非常非常漂亮和优雅的神经网络架构设计，它非常吸引人，但它有一个很难训练好的问题。因此，它将无法像我们希望的那样处理序列。那时，我们不知道有更好的东西是可能的。然后，Transformer的主要创新是它允许您以非常高效计算的方式处理长向量序列。

最关键的是，以一种易于学习的方式学习算法。这一点我还没有详细说明，但我认为我现在这样做很重要。我提到神经网络就像并行计算机，它有一种从数据自动编程的方法。但他们对学习算法很挑剔，它并非在所有条件下都有效。而且这并不容易分辨，尤其是先验的，尤其是当时不容易说出它什么时候会起作用，什么时候不会，以及修复它的方法是什么。

所以你可以看到，人工智能中所做的很多突破都是为了找出（磨练）学习算法的条件，它对神经网络进行编程——被称为反向传播算法（BackPropagation algorithm）——它工作的条件可靠和良好。

Transformer是一种具有以下三个特性的架构：它可以非常自然地处理长序列的矢量；使用反向传播算法学习相对简单。此外，它还有一个很大的优势——它在 GPU 上运行得非常快。GPU是我们实现神经网络的主要方式。因此，在 GPU 上快速运行的事实是一个巨大的优势。所以这三件事使Transformer真正非常成功。

SPENCER：所以从某种意义上说，你可以认为Transformer给了我们更好地利用已有的计算能力。是吗？

ILYA：一方面，对的。但是在另一方面，它给了我们更多的东西，如果你关心处理序列，例如——我们谈到了 GPT-3——GPT-3 处理一个 2000 个单词的序列来预测下一个单词。过去，这意味着很多词。相比之下，如果你看一下递归神经网络（RNN），任何人成功处理的最多就是一百个单词。

因此，我们不仅更有效地利用计算机，而且它们的优化问题比以前处理序列的最佳方法的问题要容易得多。因此，训练一个递归神经网络来处理一个2000个单词的序列并不是一件有意义的事情。它不会从这些额外的词中受益。你明白我的意思吗？

SPENCER：对。因此，使用 GPT-3，您可以给它一个长达 2000 字的完整短文，然后说：“好吧，短文中的下一个词是什么？而这些较旧的模型，您只能使用如此小的输入，从而限制了系统的功能。

ILYA：没错。现在，公平地说，机器学习的优化已经取得了很多进展，我们对神经网络架构工作原理的理解远远超过过去。因此，很有可能，通过一点点工作，就有可能重回递归神经网络，并使它们与Transformer竞争。但这似乎没有必要，因为Transform还有很多事情要做。这些 GPU 运行良好。所以你已经有了一件非常好的事情。而且我认为我们还没有达到我们范式的上限。

SPENCER：现在你提到这些对于处理向量序列真的很好。我只想为那些可能对这里的含义感到困惑的人简要解释一下。因此，据我了解，一个单词（或实际上是一个token，通常是单词的一部分）将被表示为一个向量。

因此，如果你正在处理2000个单词，一种思考方式是你实际上是在处理一系列向量。所以本质上，向量是一个数字列表，其中英语中的每个token代表一个数字列表，然后它们的序列是所有不同单词的所有向量的集合。这是对的吗？

ILYA：是的，没错。序列非常自然。它们无处不在。单词序列...语言是连续的，言语是连续的。

SPENCER：好的。因此，这就引出了您提出的第三点，即为什么五年前很难构建像 GPT-3 这样的东西，这就是对大型网络的这种信念。所以我真的很想听听你对此的看法。为什么人们不相信大型网络会给他们带来如此大的优势？为什么你和你在OpenAI的同事不这么认为呢？

ILYA：所以第二个问题更难回答。但第一个问题，我认为答案与心理学有关。我认为有非常强大的心理力量在起作用，如果你在一个特定的系统上工作很多，你可以如此敏锐地感受到它的局限性，你的直觉只是尖叫着，有所有这些事情（无论你在做什么）都做不到。

我认为这就是为什么人工智能研究人员一直低估神经网络的原因。特别是事后看来，很明显，神经网络当然可以做很多事情。但我认为即使是现在，也有很多人会告诉你，例如，由于神经网络固有的局限性，你需要将神经网络与符号方法结合起来。所以我认为这种信念在某些圈子里盛行，即使在今天也是如此。

GPT具备智能的关键是训练，训练涉及到训练数据与训练方法，这如同人类基础教育中的教科书与教学方法。在这个层面，Ilya在访谈中提出了两个让我非常印象深刻的概念或者经验总结。

训练数据集的构建非常重要，但容易被长期忽视：

训练数据集需要足够的数量对参数形成约束。数据集的大小和可训练参数量级相关，神经网络越大，神经元越多，神经元之间的连接就越多，约束所有这些连接所需的数据越多。但同时训练过程中围绕随机梯度下降进行各种论证，找到自然和自动具有最小形式的优化解决方案也很重要，也可能在数据量比参数量小得多的情况下取得良好的泛化结果。

And by the way, the way you should think about the parameters of a neural network is as of the strength of the connections between its neurons; the bigger the neural network, the more neurons, the more connections there are between the neurons. And the more data you need to constrain all these connections.

So you have neural networks with far more parameters than labels. How can those generalize? There, it turns out that this happens due to properties of the optimization algorithm of stochastic gradient descent, where various arguments can be made around the stochastic gradient descent finding a solution that has the smallest form naturally and automatically. …So to sum it up, even if those details may not have been the easiest to grasp immediately, it is the property of the training procedure that makes it so that, even when you have a huge neural network with a huge number of parameters that vastly exceeds the amount of data that you have, you still achieve good generalization.

GPT所表现出对泛化与记忆，可以类比贝叶斯推理来理解：

贝叶斯推理的简单表述是同时兼容记忆和泛化，因为这种函数的后验分布将其中的每个函数会完美地记忆训练集的属性。然而，当你对这个后验进行平均时，你会得到很好的预测。贝叶斯推理给你正确的泛化是相对广为人知，神经网络做了一些试图近似它的事情，但以一种有点不同的方式。

人类的主观经验是，一般来说，记忆是我们真的不喜欢做的事情。对于ANN来说的记忆与泛化，Ilya的陈述是：泛化的黄金标准形式主义，或者至少是黄金标准形式主义是——贝叶斯推理如此完全一致：你记住了你完全泛化的一切。

或者按照我的理解是：那些被你完全泛化的，也就意味着你的记忆。

What I'm trying to say here is that simple formulations of Bayesian inference are compatible with memorization and generalization simultaneously, because this posterior distribution over functions will have the property that every function in it memorizes the training set perfectly. Yet when you average over this posterior, you will get good predictions.

My statement is that the gold standard formalism of generalization -– or at least a gold standard formalism -– Bayesian inference, is very consistent with: you memorize everything, yet you fully generalize.

💡对话四：机器学习的内容也就是训练数据集很关键，训练优化方法也是

SPENCER：我听你在其他地方提到，机器学习算法的测量方式也可能存在问题，本质上，学者们会使用固定数据集，他们说，“这是基准，看看你能在这方面表现得如何。你想稍微解开一下吗？

ILYA：是的，没错。这是一个非常正确的观点。所以我提到了机器学习的心理学，但我忘了还有机器学习的社会学。事实上，研究的方式，特别是在5、10、15年前，甚至20年前，研究人员主要对开发伟大的机器学习算法感兴趣，但他们对构建数据集非常不感兴趣。原因是构建数据集对智力没有刺激作用。我认为这就是它的全部内容。

因为构建数据集不会刺激智力，研究人员只会使用存在的主要数据集。他们只会说，“哦，这是一个完善的数据集。现在让我们尝试在状态上获得更好的结果。“如果你处于这种状态，那么如果你试图增加神经网络的大小，你不会得到更好的结果，或者更好的结果。

因为为了使更大的神经网络获得更好的结果，它还需要更多的数据。如果你仔细想想，这是直观的，因为更大的神经网络有更多的可训练参数，它有更多的突触。顺便说一下，你应该考虑神经网络参数的方式是其神经元之间连接的强度; 神经网络越大，神经元越多，神经元之间的连接就越多。

约束所有这些连接所需的数据越多。同样，这些事情在事后看来是显而易见的，但公平地说，至少人工智能方面几乎所有真正重大的进步在事后看来都是相当明显的。

SPENCER：这让我想起了《苦涩的教训》，这是里奇·萨顿写的一篇短文。你读过那篇文章吗？我只读一个非常简短的摘录。因为我觉得这超级有趣。Sutton说：“从70年的人工智能研究中可以学到的最大教训是，利用计算的一般方法最终是最有效的，而且在很大程度上。为了寻求在短期内有所作为的改进，研究人员寻求利用他们对该领域的人类知识。

但从长远来看，唯一重要的是计算的杠杆作用。所以我认为这篇文章的重点是，研究人员不断试图通过利用他们的聪明，他们对人工智能试图解决的领域的知识来构建更好的人工智能。也许在一两年内，这确实会产生更好的结果。但是，有人最终通过在同一问题上抛出更多的计算和更多的数据来超越它们，但使用的方法不那么聪明。

ILYA：我读过。是的，这在神经网络研究和深度学习研究中得到了证实。研究人员希望取得进展。研究人员希望运用他们的技能来取得进展。通常，在短期内（正如你所说）很容易和令人满意地说，“嘿，如果我们以某种方式改变一点会怎样？并且性能得到改善。

这些更改中的大多数都会导致特定任务的改进，但它们不会泛化，您可能会花费大量的人力将这些改进融焙进到系统中。有一定的味道，有一定的口味改进方法，这些方法实际上经得起时间的考验，并且随着计算量的增加而效果更好。这些改进是存在的，（你提到）我们讨论了其中的一些，从递归神经网络（ANN）到Transformer的转换是一个，因为它仍然是研究人员已经产生的改进，但它可以更好地利用计算并解锁新功能。

显然，优化方面的改进，这也是我们讨论过的事情，是此类改进的另一类，还有一大堆其他改进。所以我不想夸大“惨痛的教训”的信息，唯一重要的是简单的方法。我认为正确的是，唯一重要的是真正好的简单可扩展方法。

SPENCER：那么现在我们正处于这个使用这些大规模网络来获得最新预测的时代，学术界能够跟上吗？我的意思是，训练其中一个网络可能需要花费数百万美元。所以我想知道我们是否会达到这样的地步，你必须成为像OpenAI或DeepMind这样的团队的一员才能真正走在最前沿。

ILYA：是的，我认为学术界的情况是这样的，学术界将不再能够站在训练绝对最大的模型的最前沿。我认为类似的事情正在系统研究中发生。半导体研究中也发生了类似的事情。曾经有一段时间，分布式系统最前沿的研究一直在学术界进行。现在它发生在像谷歌这样的公司，也许还有其他公司。

人们仍然对学术研究感兴趣，这些研究被这些大公司忽视的问题。关于人工智能，我可以看到学术界的情况是双向的。我认为首先，他们可以对我们使用的方法产生很多基本的理解。

我也希望学术界和你提到的一些公司之间有很多合作，比如OpenAI，DeepMind或谷歌，因为这些公司经常公开他们通过各种API训练的模型。学者和学术界人士可以研究它们的属性，并以各种方式修改它们，看看会发生什么，发现新的和有用的东西。

SPENCER：知道了。因此，您认为学者推动最先进的技术仍然可以发挥有益的作用，即使他们实际上无法训练最先进的模型？

ILYA：没错。这将是一种不同的工作。会有一些人会发现它非常有趣和有吸引力，他们会为此努力。

SPENCER：现在，当我们谈论这些大型模型时。使用 GPT-3，我们有大约 1750 亿个参数——至少在 GPT-3 的原始版本中是这样（我不知道这是否发生了变化）。我认为这是令人震惊的大量东西被学习，基本上是数字和正在学习的模型。

我想很多有统计学背景的人可能会想，“嗯，这不是会像疯了一样过度拟合吗？因此，为了获得过拟合的直觉，想象一下你只是在做一个简单的线性回归，你有一个有 10 个点的散点图，你可以拟合一条穿过这些点的线。

但你也可以拿一支铅笔，画一些疯狂的波浪线，完美地击中每一个点。但是人们有一些直觉，如果你画一些任意的波浪线，完美地击中每个点，这不会很好地泛化到新数据。然而，如果你通过这些点拟合一条平滑的线，这可能会更好地泛化。

你知道，当你有1750亿个参数时，我想很多人都有一些统计数据，他们的直觉是这怎么能学到任何东西，对吧？这不是立即过度拟合吗？

ILYA：是的，这是一个非常深刻的问题。而这个问题确实困扰了很多研究人员。我认为现在我们有相当不错的答案。我要说的实际上有两个部分。您提出的第一个问题是 GPT-3。它有这么多参数，1750亿个参数，这是很多。

然而，它是在3000亿个词向量Token上训练的。因此，它们实际上训练的数据多于参数。所以你可以争辩说，即使我们处于统计人们习惯的制度中，对于像 GPT-3 这样的东西，情况也不会太糟糕，因为与参数相比，数据量已经相当大了。

然而，研究人员观察到了另一种现象，我认为这是你真正暗示的，即你训练一个神经网络，它的参数也远远多于它的训练点，直到最近，各种视觉分类任务都是如此，因为即使您向它提供整个图像，您也只能从输出上的一个小标签中学习。

所以你的神经网络的参数比标签多得多。这些怎么能够泛化呢？事实证明这是可以发生的，由于随机梯度下降优化算法的属性，其中可以围绕随机梯度下降进行各种论证，找到自然和自动具有最小形式的解决方案。

还有其他论点认为，（我会说，有一定程度的说服力）随机梯度下降特别具有从参数中删除信息的效果，它最小化了参数的某种信息度量，这与它们的实际数值量不同。

因此，总而言之，即使这些细节可能不是最容易立即掌握的，但训练过程的特性使它变得如此：即使你有一个庞大的神经网络，其中包含大量参数，远远超过你拥有的数据量，你仍然可以实现良好的泛化。

SPENCER：对。因此，也许帮助听众的直觉是，如果模型真的可以为任何这些参数取任何值，那么它可能会过度拟合。它将预测噪声，而不仅仅是信号。但训练过程实际上优先选择其中一些参数值而不是其他参数值。

因此，即使所有这些参数在技术上都存在，它也比看起来更受约束。一种思考方式是，它本质上有一个先验，即优先选择某些解决方案而不是其他解决方案。这样说合理吗？

ILYA：这是一个公平的说法，是的。如果你有一些对手会说，“我绝对可以非常容易地生成一个神经网络，它在训练集上表现得非常好，而在测试集上做得非常糟糕。

因此，不仅存在这样的对手，而且如果您非常努力，您甚至可以实际编写一种这样的学习算法，该算法故意具有较差的泛化属性。当然，这不是我们想要使用的东西。但是，是的，学习算法在这些神经网络的成功中做了很多繁重的工作，不仅在训练方面，而且在泛化方面它们的实际表现。

SPENCER：当我有时使用 GPT-3 时，让我感到惊讶的一件事是，在某些情况下它似乎知道确切的文本。如果你给它一本非常有名的书的开头，它也许能够真正写出那本书中实际正确的句子。但很多时候它也会一概而论，它会说事情从来没有说过。

你可以谷歌它想出的短语，它们从来没有被人类说过，至少不是在谷歌可用和可索引的网页上。所以我很好奇，（也许这很难回答），但从某种意义上说，它正在记住一些训练输入，但它也是概括性的。对此，你有什么要说的吗？

ILYA：是的，我愿意。我认为这是一个非常深刻和深刻的问题。它触及了记忆在哪里结束、泛化从哪里开始的问题？我认为它们在很大程度上是齐头并进的。贝叶斯推理有一种直觉。

您可以通过考虑贝叶斯示例来构建关于这种记忆如何与泛化完全兼容的直觉。因此，假设您在某个函数空间上有先验分布。假设我告诉你，“嘿，在这个输入上，你有一些输出。请给我函数的后验分布，所有人都满意，在这个输入上，他们有这个输出。

你可以说，“没问题，这是你的贝叶斯后验。然后，您可以使用它来做出非常好的预测。如果你的先验分布是关于一组有趣的函数，这个后验会给你很好的泛化。您可以针对多个数据点执行此操作，并且您将获得所有函数的后验分布，这些函数在训练数据上完美地达到了所需的输出，但您将很好地泛化。

我在这里想说的是，贝叶斯推理的简单表述是同时兼容记忆和泛化，因为这种函数的后验分布将其中的每个函数会完美地记忆训练集的属性。然而，当你对这个后验进行平均时，你会得到很好的预测。你明白我的意思吗？

SPENCER：对。所以你基本上可以——如果我们把神经网络看作是在内部学习很多很多、很多的函数——你可以拥有一些本质上是记忆数据的函数。通过记忆，我们的意思是，对于给定的输入，它们将产生确切的输出;你给它一本书的第一句话，它就会产生下一句话，对吧？然而，因为它将所有这些功能组合在一起，它仍然能够推广到新的环境，尽管有这么多的片段是精确的记忆器。是吗？

ILYA：这很接近，但并不完全正确。因此，理想化贝叶斯推理的例子并不是神经网络真正做的事情。神经网络做了一些试图近似它的事情，但以一种有点不同的方式，我不想细说。我之所以提出贝叶斯推理的例子，是因为贝叶斯推理给你正确的泛化是相对广为人知的。

如果你遵循贝叶斯推理的方法，它精确到点 - 它在计算上是难以解决的 - 但假设你这样做了，你会得到非常好的预测。然而，如果你说，“好吧，我有我的函数类，我所有的神经网络在一起，”（而不是子神经网络，每个函数都是不同的权重配置）我所有的神经网络，我说，“这是我的训练集。请给我满足这个训练集的所有神经网络的后验分布。

因此，我将在神经网络上有一个后验分布，每个神经网络都能完美地记住数据集。然而，当你做出贝叶斯预测时，当你对这些神经网络进行平均时，它们会非常好。所以我觉得细节可能有点难以理解，但它们并不重要。重要的是：它似乎令人困惑。神经网络怎么可能记住所有这些数据并同时进行泛化？

然而，我声称理想化的贝叶斯推理，众所周知，在某种意义上做出最好的预测 - 在某种意义上可能的最佳预测 - 具有相同的性质。如果你说，“这是我的训练集”，你会得到贝叶斯后验函数，这些函数记忆完美，但你会得到很好的泛化。所以贝叶斯推理也表现出相同的…

SPENCER：所以也许我们对记忆是一件坏事的想法感到困惑，因为在早期的人工智能系统中，它经常表明你没有经过适当的训练，但这本质上并不是一个问题。

ILYA：是的，我认为这是对的。我不会说这是因为早期的人工智能系统。我想说原因是不同的。我认为这是人类和人类大脑与我们的人工神经网络运作不同的一个领域。

我认为我们的主观经验是，一般来说，记忆是我们真的不喜欢做的事情。至少在我的个人经验中，我知道我不喜欢记住东西。我觉得这很困难和不舒服。所以也许我们可以做得更好。

也许有可能比仅仅记住所有内容做得更好。但我的说法是不同的。我的陈述是泛化的黄金标准形式主义——或者至少是黄金标准形式主义是-贝叶斯推理如此完全一致：你记住了你完全泛化的一切。

💡人脑BNN学习的奖励机制

人类生物神经网络是存在于人脑和神经系统其他部分的神经元和突触网络。他们负责处理信息并执行各种认知和运动功能 。

人类生物神经网络通过根据经验和反馈修改神经元之间连接的强度和结构来学习。这个过程被称为突触可塑性，它使神经网络能够适应不断变化的环境和任务。学习还可能涉及新神经元和突触的形成，或现有神经元和突触的消除。

神经元的激活函数是一种函数，它根据来自其他神经元的输入来确定神经元是否会激发动作电位（短暂的电信号）。激活函数会受到多种因素的影响，例如神经递质的类型、输入的数量和频率、抑制性或兴奋性输入的存在、阈值电位等。激活函数可以是非线性的，这意味着 输入会导致输出发生很大的变化，反之亦然。激活函数也可能因不同类型的神经元和大脑区域而异。

奖励机制是一个概念，涉及人类生物神经网络如何从其行为的积极或消极结果中学习。奖励机制涉及产生和响应多巴胺的大脑区域网络，多巴胺是一种发出奖励或惩罚信号的神经递质。奖励机制可以通过加强导致理想结果的行为或阻止导致不良结果的行为来激励人类行为。奖励机制还可以通过增强或削弱突触可塑性来调节学习以响应奖励或厌恶刺激。

Self-attention 机制可以通过让模型捕获序列中单词之间的长距离依赖关系、提取有用信息并增加并行计算来提高 Transformer 模型的性能。

💡自注意力机制

自注意力是一种允许神经元注意输入信号的不同部分的机制。这是通过计算输入信号的每个部分的权重，然后使用这些权重将信号的各个部分组合在一起来完成的。

在人脑中，自注意力被认为用于多种任务，包括：

感知：自注意力让大脑专注于物体或场景的不同部分，这对于视觉感知至关重要。语言处理：自注意力让大脑专注于句子的不同部分，这对于理解语言至关重要。记忆：自我注意允许大脑从大脑的不同部分检索记忆，这对于记住事物至关重要。自注意力是一种强大的机制，可以让大脑以复杂而有效的方式学习和处理信息。它是让大脑学习和记忆事物的关键机制之一。自注意力也被用于人工神经网络 (ANN)。

人工神经网络是一种受人脑启发的机器学习模型。自注意力已被证明在各种 ANN 中有效，包括那些用于自然语言处理、计算机视觉和语音识别的 ANN。

💡举例来解释Transformer的注意力机制：

假设我们有一组输入序列，包含5个单词：“I”, “like”, “to”, “eat”, “pizza”。

1. 我们将每个单词转化为向量表示。可以使用词向量来表示每个单词。

2. 将每个单词向量应用于三个全连接层，以获得表示向量。每个全连接层都采用不同的权重矩阵，用于捕捉不同方面的单词特征。

3. 为了计算向量之间的相似性，我们将每个表示向量与相邻单词的表示向量计算点积。对于句子中的每个单词，它将与前后单词的表示向量进行点积。

4. 我们将每组点积值传递到Softmax函数中，以得出每个单词与相邻单词的注意力权重。这个步骤计算了每个单词与相邻单词的重要性，并为序列中的每个单词分配了注意力权重。

5. 将每个单词向量与其对应的注意力权重相乘，然后将它们相加。这将形成一个自注意力池化向量，该向量是所有输入单词的加权和。这个自注意力池化向量可以更好地捕捉单词之间的语义关系，同时维护整个输入序列的完整性。

通过这种方式，自注意力机制允许模型更加全面地考虑输入序列中不同单词之间的关系，并获取单词之间的上下文信息，从而为序列到序列转换任务提供更好的表现力和准确性。

💡注意力分类

人类生物神经网络根据显着性、相关性、期望和目标等各种因素，通过选择性地增强或抑制感觉信息的处理来关注不同的刺激。Attention可以根据控制的来源、选择的领域、关注的方向分为不同的类型。

一种对注意力进行分类的方法是根据控制来源，可以是自下而上或自上而下。自下而上的注意力是由显着或新颖的外部刺激驱动的，并且会不由自主地引起注意。自上而下的注意力是由自愿引导注意力的内部目标或期望驱动的。自下而上和自上而下的注意力可以根据任务和上下文相互影响和调节。

另一种对注意力进行分类的方法是根据选择域，它可以是空间的或基于特征的。空间注意是指选择空间中的位置或区域，并可以增强对该区域内刺激的处理。基于特征的注意力是指选择刺激的特定属性或维度，如颜色、形状、运动等，并可以增强对共享该特征的刺激的处理。空间和基于特征的注意力可以根据任务和上下文独立或联合运作。

对注意力进行分类的第三种方法是根据注意力的方向，它可以是外生的也可以是内生的。外源性注意是指将注意力定向到视觉周边呈现的刺激，通常由自下而上的线索触发，例如突然发作或对比。内源性注意是指将注意力定向到呈现在视觉中心的刺激，通常由自上而下的线索（如箭头或文字）触发。根据任务和上下文的不同，外源性和内源性注意力会对神经活动和行为表现产生不同的影响 。

参与注意力处理的神经元的激活功能尚不完全清楚，但一些研究表明，不同类型的神经元可能具有不同的激活功能，这取决于它们在大脑中的作用和位置。例如，顶叶皮层中的一些神经元可能具有对刺激显着性或相关性的变化作出非线性响应的 S 形激活函数，而额叶皮层中的一些神经元可能具有线性激活函数，其对刺激期望或优先级的变化成比例响应。

注意力学习的奖励机制也未完全了解，但一些研究表明，多巴胺（一种发出奖励或惩罚信号的神经递质）可能在调节注意学习和表现中发挥作用。例如，多巴胺可以增强注意力记忆的形成和巩固，或促进注意力动作的选择和执行。多巴胺还可能与其他神经递质和激素相互作用，例如血清素和催产素，它们与注意力使用的社交和情感方面有关。

人类的自注意力是稀缺的，本质上自注意力的运用场景需要大量的能量消耗，能量的稀缺导致对注意力的竞争。

💡自注意力的稀缺

人类学习事物时注意力是稀缺的，因为注意力是一种有限的认知资源，在给定时间只能关注信息的一个子集。人类学习事物需要处理和整合来自各种来源的大量信息，例如感官输入、记忆、推理和反馈。这会造成对注意力的高需求，超过其供应量.

人类学习事物时可能导致注意力稀缺的一些因素是：

环境中可用信息的丰富性和多样性，这会造成注意力竞争，并且难以过滤掉不相关或分散注意力的信息。要学习的信息的复杂性和新颖性，可能需要更多的注意力资源来编码、存储和检索。学习者的动机和兴趣，这会影响对信息不同方面的注意力分配以及对学习过程的参与。学习者的情绪状态和压力水平，这会影响注意力的调节和对干扰的敏感性。注意力稀缺会对人类学习事物产生负面影响，例如降低信息处理的质量和数量，损害记忆形成和检索，阻碍解决问题和决策，增加错误和失误。

当人类学习事物时，一些可以帮助克服注意力稀缺的策略是：

设定明确和具体的学习目标，这有助于优先考虑和关注最相关和最重要的信息。组织和结构化要学习的信息，这有助于减轻认知负荷并增强信息的理解和保留。使用注意提示和信号，例如突出显示、总结、概述或提问，这有助于引导和持续关注关键点或概念。应用主动学习技巧，例如阐述、排练、检索或自我解释，这有助于加深信息的处理和巩固。寻求反馈和强化，这有助于监控学习的进度和结果，并相应地调整注意力策略。管理学习环境，这有助于最大程度地减少分心和干扰源并优化学习条件。调节情绪状态和压力水平，有助于保持积极平静的情绪，应对挑战和困难。

💡No Attention No Learning

人们说没有注意力就没有学习，因为注意力是学习的必要条件。注意是有选择地关注信息的某些方面并过滤掉其他方面的过程。注意使信息进入工作记忆区（work memory），在那里它可以被处理并与现有知识整合。没有注意，信息就无法到达工作记忆区，因此无法学习。

注意力对学习也很重要，因为它会影响信息处理的质量和数量。注意力可以通过增加处理的深度和持续时间来增强信息的编码、存储和检索。注意力还可以通过将信息组织和结构化为有意义的单元来提高对信息的理解和保留。通过将注意力与相关背景和目标联系起来，注意力还可以促进信息的传递和泛化。

然而，注意力是一种有限且稀缺的资源，一次只能关注少量信息。因此，需要有效地管理和调节注意力，以优化学习成果。影响注意力和学习的一些因素是：

信息的显着性和新颖性，可以不由自主地吸引或分散注意力。信息的相关性和兴趣，可以主动激发或降低注意力。信息的复杂性和难度，可能会挑战或压倒注意力和认知资源。学习者的情绪状态和压力水平，会影响注意力和认知资源的调节和分配。

同样，Transformer 神经网络中的自注意力机制允许模型同时查看整个输入序列，并根据它们的相关性和重要性为序列的不同部分分配不同的权重 。这种机制使模型能够比按顺序处理输入的递归神经网络 (RNN) 更有效和高效地学习复杂的模式和关系。自注意力还提高了模型在机器翻译、文本摘要和问答等各种自然语言处理 (NLP) 任务上的性能。

总而言之，Transformer 神经网络中的自注意力机制受到人类学习中所需注意力的启发，因为这两个过程都涉及选择性地关注相关信息，同时忽略不相关的细节。

注意力是人类感知和认知的核心属性，它使我们能够处理环境中的特定信息，同时排除其他来源 。注意力在人类学习中也起着至关重要的作用，因为它使我们能够形成记忆、避免分心和解决问题 。

“涌现能力”的深不可测也引发了全球人工智能军备竞赛的担忧，甚至出现签名暂停AI发展6个月的全球倡议。

虽然这篇论文指出所谓大语言模型的“涌现能力”（Emergent Abilities）是GPT能力值“达标”评价标准的选择问题，论文的总结语说的也很有力：“涌现”能力的出现是人为刻意标准下的筛选，而不是模型自己的真实能力。

emergent abilities may be creations of the researcher’s choices, not a fundamental property of the model family on the specific task

不过“涌现能力”的真实面目，也使得LLM模型的能力发展更顺滑，可预测性变得更高，这可以让我们更冷静而客观的看待AI的发展速度了。

A GPT model -– because it doesn't have the benefits that biological evolution has given us in terms of various instincts and knowledge of what's the important data and what's important to focus on — we compensate by giving our GPT far more data.

And yet the depths that at least GPT-3 exhibits is lesser than the depths that the human has. A human that studies one topic can achieve more depth than a GPT-3 of today. Of course, we expect future GPTs to increase their depth as well but that seems almost like a qualitative difference between these neural nets and humans.

So I think there is some evidence that maybe the current approach gets us at symbolic reasoning, (or at least there is) maybe we should expect to make some progress. More deeply, the human brain is a neural network, and it's perfectly capable of symbolic reasoning so why shouldn't an artificial neural network be fundamentally incapable of symbolic reasoning?

So I would say that, rather than things being fundamentally different, I think it's more a matter of degree in terms of how much compute would be needed for the artificial neural network to get to the point where it is, in some sense, comparable to the human brain.

智能体的具身问题（physically embodied），似乎Ilya认为，正如人脑的重要性一样，GPT智能体是否有具身不是必须的，优先要解决的似乎是要有一个通用人工智能体，利用智能去驱动其他具身化的智能体也许是硅基文明的一个常态。

I think it's also quite likely that it's possible to not be physically embodied, to compensate for the lack of embodiment with the vast amount of data that exists on the internet. So probably, my bet is that physical embodiment is not necessary though there is some chance that it will make things a lot easier.

💡对话五：GPT智能体的成长空间与人类智能差异

SPENCER：这真的很有趣。因此，我们已经讨论了这些系统的工作原理。我现在想换个话题，谈谈这些系统的未来，以及你认为它们的发展方向。一旦你开始思考这些系统的未来，就会浮现出一件事：在这些问题上投入更多的规模和更多的计算是否有限制？

你知道我们已经从这些早期的自然语言处理系统到 GPT-2 再到 GPT-3，我们看到了通过构建更大的网络和使用更多数据和计算而获得的令人难以置信的收益。有些人怀疑我们会继续这样做。“其他人说，”不，也许我们可以继续下去，无限期地走下去。所以我很想听听你对此的看法。

ILYA：是的。我认为，不可否认的是，我们将走得非常远。我认为，目前这种特定范式的进步浪潮尚未结束。我认为这绝对是真的。我确实认为可能有一些能力，目前尚不清楚这种特定方法将如何产生。

这方面的一个例子是：假设我们要进一步扩展 GPT规模，但其他方面就像没有任何修改一样。如果我们允许修改，争论就会停止。假设根本没有修改，只是继续扩展计算数据集规模。我最近读了一篇博客文章。有人提出这样的论点，通过训练更多的中间数据后的GPT是否能够击败国际象棋世界冠军？应该不会。

因为答案取决于是否有人不小心将大量超高质量的国际象棋数据上传到了互联网。如果没有人这样做，那么我们不应该期望GPT擅长国际象棋，即使GPT有了更大规模的参数量。所以我认为它们将是不可思议的，但很有可能我们仍然需要解决一些差距。

SPENCER：这是一个棘手的问题，但你如何看待像GPT-3这样的系统正在做的事情和人脑能够做的事情之间的区别？因为看起来 GPT-3 可以学习做任何涉及的事情——好吧，你有一系列文本标记，你想预测接下来会发生什么文本。有很多问题可以适应这一点，无论是写诗或散文，回答问题还是成为聊天机器人。但似乎人类所做的一些事情并不适合这种范式。

ILYA：是的，我认为你可以指出人类大脑在很多方面比GPT更有效率，我会举一些例子：一例子来自我们可以指出人们如何学习的方式，另一类例子是人们的可观察行为。我将从第二个开始，因为我觉得它很容易看到。

如果你看一下GPT的能力，它在以下意义上是非常非人类的：一个神经网络被训练来猜测互联网上非常大的文本语料库上的下一个单词，几乎对所有内容都很熟悉；它将能够很好地谈论任何话题——基本上，任何已经讨论过的话题，也可以谈论虚构的话题；它将有一个令人难以置信的词汇，很难想象有一个英语单词是 GPT 模型不知道且无法使用的。

然而，我们也知道它犯了人类永远不会犯的错误。然而，如果你把它与人类进行比较，我认为人类的词汇量要小得多。人类知道的话题集似乎要小得多，但人类似乎对这些话题的了解要深得多。我认为这就像一个真实而有意义的区别。

SPENCER：从某种意义上说，GPT-3在某些方面已经非常智能了，对吧？正如你所指出的，它的词汇本质上是超级智能的。正是这个知识库，从某种意义上说，它知道的主题比你一生中学到的要多得多。

ILYA：没错。然而，至少 GPT-3 表现出的深度小于人类的深度。研究一个主题的人可以达到比今天的 GPT-3 更深入的深度。当然，我们预计未来的GPT也会增加它们的深度，但这似乎几乎是这些神经网络和人类之间的质的差异。

与此相关的是——与之前关于人类不喜欢（真的不喜欢）记忆信息的评论有关——人类对他们消费的信息也非常挑剔，非常有选择性。你知道，如果你看看如何训练GPT，你只是给它随机的网页，它会越来越好。

而对于人类来说，你在开玩笑吗？如果你给一个人很多随机的文本来阅读，并假设他们以某种方式激励自己这样做，那么不清楚他们是否会受益匪浅。所以我认为这是另一种非常重要的方式，其中存在差异，人们对他们使用的数据如此挑剔。

事实上，他们将不遗余力地准确找到他们需要的数据以供消费。我认为这指向另一个区别。现在，这并不意味着进一步推动 GPT 不会导致进一步的进展，事实并非如此。但我认为这确实意味着仍有可能做得更好。

SPENCER：这里还有一个效率问题，对吧？似乎人类可以用比 GPT-3 更少的信息来学习？

ILYA：嗯，我认为这个问题很棘手。我认为这是有道理的，但我认为这很棘手，原因如下。因此，正确的比较是，比方说，人们在20岁时学习的速度有多快？完成训练后，GPT 的学习速度有多快？因为一个人需要活到20岁——一个人接触到很多概念和信息，他们已经学到了很多东西。

GPT 模型——因为它没有生物进化给我们带来的好处，在各种本能和知识方面什么是重要数据，什么是重要的关注——我们通过为我们的 GPT 提供更多的数据来弥补。那么问题来了：一旦 GPT 在所有这些大量数据上进行训练，它能多快学习？我们知道，在这一点上，神经网络的学习速度比早期阶段快得多。

因此，人们通常对学习速度的看法（在人工神经网络的深度学习中）与我们完成训练后今天拥有的 GPT 系统类型）之间的差距是显着的；我们人类学习的速度比看起来要快得多。但我确实认为，人类学习得更快的说法是有道理的，这可能是另一个差距。尽管有趣的是，随着我们继续通过扩大GPT规模和提高效率来取得简单直接的进展，这种差距会发生什么。

SPENCER：关于标准神经网络范式，你听到的两个常见批评是，第一，今天的系统中缺少符号思维或推理。另一个是，在世界上的某种体现以及与世界的互动对于学习人类的学习方式可能是必要的。所以我只是好奇听听你对这两个批评的看法。

ILYA：所以在第一个批评中，我觉得最近有非常有趣的工作。它在Twitter上一直很流行（我认为它来自谷歌），这表明如果你只是拿一个GPT-3和——而不是要求它回答某个问题，而是要求它使用推理来回答你的问题，或在你回答这个问题时显示你的分步推理——那么GPT-3实际上会产生逐步推理， 完美的符号推理，并在符号推理似乎有帮助的任务上获得更好的结果，比如数学。

所以我认为有一些证据表明，也许目前的方法让我们进行符号推理，（或者至少是）也许我们应该期待取得一些进展。更深入地说，人脑是一个神经网络，它完全有能力进行符号推理，那么为什么人工神经网络不能从根本上进行符号推理呢？

SPENCER：你认为我们在计算机中实现的神经网络和大脑中的神经网络之间有足够的共同点，我们可以确信那里没有某种质的差异吗？

ILYA：我想我们不能确定。我认为绝对可以想象，人类大脑正在做一些比我们的人工神经网络好得多的事情。我认为这主要意味着达到人类水平智能所需的计算量将比今天想象的要大。因为基本上，如果你考虑一个神经元，一个生物神经元......几年前有一篇神经科学论文，有些人采用了他们能找到的最复杂的生物神经元模型，并试图将其近似为人工神经网络。

他们能够很好地使用具有100，000个连接的神经网络。所以你可以说，“好吧，好吧，如果你用这个由10万个连接的人工神经元制成的小工具替换每个神经元，现在你就有了一个巨大的人工神经网络，它实际上与大脑非常相似。现在，您需要更多计算。所以我想说，与其说事情有根本的不同，我认为这更多的是一个程度问题，即人工神经网络需要多少计算才能达到在某种意义上与人脑相当的程度。

SPENCER：我想知道这是否在某种程度上是对神经网络是函数逼近器的想法的改写，它们可以近似任何函数。因此，即使人类神经元做了一些非常复杂的事情，据我们所知，也没有特别的理由不能通过神经网络将其近似到任意程度的准确性。

ILYA：在某种程度上，你说的话是有根据的。神经网络的通用近似基本上意味着，如果你有一个单层的神经网络（所以它是一个浅层网络），但该层是指数宽的（所以你的输入空间中的每一个可能的空间都有一个神经元），那么这个神经网络可以近似任何函数。

SPENCER：这太不现实了，对吧？

ILYA：没错。它与任何事情无关，但从某种意义上说，有某种普遍的近似正在进行，但是一种不同的近似，你可以说，“嘿，你有你的神经网络。假设你有一个神经网络，我是说，要构建一些智能的东西，我们需要在里面有某种计算小工具。好吧，神经网络内部的神经元可以组织起来模拟这个计算小工具。你明白我的意思吗？

然后假设我们说，“你需要在神经网络内部进行某种特殊操作。好吧，神经网络中的神经元可以说，“没问题。让我们利用培训来组织自己，以实施这种精确的操作。假设我们说你真的需要生物神经元。

好吧，你可以从字面上说，“嘿，让我们想象一个真正巨大的人工神经网络，其中神经元组之间有10万个连接，每个神经元对应于一个生物神经元。现在这整个系统可以模拟大量的生物神经元。也许与其称其为通用近似，不如将其称为通用模拟。

SPENCER：对。它基本上可以近似于所需的任何算法。因此，有时出现的另一个批评是，人工智能可能需要体现在世界中并与世界互动，以便有一天学会做人类可以做的所有事情。

ILYA：是的。当然，有一个论点，因为人类与世界互动，他们是具身化的，他们是我们唯一的智能体样本，我认为这种可能性是存在的。我认为也很有可能没有物理具身，以互联网上存在的大量数据的作为补偿。所以可能，我敢打赌，物理具身不是必需的，尽管它有可能使事情变得容易得多。

SPENCER：我知道，像DeepMind这样的一些团体一直在尝试将AI置于模拟世界中，这介于两者之间（它不是将其放在现实世界中），而是将其置于一个可以做事的世界，然后看到它们的影响并从中学习。

ILYA：是的，采取行动似乎很重要。但是在物理形态上这样做可能不那么重要。

如访谈中谈到，GPT作为一种智能体，会涉及3类风险：

• 被人用于邪恶目的或被误用产生不良后果

• 被组织或政府用于或滥用于加强专制政权统治

• 智能体本身不受控制或自主作恶

目前看GPT训练用到的数据可能本身就有偏差，当前OpenAI通过基于人工反馈的强化学习（RLHL）训练的InstructGPT可以一定程度上将智能体输出与人类价值观对齐，另外通过AI联盟或类似AI安全宪章，以及自我监督，基本可以将第一、二类风险置于可控范围。

但第三类风险因为我们目前为止对与ANN的大模型内部运行细节几乎一无所知，对于其智能的输出也不可解释。当前的大模型继续扩大参数规模以及多模态数据的训练，是否会产生一个远超人类的超级通用智能体？在第三类风险有足够的认识和评估前，也许闭源是一个更好的选择。

Hinton 认为 AI 的危害在哪里？主要有三点：

1. 自从微软必应接入 ChatGPT，挑战了谷歌核心搜索业务，带动谷歌加入一场无法停止的AI军备竞赛中；

2. 因为 AI 生成技术的突破，互联网将充斥着虚假的照片、视频和文字，普通人将 「无法再辨别真伪」。

3. 他还担心人工智能技术会颠覆就业市场，未来甚至会对人类构成威胁，因为 AI 会从大量数据中学到意想不到的行为。

💡对话六：GPT智能体安全风险

SPENCER：所以我很想知道，在我们结束谈话之前，你有多担心人工智能的潜在危险？

ILYA：我想说的是，围绕人工智能的问题以及它带来的挑战和危险因时间尺度而异。随着能力的不断增强，人工智能的力量将变得更大。一个系统的力量越大，它的影响就越大。这种影响可以在各个方向产生巨大的影响。

我想说它可能有一个积极的方向，也可能有一个史诗般的消极方向。当我们启动OpenAI时，我们已经感觉到AI一旦充分发展，确实可能会构成危险，因为它很强大。尽管这些新技术——很难预测事情将如何发展——但至少，似乎应该认真思考人工智能的不同方式——一旦它变得非常非常有能力和强大——可能会以真正不受欢迎的方式使用。

或者，就像人工智能作为一种特殊技术的情况一样，如果它构建不正确，如果它的设计没有足够小心，那么它可能会导致没有人想要的结果，不符合任何人的意图。所以，是的，我花了很多时间思考它。

SPENCER：我倾向于将人工智能的潜在危险分为三类。一个是像我们今天这样对狭隘人工智能的误用或不良应用。例如，有人使用大型语言模型生成垃圾邮件检测器可能无法检测到的无穷无尽的垃圾邮件组合。或者今天的狭隘人工智能可能有种族偏见，因为它们接受的是带有种族偏见或类似东西的数据训练。

所以这是狭隘的危险。我想到的第二类是人工智能可以增强一个群体对所有其他群体的权力的方法，比如专制政权，使用人工智能监控人口中的每个人，或者四轴飞行器飞来飞去，一直监视每个人，如果他们行为不端，甚至暗杀他们。然后我认为的第三类AI危险是来自不受控制的AI的潜在危险，例如潜在的AI超级智能。

如果有一天我们制造的人工智能真的比人类更聪明，不仅仅是狭隘的方式，而是在许多方面，甚至各个方面，这些系统本身，如果控制不当，可能会造成巨大的危险。所以我只是好奇你对这三个类别的看法。从关于狭义人工智能危险的第一类开始，你担心哪些事情？你认为我们可以做些什么来防止这种情况发生？

ILYA：你提到的所有危险都是非常可能的。我们已经面临着你今天描述的第一个危险。事实上，如果你在表现出不良偏差的数据上训练神经网络，然后你什么都不做（以某种方式在神经网络内部），那么神经网络就会表现出这些偏差。因此，这是当今人工智能领域非常关注的问题。

我认为，为了减轻对这种危险的担忧，人们可以做很多事情。因此，第一个是围绕我们在OpenAI上做的事情，在那里我们不只是将这些模型发布给公众，我们通过 API 公开它们，并仔细监控 API 的使用方式，并仔细限制允许的用例。

所以这是一个半手动的解决方案，但它是有效的，我们说，“好吧，这些用例，如果你的特定用例将暴露出大量的偏见，那么你不应该允许它，或者其他类型的负面用例。如果不同的用例是可以的，那么我们应该允许它。

当然，所有这些都是在模型的进一步训练之上的，然后学会不表现出他们非常不受欢迎的偏见。在这个领域有很多关于它的工作，对这个问题也有相当多的认识。这就是我要说的第一个问题。

SPENCER：是的，我真的很喜欢这种方法，因为它会给你反馈。因为您有此 API，所以您可以监控人们如何使用它，然后能够注意到滥用模式，然后更新系统以检测它们。所以这对我来说真的很有价值。但这确实让我担心模仿者。

因此，即使你拥有绝对尖端的人工智能并且你非常仔细地监控它，其他人也会复制你所做的工作，即使他们在开发过程中落后你一两年 - 因为你在你正在做的事情上是最好的 - 这只是意味着人们可以在一到两年过时的模型上使用这种更危险的应用程序。所以我只是想知道你是如何看待这个问题的。

ILYA：是的，我认为这个肯定是一个更棘手的问题。你所描述的问题，技术将被扩散的维度，将会有很多不同的公司来实施它。这是正确的观点。

SPENCER：是的，这很难，因为这是一个集体行动问题，对吧？

ILYA：没错。但OpenAI试图做的一件事是尝试实施一些自我监管。我们最近与Cohere和AI21（这三家大型语言模型API公司）一起，就如何使用这些模型以及如何精确部署它们以解决您所描述的风险的共同原则发表了声明。希望其他进入该领域的人将效仿我们的榜样。他们也将遵循这些原则。

SPENCER：很高兴听到你试图通过让人们聚在一起来解决这个集体行动问题，特别是那些走在最前沿的团体，并试图就你们想要共同执行的内容达成协议。当然，你不能束缚那些只是想赚钱而不关心原则的最邪恶的演员（笑），但至少你可以让主要参与者加入。

ILYA：没错。如果你让主要参与者参与进来，你也可以获得绝大多数的使用量，如果你明白我的意思。至少这是愿望，而且有一个故事会是这样。

SPENCER：我担心的一件事是，人们是否会使用这些自然语言模型来生成定制的垃圾邮件或定制的攻击。一个例子是——我们知道某些国家会操纵Twitter，并拥有发帖人仓库，试图进行政治宣传。我们也知道，在世界各地，有些人对个人进行自定义攻击，这些攻击将破坏他们的计算机，以及网络钓鱼攻击等等。

你可以想象，自然语言处理系统变得如此之好，以至于他们实际上可能能够自动化这些单词，而不是仓库里的一千个人，而是1000万个自动化机器人，它们实际上都在说不同的事情，但都支持特定方向的一些宣传，或者根据对一个人的了解进行定制的网络钓鱼攻击。所以我很好奇你是否看到过任何证据表明这些类型的攻击正在发生，或者你对试图阻止它们有什么想法。

ILYA：是的，所以我对此有两个想法。但第一个是，当我们第一次考虑通过 API 发布 GPT-3 时，这个用例是我们真正担心的。我们真的很担心人们使用 GPT-3 进行宣传，并在特定方向上提出（某种）有说服力的论点，以操纵人们或说服他们。我们认为这将是一个主要的用例。

从经验上讲，情况并非如此。我们一直在寻找它，但我们找不到它。所以这很好。这并不意味着它将来不会出现。例如，这可能意味着从事此类活动的国家拥有足够便宜的劳动力。所以也许扩大规模...也许对他们来说，成本效益还没有完全存在。也许将来会有更好的 GPT。

但我确实认为，此外，还有一个可能的动态 - 我不知道它是否会发生，但我认为它可能发生，并且有一个合理的故事正在发生，我想提到它。因此，我认为有一件事是真实的，比方说，我认为人工智能行业自我调节的尝试将在很大程度上取得成功。

因此，我们应该期望所有拥有最佳模型的公司都应该加入它。也许应该有几年后的系统将被用于这些邪恶的目的。但我希望在那个时间点，比如谷歌，能够在他们的电子邮件或其他东西中部署一个大规模的说服检测系统。对于您所描述的特定问题，它似乎也完全触手可及。

我不会说它会立即发生。但我可以想象，一旦这开始成为一个问题，一旦确实存在这种机器人攻击，就会有很多人对使用类似的神经网络来检测这种个性化操作的应用感兴趣。

SPENCER：让更负责任的团队掌握尖端系统的一个重要优势是，这可能意味着他们实际上可以检测到落后一两年的不太尖端的系统。也许 GPT-3 可以自欺欺人，但如果你明白我在说什么，也许它能够说 GPT-3 正在产生一些东西？

ILYA：是的，完全正确，特别是如果更强大的系统试图识别功能较弱的系统是否试图做某事，这绝对是一个他们应该成功的故事，或者至少他们可以成功。

SPENCER：我认为人们担心的第二大类人工智能危险是权力集中，如果你有一个非常非常好的人工智能系统，它可能会使一些群体获得对其他群体的巨大影响力，甚至可能对世界其他地区。

这方面的一些例子是，如果一个人工智能创造了迄今为止最好的金融交易系统，并且能够赚到数十亿美元，而是数万亿美元？另一个例子是，如果人工智能可以变得如此聪明，以至于它们可以进行自动黑客攻击，那么基本上可以让数百万人工智能黑客同时入侵世界各地的每个系统。

或者甚至只是做出预测，如果你的人工智能系统可以比人类更好地预测许多不同的事情，这可能会导致一个群体具有巨大的功率差异。或者我只举最后一个例子。如果你有人工智能系统可以取代人类劳动力，一家公司基本上可以拥有1亿人工智能劳动力，并取代世界各地的大量人类劳动力，但它都归一家公司所有。因此，所有这些例子本质上都是以一种可能令人恐惧的方式集中力量。所以我很想听听你对此的看法。

ILYA：是的，我认为人工智能是一种集中技术的基本观点有很多道理，仅仅是因为需要一个非常大的集群。因此，最大的人工智能系统将永远是最有能力和最强大的。我想说，你可以问两个问题。人工智能系统的力量是否全面增加，人工智能系统所掌握的力量。

我认为答案肯定是肯定的，这种力量将会增加，因为系统将变得更有能力，随着时间的推移将继续变得越来越强大。你可以提出一个相当好（相当强）的情况，你提到的各种功能将不断增加。你看到这一点的原因是因为我们今天有某种程度的不连续性。例如，我们讨论了 GPT-3，它可以做所有这些事情，只是不是很好。而且你不会想使用它。它有点让你尝到味道。

你可以说，“嗯，有一天它可以做所有这些事情。但是现在，我们不想使用它。就像自动驾驶汽车一样，看看如果它能工作会有多棒，但它真的根本不起作用——我的意思是，它有点工作——但现在也不起作用。

所以我认为我们将看到这种逐渐增加，随着能力的提高，人们会找到新的方法来使用它们，以便以富有成效的方式或有害的方式发展经济，就像你提到的黑客或其他一些方式 - 操纵 - 我认为随着能力的增加，人们会找到利用这些功能来推进他们的目标的新方法。

所以我认为这是某种程度的连续性的论据。但是，是的，我认为肯定有一个真正的担忧，即人工智能可能导致比预期更多的权力集中。我认为社会可能需要（也许提前）讨论如何处理这个问题。

SPENCER：我的理解是，OpenAI对投资者的回报是有上限的？我认为这是 100 倍的回报，然后，这个想法是将任何进一步的利润回馈给人类？是吗？

ILYA：没错。那里的基本思想是，如果你有真正重要的人工智能创造令人难以置信的财富（实际上是令人难以置信的财富）——如果你稍微跑到未来，你允许自己想象人工智能的科幻思想被实现，那么世界看起来会非常不同。

而且似乎希望（对我们来说似乎是可取的）至少可以选择不被迫以绝对最大的速度最大化收入。或者至少少一个这样做的强大动力。未来很难预测。我不知道会发生什么。也许一切都会好起来的。也许它会像，我们有多个相互竞争的人工智能公司，服务的价格下降到零，它们是有利可图的，非常小，也许这很好。我们不知道会发生什么。

因此，如果我们能避免它，至少我们不要被迫以绝对的力量走这条路。我们不要这样做，以至于我们绝对被迫以尽可能高的速度最大化收入。让我们有能力不这样做，如果这似乎是最好的行动方案。

SPENCER：是的，当你谈论这些技术的潜力时，最大化利润似乎不是理想的（笑）。如果我们只是在谈论增量收益，好吧，赚取利润，很好。但是，如果我们谈论的是真正的变革性事物，潜在的数亿或数十亿个工作岗位正在被人工智能取代，那么对社会的影响可能如此之大，以至于我们需要格外谨慎。

ILYA：是的，差不多。我们正在进入非常未知的领域，把握方向将很棘手。因此，在你的行动中拥有更多自由度并说：“嘿，如果我们能够战略性地减缓我们的增长，因为它会带来更好的结果，我们应该能够这样做。

SPENCER：我们只剩下几分钟了。我想问你的最后一件事是围绕第三个主题的一些担忧，即......有一天，我们可能会建立一个真正比人类更聪明的人工智能，或者至少如此聪明，以至于我们可以真正将其视为一种通用智能，而不仅仅是一种狭隘的智能。我的第一个问题是你对有效利他主义社区的反应，因为这是有效利他主义社区经常谈论的事情，这种人工智能的潜在危险。我只是想知道你对他们的批评有何看法。

ILYA：我不得不说，这是一个社区对这个问题进行了非常有远见的思考的例子，远远领先于它的时代。肯定有的可能。那么，让我们看看情况。声明是什么？正如你所说，如果你有一个真正超级智能的人工智能，它会带来什么危险？不仅仅是人们滥用它，这已经是一个棘手的问题，但技术本身的风险。

我要说的是，我认为这绝对是社区为提高更主流人工智能研究人员对这个问题的认识所做的积极和富有成效的事情。我认为这些问题有可能是非常真实和非常重要的。事情有可能成功。

这种可能性之所以存在，是因为 ML 中会有意想不到的发现。我们的理解将发生根本性的变化，就像以前发生的那样。但也有可能，事实上，当这些人工智能系统超级智能时，它们将非常非常棘手地处理。

因为如果你认真对待超级智能的想法，那就是一件地狱般的事情。这是一个非常非常强大的物体。这是我们在OpenAI思考很多的问题。如何处理这个问题，我们应该如何进行研究和战略影响，仍在进行中。但是，是的，如果不考虑这些问题，就不可能认真思考人工智能以及它的发展方向。

SPENCER：是的，我认为我听到EA社区中的一些人提出的一个批评是，如果这些系统有这样的潜在危险，那么我们根本就不能负责任地尝试构建它们，在我们弄清楚如何安全地构建它们之前，我们不应该构建它们。或者，至少，它应该是一个协作的努力，许多小组一起工作并格外谨慎。并且真正确保避免任何形式的比赛动态，人们正在比赛并急于击败对方来构建它。所以我很想听听你对此的反应。

ILYA：我会评论这个问题，而不是用两件事来回答它。首先，人工智能确实是一个非常棘手的情况。但我可以向大家提一下我们在OpenAI内部自己的思维所经历的演变，我希望许多实验室也将经历类似的思维演变。

当我们开始开放时，我一直认为开源将是一条非常好的前进道路，因为你有这些大公司，他们将能够集中所有进展，我们会开源它。这将是处理人工智能自然进步将导致的权力集中的一种方式。

但后来我们意识到，实际上这不是要走的路。一旦我们真正内化了人工智能系统将拥有的力量，很明显，仅仅开放技术不再是要走的路。相反，要走的路要小心得多，这是我们通过API缓慢发布系统的方法，这是缓慢的，深思熟虑的，小心的。

随着我们继续取得进展，情况将继续如此。我预计，随着不同的实验室将完全内化人工智能的能力，那么将会有很多。然后，这些担忧将传播到前沿的所有实验室。因此，我认为有一个合理的理由可以证明会出现护理。但另一件事是，最终，不可能不构建AI。我们要做的是构建AI，并以最谨慎的方式进行。

SPENCER：我认为我个人最大的担忧之一是，随着我们越来越近，最终会有一场比赛。在我看来，任何可以防止这种情况的事情都是很好的，因为这意味着，如果你不参加比赛，那么你可以慢慢来，你可以真正考虑风险，你真的可以小心。你是否乐观地认为，随着人工智能越来越有能力，顶级团队真的会一起工作，而不是彼此竞争？

ILYA：我绝对觉得，对于西方团体来说，很有可能出现这种情况。

显然这次访谈发生在ChatGPT发布前夕，GPT未来的商业化路径并不明朗，公众能接受一个怎样的GPT智能体服务也缺少足够的反馈。而GPT-3.5，甚至GPT-4的预训练体本身非常强大，也有着大语言模型预训练体所特有的可靠性和可用性问题，这一块主要是另一位联合创始人-John Schulman的工作重心，所以作为首席科学家的Ilya在访谈中谈得并不是太多。

在本文快收尾的时间，恰逢OpenAI放出了关于“对齐”问题的研究报告。正好可以作为本文的现象解读的一个补充。

OpenAI放出了在GPT系列的“对齐”（Alignment）研究方法的进展报告，正在提高人工智能系统从人类反馈（RLHF）中学习的能力，并协助人类评估人工智能。目标是建立一个足够对齐的AI系统，可以帮助解决所有其他对齐问题。

💡BingChat的回答

LLM GPT 中的对齐问题是确保大型语言模型 (LLM)（例如生成式预训练转换器 (GPT)）的输出与使用模型的人类的目标或价值观一致的挑战。这个问题的出现是因为 LLM 是在大量文本数据上训练的，这些文本数据可能包含偏见、错误、错误信息或有害内容 。因此，LLM 可能会产生无益、不道德、不可靠甚至危险的输出。

对齐问题的一种可能解决方案是使用原则驱动的自对齐，它结合了原则驱动的推理和 LLM 的生成能力，以在最少的人工监督下实现 AI 智能体的自对齐。另一种可能的解决方案是使用专门的大语言模型LLM，这些LLM在需要复杂领域知识的特定领域进行了微调或培训，例如法律或医学。然而，这些解决方案并不完美，仍可能面临可扩展性、多样性、自洽性和可控性等问题。

在笔者解读OpenAI灵魂人物Ilya的两个系列访谈文章中，有了解到OpenAI已在利用大语言模型预训练体GPT-4来辅助AI的训练开发过程，尤其是GPT新版本的商业化能力增强部分，主要是要让GPT变得可靠和有用，抑制其胡说的部分（hallucination），也许GPT智能体的“语言幻觉”能prompt人类的灵感或思考（详见笔者另一篇文章），但要用户为商业化智能体服务付费，更多的是要求GPT能产生确定性的有价值的输出。

大语言模型训练之后，有了GPT预训练体，只能算是个半成品，而商业化的进程就是对预训练智能体打磨的过程。实际上ChatGPT预训练体基本上在2020年就具备了，如何变成某种产品形态以及商业化，前后打磨了近两年吧，其中主要是开发InstructGPT，以及基于此之上的WebGPT，同样的进程也发生在GPT-4的发布上。

从本次放出的报告来看，除了预训练体训练阶段，GPT系列的开发，主要指使用人类反馈训练 AI 系统 (RLHF: Reinforcement Learning from Human Feedback)对产品进行人类价值对齐打磨。在GPT-4预训练智能体就绪之前，主要靠人工反馈，有了GPT-4智能体，则训练AI系统以协助人工评估，第三阶段也就是OpenAI放出报告时，已经进入了训练AI系统进行对齐研究。

虽然目前没有已知的无限可扩展的对齐问题解决方案。随着人工智能的继续进步，OpenAI预计会遇到一些在当前系统中尚未观察到的新对齐问题。其中一些问题现在预料到，其中一些将是全新的。找到一个无限可扩展的解决方案可能非常困难。相反，OpenAI在这一阶段的目标是一种更务实的方法：建立和调整一个系统，该系统可以比人类更快、更好地进行对齐研究。

也就是利用AI“来对齐”AI。这背后也是Ilya一直在努力的地方：理解AI。

某种意义上讲，你理解了大语言模型预训练体智能是如何形成和运行的，那就能在本质上做到AI与人类价值观对齐。而从学术上讲，就是基于深度人工神经网络（ANN）的AI或者AGI的可解释性。

这一点可用从报告发布当天Sam Altman和OpenAI的推文可用佐证。

从推文看，对齐的第三阶段OpenAI已经有了实质的行动，也就是利用GPT-4来解释GPT-2，GPT-2大概有30万参数量级。

释放的论文中OpenAI 提出了一种自动化方法 —— 使用 GPT-4 来生成神经元行为的自然语言解释并对其进行评分，并将其应用于另一种语言模型中的神经元 —— 此处他们选择了 GPT-2 为实验样本，并公开了这些 GPT-2 神经元解释和分数的数据集。

结合笔者从Ilya系列访谈解读中形成的个人认知，GPT的智能表现在两个层面：

• 以自然语言的方式做人机交互：包括对话意图的识别、理解，按上下文提供文本生成，主要集中在文本本身。对应Schulman说的文本型交互模式。
  
  

• 多模态训练后对世界的表达与认知：包括具备了知识、能够做推理等逻辑思考，甚至创造。对应Schulman说的求知型与创造型交互模式。
  
  

尤其是第二个层面的智能表现，不能不让我想起了前几天看到的推文，传OpenAI的CEO Sam Altman在筹划融资1000亿美金，用来训练开发一个可以训练开发下一代AI智能体的AGI，意味着一个可以自主迭代的AGI。

这条消息甚至还得到Elon Musk的确认。也是在这个时间传出Elon私有化后的Twitter公司（已改名X Corp）购买了1万张英伟达最新GPU，AGI军备竞赛已经是一条不归路。

笔者研究OpenAI GPT发展历程以及Ilya个人AGI信仰已有一段时间，综合以上这些信息的提示（prompts），如果我颅内经过大量相关信息训练的神经元再次激活并兴奋后的输出（不排除有一部分幻觉hallucination），那就是：

OpenAI的愿景与坚持一直是AGI，对齐研究报告的信息可以看到这样的趋势，先是利用AI解释AI，到利用AI训练开发AI，OpenAI的AGI研发飞轮已然转动，通往AGI的大门已可洞见。

同时在文末也评价一下马克·扎克伯格的Meta最近的一系列动作（LLaMa大语言模型开源，SegmentAnythingModel发布，以及与OpenAI对齐报告同一天放出的ImageBind全模态大模型）：

meta和OpenAI的战略定位维度不一样：OpenAI就是冲着AGI去的，所关注并坚守的是AGI里的通用智能，基于AGI原生的研发路径；meta的愿景还是元宇宙，也许是元宇宙里的facebook数字孪生？所以小扎关注的还是元宇宙里的数字内容机器生成；

不过以我个人今天的认知判断，也许未来OpenAI的通用人工智能体才会是那个bits world（元宇宙）的主人。

让我们拭目以待，最后回应本季访谈解读的主题，可谓：

AGI迭代飞轮已然启动，通往AGI路径初露端倪。