去年我实际上采访了Sam Bankman-Freed（被逮捕的加密企业FTX创始人）。显然，我采访的是错误的Sam，所以很高兴今年能纠正过来，和正确的Sam进行交流。让我们从大家关心的话题开始，我们什么时候能得到我们的Worldcoin（由Sam Altman发起的一个虚拟代币项目，通过虹膜认证替代一般身份认证）呢？

Sam：我认为如果你不在美国，你可能在几周内就能得到一个；如果你在美国，可能永远都得不到。我不知道，这取决于美国政府禁止加密货币的决心有多大。

Patrick：Worldcoin大约是一年前左右启动的？

Sam：

实际上它还没有正式运行，它已经在测试阶段大约一年了。但它将在美国以外的地方很快上线。在美国，你可能永远都不能使用它，我不知道。

Patrick：

好吧。

Sam：

所以这是一件疯狂的事情。你知道，不管你对加密货币的涨跌有什么看法，但美国是全世界最糟糕的拥有加密货币公司的国家，很可能你根本就不能提供加密货币服务。这是一个（影响）巨大的声明，历史性的声明。

Patrick：

是的，就是这样。是的，很难想象最后一次出现这种情况的技术是什么。

Sam：

也许是欧洲人应该做这个，而不是我们。

Patrick：

是的。

Sam：

超音速飞行或者类似的东西。

Patrick：

对的。

然后，我猜几乎所有在场的人都是ChatGPT的用户。你最常用的ChatGPT是什么样的，就是你在不测试东西的时候，你真的想要用的时候，ChatGPT完全是你的工具。

Sam：

无疑是汇总文摘。如果没有它，我已经不知道怎么继续工作。我可能无法处理电子邮件和Slack（一种基于云端运算的即时通讯软件）。你知道，你可以把一堆电子邮件或者Slack消息发给它。希望能随着时间的推移，我们为这个场景构建一些更好的插件；但即使是手动操作也效果相当好。

Patrick：

有没有任何插件成为你的工作流程的一部分？

Sam：

我偶尔在代码解释器中浏览。但说实话，对我个人来说，它们还没有真正像是日常习惯的一部分。

大语言模型的未来：合成数据突破数据天花板 / RLHF训练人才争夺战

Patrick：

所以显然，这很有可能是我们正在经历的趋势，超线性（速度）的实现模型能力的收益；但谁知道呢，也许我们很快就会接近极限，那是可能的，但至少是一种可能性。如果我们最后走到这个尽头，你认为我们回头看，认为原因是数据不够，或者计算能力不足，最有可能的是什么呢？

Sam：

我真的不认为这会发生。

但如果真的发生了，我认为这可能是我们现有架构中的某些基本问题，以一种我们现在还没有察觉的方式限制了我们。比如说，我们可能永远无法让这些系统变得非常稳健，所以我们无法让它们能够可靠地保持在正确的轨道上，理解它们正在犯错误；因此，它们不能真正在大规模上有效地获取新知识。但我没有理由相信这就是（会发生的）情况。

Patrick：有些人认为我们现在的训练数据已经接近互联网的全部内容，你不能把这个数目再增加两个数量级，我想你可能会反驳说，是的，但是（还有）合成数据生成，你认为数据瓶颈重要吗？

Sam：

我认为，就像你刚才提到的，只要你能达到这个合成数据的临界点，模型足够聪明，能制作出好的合成数据，我认为应该没问题。

我们肯定需要新的技术，我不想假装没有这个问题。简单地把Transformer扩展起来，预先从互联网上获取训练数据，这种方法会失效，但这并不是我们的计划。

Patrick：

所以GPD 3.5和4的一大突破就是RLHF。如果你，Sam，亲自做了所有的RLHF，模型会变得明显更聪明吗？反馈的人是否重要？

Sam：

我认为我们正在进入一个阶段，在某些领域，你真的需要聪明的专家给出反馈，以使模型变得尽可能智能。