陶哲轩与莱利·陶:将人工智能的海量输出转化为可用的科学成果 本篇内容是根据 Terence Tao Riley Tao: Turning AI’s Firehose Into Usable Science 访谈内容的整理与翻译莱利·陶大家好我是莱利·陶。这位是我的父亲陶哲轩。我想就最近经常听人谈起的人工智能向您请教几个问题。我听说您一直在使用人工智能辅助数学研究。您是怎样利用人工智能帮助自己解决数学问题的陶哲轩人工智能的能力正在变得非常强大。我也发现了越来越多可以可靠地使用它的方法。我经常把现阶段的人工智能技术比作喷气发动机。喷气发动机非常强大可以让物体加速到非常高的速度。但是我们不会把喷气发动机直接绑在人身上让人背着喷气背包到处飞因为那样太危险了。不过我们确实拥有非常安全、可靠的飞机。飞机利用喷气发动机可以非常安全地飞越大西洋或者完成其他长途飞行。现在我们正处在一个转型阶段人工智能是一项极其强大、但还不够可靠的技术。它会犯很多错误因此你不能直接相信它给出的结果。不过现在已经出现了越来越多的应用场景。在这些场景中我们找到了检查和验证人工智能输出的方法。于是人工智能现在已经能够在科研中发挥很大的作用。例如我经常使用人工智能工具进行文献综述。假设我准备研究一个问题我会询问人工智能“以前是否有人研究过这个问题”人工智能会给我列出一系列参考文献。当然其中有些文献可能是它凭空编造出来的实际上并不存在。但是我可以自己进行核查。我可以查找这些论文阅读论文的原文。现在人工智能给出的参考文献中越来越大的比例确实是真实存在并且有用的。从很多方面来说这已经改变了科研工作的方式。过去我在进行研究时并不经常编写程序。我确实具备一些编程能力但对我来说编程还是有一定难度的。现在直接让人工智能编写一个小程序要容易得多。我掌握的编程知识足以让我调试它生成的程序并且确保程序准确输出我需要的结果。因此与过去相比我现在的很多研究项目中都包含了更多的模拟实验和程序代码。莱利·陶您提到了这些模拟实验和代码但您的研究全部属于数学领域。您有没有参与过一些具体项目在这些项目中模拟实验和代码确实对解决某个数学研究问题产生了很大的帮助陶哲轩有的。例如我最近与谷歌DeepMind的一个团队进行了合作使用了他们开发的一种名为AlphaFold的工具。这个工具无法解决所有数学问题但它可以构造某些对象的例子使这些对象尽可能优化某个特定的评分。也就是说你给它设定一个评分标准它会尽最大努力寻找能够获得最高分的对象。当时我正在研究纯数学中的一个问题。我想寻找某些由直线组成的构型让这些直线尽可能多地相互重叠。这种对象叫作尼科迪姆集。我希望找到尺寸尽可能小的尼科迪姆集。我们让AlphaFold处理了一些规模比较小的情况。例如系统中可能包含五十多条或者六十多条直线同时规定这些直线能够怎样排列组合。它提出了一些非常巧妙的新构造。至少对我们来说这些构造是很巧妙的。它实际上使用了一些已经出现在数学文献中的思想但我们此前并不知道这些思想。它利用这些思想在参数规模非常小的情况下构造出了一些新的例子。我们可以研究人工智能生成的这些例子也可以阅读生成这些例子的代码及其解释。在此基础上我找到了一个一般性的构造。这个构造不仅适用于小规模的参数也适用于任意大的参数规模而且此前没有人发现过。因此我刚刚针对这个成果写了一篇论文。这是一篇由人类完成的论文论文里的所有证明都是我自己写的。但是构造方法的核心思想来自这些人工智能工具。所以人工智能可以进行探索发现有趣的例子提出猜想。随后人类可以对这些结果进行验证并且证明严格的数学结论。我认为未来人工智能可能会完成这个过程中的越来越多环节最终只有最后几个阶段需要由人类完成。不过即使在今天我们也已经看到了人工智能与人类之间非常出色的合作。莱利·陶根据您的描述我理解这种合作的大致形式是人工智能可以寻找问题也可以寻找文献中其他人已经完成的工作然后把这些内容提供给人类为人类带来灵感。人类随后可以在这些基础材料之上创造出更有创造性的解决方案。陶哲轩是的这就是目前人工智能技术所处的阶段。这有些类似于搜索引擎。你可能不记得了谷歌大概是在21世纪初出现的。我还记得当时人们觉得它非常神奇。你只需要输入一个搜索词就能够找到所有相关的搜索结果找到大量自己过去并不知道的网页。那是一种极其有用的工具。不过现在我们已经把搜索引擎视为理所当然的东西了。人工智能目前正处在一个类似的发展阶段。例如当你面对一个数学问题时它可以向你列出所有可能有用的方法。它甚至可以亲自尝试应用这些方法。然后你可以观察某种标准方法或者某几种方法的组合能不能真正解决这个问题。人工智能仍然会犯错误。但是哪怕仅仅是具备这样的能力也已经给数学家的工作带来了巨大的提升。如今数学家已经经常使用这些能力。莱利·陶您之前几次提到人工智能会犯错误。有没有办法解决这个问题有没有办法确保人工智能不会犯这些错误陶哲轩从本质上来说为现代人工智能工具提供支持的大语言模型具有随机性。它们会根据此前已经出现的文本随机生成自己认为接下来最可能出现的词语。由于这种内在机制它们永远都会犯错误。人们可以想办法降低错误率但它们本质上仍然是不可靠的。简单来说它们就是一种“猜测机器”。不过至少在数学领域希望将来在其他科学领域也是如此我们还有其他方法可以验证人工智能的输出。例如我们有一种叫作“形式化证明助手”的工具。你可以使用一种特定的语言来编写数学证明。这种语言有些类似于计算机编程语言。随后你可以使用编译器来检查这个证明是否正确。这个编译器不是人工智能而是一段可信度更高的计算机代码。这就像我们可以编译一个程序并且检查它能否正常执行一样。因此我们确实拥有一种可以百分之百可靠地检查数学证明的方法。我们可以对人工智能的输出进行验证和评分。目前有大量研究正在尝试让人工智能使用这种形式化语言输出数学论证再让其他工具对这些论证进行验证。假如验证失败我们就把结果反馈给人工智能让它重新尝试并且告诉它“你的证明里出现了这个错误。”借助这些工具我们就可以安全、可靠地使用人工智能。当然目前这套方法还并不完美。特别是在处理非常复杂的数学问题时人工智能仍然难以使用形式化语言编写证明。不过至少对于某些比较简单、比较基础的数学领域例如组合数学这套方法已经能够表现得相当不错。因此至少在数学领域我们具备过滤人工智能输出的能力。我经常使用一个比喻来解释这件事。数学和科学有些类似于饮用水。假设你需要饮用水。目前传统科学研究的产出就像一个可以产生饮用水的水龙头。它产生的水可以直接饮用但是出水速度非常慢。人工智能则像是一根消防水管以极大的流量和极高的速度喷出污水。这些水不能直接饮用。但是与过去那个能够产生少量优质饮用水的水龙头相比人工智能产生信息的规模要大得多。因此我们真正需要的是一个过滤器一个能够清除所有杂质的净水器。经过过滤以后我们就可以获得大量能够“饮用”的研究成果。在数学领域我认为我们确实有机会实现这一点因为数学对“验证”这件事理解得非常深入。一个多世纪以来我们已经充分理解了逻辑规律和数学规律甚至已经教会计算机怎样检查数学成果。在其他科学领域我们拥有实验、临床试验和模拟实验。这些方法不像数学中的形式化验证那样可靠但我认为它们同样可以通过类似的方式过滤人工智能的输出迫使人工智能保持诚实。所以我希望未来可以先从数学开始研究清楚怎样在数学中安全地使用人工智能。我们从数学中学到的很多经验随后都可以推广到其他科学领域。莱利·陶简单来说我们可以利用数学确认人工智能是否正确然后再利用人工智能创造更多数学成果。陶哲轩是的。人工智能和数学确实可以形成一种非常出色的合作关系。全世界拥有数学博士学位的人并不多。数学并不是一个规模特别庞大的学科因为这个领域过去并没有太多资金而且培养一名数学家需要大量训练。但是无论是在纯数学领域还是在数学的科学应用领域需要解决的问题都远远多于能够解决这些问题的数学家。所以我们需要帮助。如今在人工智能的帮助下我们也可以让更广泛的公众参与进来。现在已经出现了一些过去不可能实现的大型社区合作项目。在这些项目中人们可以把一个复杂的数学问题分解成大量小问题然后把每一个小问题交给某位业余数学爱好者。这些参与者可能会使用人工智能、证明助手或者其他工具。过去一个人只有成为数学博士并且理解整个项目才能为项目作出贡献。现在情况已经不同了。一个人不必理解整个项目也可以为其中的一小部分作出贡献。我们可以通过众包的方式推进很多数学项目。如今数学在几乎所有领域都发挥着核心作用。例如所有现代技术包括人工智能以及气候变化、新能源、治疗新疾病等复杂问题在某个阶段都需要解决一些复杂的数学问题。因此我们需要获得所有能够获得的帮助。借助这些新技术我们可以让人工智能帮助我们也可以让公众帮助我们还可以让来自不同领域的科学家和数学家共同合作。我认为数学和科学的未来非常光明。莱利·陶这确实是一种非常乐观的展望。我听说有些人工智能公司开发的系统已经能够在国际数学奥林匹克竞赛中获得金牌。国际数学奥林匹克竞赛是一项非常知名的数学竞赛。您认为这类基准测试是衡量当前人工智能能力的好方法吗陶哲轩这是一个非常好的问题。在你距离某项基准测试的目标还比较远时基准测试是一种非常好的努力方向。可以这样理解假设某个位置代表人工智能当前的能力水平另一个位置代表你希望达到的基准还有另一个位置代表你真正希望解决的现实问题。在最初阶段当你朝着基准前进时你通常也在提升解决现实问题的能力。这是一件好事。但是发展到某个阶段以后这些基准终究是人为设计出来的。例如奥林匹克竞赛题与现实中的研究问题确实存在一些共同特征但两者并不完全相同。因此如果你过分专注于针对某项基准进行优化反而有可能逐渐偏离现实问题。最终你可能得到一个严重过拟合于该项基准的工具而这个工具不再适合解决真正的问题。事实上早在人工智能出现之前人们就已经发现了这个问题。例如教育界长期以来一直在争论我们在多大程度上应该依赖标准化考试。一定程度的标准化考试是有用的因为它可以帮助学生了解自己对某个学科的掌握程度。但是如果课程过分重视标准化考试教学完全围绕考试展开那么学生最终只会学到一些专门应付某项考试的技巧例如专门应付SAT的技巧而牺牲其他类型的学习。这样一来有些学生虽然能够在标准化考试中取得极高的分数但实际上并不是班级中最优秀的学生。目前很多人工智能基准已经逐渐趋于饱和因此我们必须超越这些基准。有些人正在尝试开发更加先进的基准让这些基准更加接近现实问题。不过我认为我们真正需要做的是开始在现实世界中部署这些工具观察现实中的人究竟怎样使用它们。基准测试能够帮助我们的程度终究是有限的。我们需要现实世界的数据。我特别希望在SAIR基金会等资助机构的支持下让我的学生和博士后团队开发真正实用的人工智能工具。这些工具由人工智能驱动已经比较成熟。它们不一定代表最前沿的技术采用的可能是一两年前的技术但可以立即投入使用。例如你可以输入一个简单的数学不等式工具就能够非常可靠地生成它的证明。或者你可以输入一个研究命题工具就可以列出所有可能与你的研究相关、可能对你有帮助的论文。其实很多相关技术基本上已经存在了。不过它们现在使用起来仍然有些笨拙也并不总是可靠。假如我们能够让这些工具变得极其容易使用并且真正针对现实中的科研问题进行设计我认为这会推动整个人工智能领域继续向前发展。因为就目前而言基准测试基本上已经完成了它能够完成的大部分任务。莱利·陶既然人工智能基准已经像您所说的那样逐渐饱和那么在人工智能发展的下一个阶段我们还应该期待什么目标陶哲轩这也是一个非常好的问题。对我来说最重要的目标就是真正的现实实用性。软件开发领域有时会把这个问题称为“最后一公里”。你可能已经开发出了一个理论上非常出色的平台测试人员和开发人员也都很喜欢它。但是当你把它交给普通公众使用时他们却根本不使用它。有时候当你距离某项技术太近时你就很难看清普通公众究竟会怎样使用它。史蒂夫·乔布斯担任苹果公司首席执行官时他最大的才能之一就是能够理解普通公众真正愿意使用什么。他创造了iPhone等技术和产品。这些产品非常符合普通用户的真实需求。一名非常擅长使用技术、喜欢高级功能的专业用户未必特别喜欢他的某些产品。但是乔布斯非常善于判断更广泛的公众真正会接受什么。所以对我来说最重要的目标是让普通科学家能够使用这些人工智能工具并且真正加快自己的研究进度。当然在此之外我们还需要开展各种不同的人工智能研究。目前人工智能的发展几乎全部由大语言模型推动。大语言模型几乎成了这个领域唯一受到重视的方向。但是大语言模型确实存在一些非常显著的缺点。正如我前面所说它们经常产生幻觉而且它们并不是建立在扎实、可靠的推理基础之上的。实际上还存在其他一些非常有前景的人工智能实现方法。不过由于这些方法取得的成功远远不及大语言模型因此目前受到了忽视。所以我们还需要研究其他人工智能架构。这可能并不是我本人会参与的研究项目但我认为人工智能的发展必须同时探索许多不同方向而不能只是不断增强大语言模型的能力。莱利·陶无论我们最终以什么方式实现人工智能也无论人工智能具体由什么技术驱动从目前来看人工智能所做的很多事情似乎都是寻找其他人已经创造出来的成果。您提到了文献搜索也提到了让人工智能解决某些具体问题再把解决方案交给人类数学家。就像您所说的那样人工智能发现其他人的成果再把它们交给人类研究者由人类进一步改进和过滤。您认为这种总体趋势会成为人工智能在数学领域的未来发展方向吗陶哲轩我认为这大概就是中期内也就是未来十年到二十年人工智能与数学合作的主要形式。在这个时间范围内人类和人工智能的能力是互补的。人工智能非常擅长综合极其庞大的数据。一个人类不可能阅读一百万篇不同的论文也不可能尝试这些论文中提出的所有方法。但是从某种意义上来说人工智能已经可以做类似的事情。另一方面人类现在只需要看到某个数学问题的五六个例子就可能突然发现“我明白这里的规律了。”人类可以从非常少的数据中进行概括。目前人工智能还无法真正做到这一点。它们可能会尝试模仿这种能力但是效率非常低。经济学中有一条著名的规律叫作李嘉图比较优势定律。这条规律认为当多个主体合作完成不同任务时你不一定要把某项任务交给最擅长这项任务的主体。原因在于可能存在一个主体它在所有任务上都比其他主体更优秀。假如所有任务都交给它那么其他主体就没有事情可做了。更好的做法是判断每个主体分别具有什么比较优势。也就是说从相对意义上来看每个主体都可能在某项任务上比其他主体更有优势。我们应该把相应的任务分配给它。我认为人工智能的比较优势正是那些需要使用大量数据的任务。例如尝试使用现有文献中出现过的所有思想。但是在那些真正需要创造力的问题中研究者需要从非常稀疏、非常少量的数据信号中进行推断。即使某种价格极其昂贵的人工智能有可能在这类任务上表现得比人类更好从比较优势的角度来看仍然应该让人类承担这类工作。与此同时可以让人工智能完成一些暴力搜索工作。例如人工智能可以搜索数千个例子从中标记出最有希望的五六个例子然后把这些例子提交给人类。这似乎是人类与人工智能之间最理想的合作方式。莱利·陶好的。感谢您抽出时间接受采访爸爸。陶哲轩好的。很高兴和你交流。