黄仁勋集齐 Transformer 论文七大作者

对话一小时，干货满满

Transformer模型的出现极大提升了计算机处理语言的能力，对机器翻译、语音识别和文本摘要等任务带来了显著的改进。

这项成果是由八位曾在Google工作的AI科学家共同完成的，他们的初衷是改进谷歌的机器翻译服务。

他们是：

Ashish Vaswani：2016年加入谷歌大脑团队。2022年4月，与Niki Parmar共同创办了Adept AI，同年12月离开该公司，并共同创立了另一家人工智能初创公司Essential AI。

Niki Parmar：在谷歌大脑工作了四年，之后与Ashish Vaswani共同创立了Adept AI和Essential AI。

Jakob Uszkoreit：2008年至2021年在谷歌工作。2021年离开谷歌，并与他人共同创立Inceptive，该公司主营业务为人工智能生命科学，致力于使用神经网络和高通量实验来设计下一代RNA分子。

Illia Polosukhin：2014年加入谷歌，是八人团队中最早离开的人之一，于2017年同他人共同创立了区块链公司NEAR Protocol。

Noam Shazeer：曾于2000年至2009年间和2012年至2021年期间就职于谷歌。2021年，Shazeer离开谷歌并与前谷歌工程师Daniel De Freitas共同创立https://t.co/GRRJrt5szU。

Llion Jones：曾工作于Delcam、YouTube。2012年加入谷歌，担任软件工程师。后来离开谷歌，创办人工智能初创企业https://t.co/rum2g4eKJI。

Lukasz Kaiser：曾任法国国家科学研究中心研究员。2013年加入谷歌。2021年，他离开谷歌，成为OpenAI的研究员。

Aidan Gomez：毕业于加拿大多伦多大学，Transformer论文发表时，他还是谷歌大脑团队的实习生。他是八人团队中第二个离开谷歌的人。2019年，他与他人共同创立了Cohere。

对话过程中，与会者关于Transformer模型的讨论集中在以下几个方面：

1、Transformer的独特价值和创新点：讨论强调了Transformer模型的核心创新——自注意力机制，这一机制使得模型能够高效处理长距离依赖问题，相比传统的RNN和CNN架构，在序列数据处理上更加高效和精确。Transformer的编码器-解码器结构和多头注意力机制在人工智能领域引发了重大变革。

2、模型的实际应用与影响：Transformer模型的应用已经远远超出了最初的预期，它不仅被应用于自然语言处理任务，如文本生成、情感分析和语言翻译，还扩展到了计算机视觉、音频处理等多个领域。这种跨领域的应用证明了Transformer架构的强大和灵活性。

3、对于未来发展的展望：与会者表达了对当前Transformer模型及其变种的局限性的认识，以及对未来发展的期待。他们讨论了需要超越Transformer的新技术，以实现更高效的计算和更强的AI能力。特别是对于规模定律的讨论，即模型性能随着规模的扩大而提升，但同时需要更多的计算资源。

4、计算资源的考量：讨论提到了随着Transformer模型规模的扩大，对计算资源的需求也随之增加。这引发了对于如何更经济高效地使用计算资源的讨论，包括未来可能需要的自适应计算技术，以便在特定问题上合理分配计算资源。

5、对AI和计算未来的哲学思考：对话中还包含了一些关于AI技术和加速计算未来方向的深层次思考，包括计算机技术的发展趋势、AI模型的经济性和规模以及如何通过技术进步解决社会问题。

全文：https://t.co/MBTyhaGwEF

点击图片查看原图