PaLM

官网介绍

Pathways Language Model (PaLM) 是由Google Research开发的5400亿参数密集型解码器-only Transformer模型，于2022年4月4日正式发布。作为实现Pathways愿景的重要里程碑，PaLM旨在通过单一模型高效地跨多个领域和任务进行泛化。该模型利用Pathways系统在多个TPU v4 Pods上进行训练，实现了跨6144个芯片的高效训练，这是迄今为止最大规模的基于TPU的训练系统配置。PaLM在数百项语言理解和生成任务上进行了评估，结果显示其在大多数任务上都取得了最先进的少样本性能，在许多情况下甚至有显著优势。随着模型规模的增加，其在各项任务上的性能不断提升，同时还解锁了新的能力。

核心功能特点

超大规模参数规模

PaLM拥有5400亿参数，是当时最大规模的语言模型之一，通过规模的提升实现了性能的飞跃和新能力的解锁。

高效分布式训练

首次大规模使用Pathways系统，实现了跨两个Cloud TPU v4 Pods的6144个芯片的高效训练，采用Pod级别的数据并行和Pod内的标准数据与模型并行相结合的策略，达到了57.8%的硬件FLOPs利用率，这是该规模下LLM的最高水平。

卓越的少样本学习能力

在少样本学习设置下表现出色，无需大规模任务特定数据收集或模型参数更新，就能在大多数语言任务上取得最先进的性能。

多任务处理能力

在数百项语言理解和生成任务上进行了评估，包括语言理解、推理和代码生成等多个领域，展示了强大的跨任务泛化能力。

创新的词汇表设计

创建了"无损"词汇表，保留所有空格(对代码尤其重要)，将词汇表外的Unicode字符拆分为字节，将数字拆分为单个标记，每个数字一个标记，有助于提升数字相关任务的性能。

应用场景

• 语言理解与生成：在29个广泛使用的英语自然语言处理任务上超越了先前大型模型的少样本性能，包括问答任务、完形填空和句子完成任务、Winograd风格任务、上下文阅读理解任务、常识推理任务、SuperGLUE任务和自然语言推理任务等。
• 多语言处理：尽管训练语料中只有22%是非英语内容，但PaLM在多语言NLP基准测试(包括翻译)上仍表现出强大性能。
• 复杂推理任务：结合思维链提示(chain-of-thought prompting)，在数学问题解决和常识推理任务上表现出色，例如在GSM8K数据集上，使用8-shot提示解决了58%的问题，接近9-12岁儿童的平均水平。
• 代码生成与理解：即使预训练数据中只有5%是代码，PaLM在代码生成任务上仍表现出强大性能，包括根据自然语言描述编写代码(text-to-code)、将代码从一种语言翻译成另一种语言以及修复编译错误(code-to-code)等任务。
• 笑话解释与复杂场景理解：能够为需要复杂多步逻辑推理、世界知识和深度语言理解的场景生成明确解释，例如为网络上未找到的新颖笑话提供高质量解释。
• 代码修复：通过微调的PaLM-Coder模型，在代码修复任务上表现出色，例如在DeepFix任务中，将最初有错误的C程序修改为可成功编译的版本，达到82.1%的编译率。
• 新兴能力探索：在Beyond the Imitation Game Benchmark(BIG-bench)上展示了突破性性能，该基准包含150多个新的语言建模任务，展示了模型在各种复杂任务上的新兴能力。

优势

PaLM的主要优势在于其卓越的少样本学习能力、高效的训练架构和广泛的任务适应性。与先前的LLM相比，PaLM在训练规模上有显著提升，使用了更大规模的TPU系统配置。其57.8%的硬件FLOPs利用率证明了Pathways系统在分布式训练方面的高效性。PaLM在大多数语言任务上超越了先前的最先进水平，特别是在推理和代码生成任务上表现出显著优势。值得注意的是，PaLM在代码任务上的少样本性能可与专门微调的Codex 12B相媲美，同时使用的Python代码训练量减少了50倍，证明了大型模型在样本效率方面的优势。此外，PaLM的设计考虑了实际应用需求，如"无损"词汇表的设计特别有利于代码处理和数字相关任务。

价值总结

PaLM的核心价值在于展示了通过模型规模扩展和高效训练系统实现的AI能力飞跃，为构建更通用、更高效的AI系统铺平了道路。它证明了Pathways系统在扩展到数千个加速器芯片方面的能力，通过训练5400亿参数模型，以高效的方式实现了突破性的少样本性能。PaLM不仅在语言理解、推理和代码任务上取得了显著进展，还为未来更强大的模型奠定了基础，推动了AI系统向能够"跨数千或数百万任务进行泛化、理解不同类型的数据并以极高效率完成这些任务"的Pathways愿景迈进。此外，PaLM的研究为理解模型规模与能力之间的关系提供了宝贵 insights，强调了大型模型在样本效率和跨任务迁移学习方面的优势。

用户体验与优势

PaLM通过少样本学习能力为用户提供了卓越的体验，用户只需提供少量示例即可使模型适应新任务，无需大规模的数据收集和模型微调。这种高效的交互方式大大降低了使用门槛，使模型能够快速适应各种应用场景。模型在推理任务上的表现接近人类水平，特别是在数学问题解决方面，能够提供类似人类思考过程的分步解释，增强了用户对模型输出的理解和信任。在代码生成领域，即使只接受了少量代码训练，PaLM仍能生成高质量代码，为开发人员提供有价值的辅助。此外，PaLM的多语言能力使其能够服务于全球不同语言背景的用户，而其强大的泛化能力意味着用户无需为不同任务切换不同模型，单一模型即可满足多种需求，简化了使用流程并提高了工作效率。

技术优势

PaLM在技术上的主要优势体现在其创新的训练架构和高效的并行策略。首次大规模应用Pathways系统实现了跨多个TPU v4 Pods的训练，采用Pod级别数据并行与Pod内标准数据和模型并行相结合的混合并行策略，突破了单一Pod的训练限制。通过对Transformer块的重构，允许注意力层和前馈层并行计算，从而实现了TPU编译器优化带来的加速，这是实现高硬件利用率的关键因素之一。PaLM的"无损"词汇表设计也是一项重要技术创新，保留了代码所需的空格信息，将数字拆分为单个标记，这些设计选择特别有利于代码处理和数学推理任务。此外，模型采用了经过充分研究和验证的密集型解码器-only Transformer架构，在保证性能的同时确保了训练的稳定性和可靠性。这些技术创新共同促成了PaLM在5400亿参数规模下的高效训练和卓越性能，为大规模语言模型的开发提供了宝贵的技术参考。