我们引入了 Codex，这是一种在 GitHub 上公开的代码上进行微调的 GPT 语言模型，并研究了它的 Python 代码编写能力。 Codex 的独特生产版本为 GitHub Copilot 提供支持。在我们发布的新评估集 HumanEval 上，用于衡量从文档字符串合成程序的功能正确性，我们的模型解决了 28.8% 的问题，而 GPT-3 解决了 0%，GPT-J 解决了 11.4%。此外，我们发现从模型中重复采样是一种令人惊讶的有效策略，可以为困难的提示提供可行的解决方案。使用这种方法，我们可以通过每个问题 100 个样本解决 70.2% 的问题。对我们的模型的仔细研究揭示了它的局限性，包括描述长操作链的文档字符串以及将操作绑定到变量的困难。最后，我们讨论部署强大的代码生成技术的潜在更广泛影响，涵盖安全性、安保性和经济性。

本文提供了一份全面而实用的指南，供从事自然语言处理(NLP)下游任务的从业者和最终用户使用大型语言模型(LLMs)。我们从模型、数据和下游任务的角度，提供了对LLMs使用的讨论和见解。首先，我们介绍和简要总结了当前GPT和BERT风格的LLMs。然后，我们讨论了预训练数据、训练数据和测试数据的影响。最重要的是，我们提供了一个详细的讨论，讨论了大型语言模型在各种自然语言处理任务中的使用和非使用情况，如知识密集型任务、传统的自然语言理解任务、自然语言生成任务、新兴能力和特定任务的考虑。我们提供了各种使用案例和非使用案例，以说明LLMs在实际场景中的实际应用和局限性。我们还尝试了解数据的重要性以及每个NLP任务所面临的具体挑战。此外，我们探讨了偏差对LLMs的影响，以及其他重要考虑因素，如效率、成本和延迟，以确保全面了解在实践中部署LLMs。这份全面的指南旨在为研究人员和从业者提供有价值的见解和最佳实践，以便在各种NLP任务中成功实现这些模型的部署。

使语言模型更大并不能从本质上使它们更好地遵循用户的意图。例如，大型语言模型可能会生成不真实的、有毒的或对用户没有帮助的输出。换句话说，这些模型与其用户不一致。在本文中，我们展示了一种途径，可以通过根据人类反馈进行微调，使语言模型与用户对各种任务的意图保持一致。从一组标注者编写的提示(prompt)和通过 OpenAI API 提交的提示开始，我们收集了所需模型行为的标注者演示数据集，我们用它来使用监督学习微调 GPT-3。然后，我们收集模型输出排名的数据集，我们使用该数据集通过人类反馈的强化学习进一步微调该监督模型。我们将生成的模型称为 InstructGPT。在对我们的提示分布的人工评估中，1.3B 参数 InstructGPT 模型的输出优于 175B GPT-3 的输出，尽管参数少 100 倍。此外，InstructGPT 模型显示了真实性的提高和有毒输出生成的减少，同时对公共 NLP 数据集的性能回归最小。尽管 InstructGPT 仍然会犯一些简单的错误，但我们的结果表明，根据人类反馈进行微调是使语言模型与人类意图保持一致的一个有前途的方向。

大型语言模型 (LLM) 显示出在不同领域彻底改变自然语言处理任务的潜力，引发了人们对金融的极大兴趣。访问高质量的财务数据是金融 LLM (FinLLM) 面临的第一个挑战。虽然像 BloombergGPT 这样的专有模型已经利用了其独特的数据积累，但这种特权访问需要一种开源替代方案来使互联网规模的金融数据民主化。

Transformers 的双向编码器表示 (BERT) 已在各种 NLP 任务中显示出惊人的改进，并且已经提出了连续变体以进一步提高预训练语言模型的性能。 在本文中，我们的目标是重新审视中文预训练语言模型，以检验它们在非英语语言中的有效性，并向社区发布中文预训练语言模型系列。 我们还提出了一个简单但有效的模型，称为 MacBERT，它在几个方面对 RoBERTa 进行了改进，特别是采用 MLM 作为校正(correction)的掩蔽策略 (Mac)。 我们对八项中文 NLP 任务进行了广泛的实验，以重新审视现有的预训练语言模型以及提出的 MacBERT。 实验结果表明，MacBERT 可以在许多 NLP 任务上实现最先进的性能，我们还消除了一些可能有助于未来研究的发现的细节。

BERT and GPT 等Large-scale pre-trained models（PTM）最近取得了巨大成功，成为人工智能（AI）领域的里程碑。由于复杂的预训练目标和巨大的模型参数，大规模 PTM 可以有效地从大量label和unlabel数据中获取知识。通过将知识存储到巨大的参数中并在特定任务上进行微调，隐藏在巨大参数中的丰富知识可以使各种下游任务受益，这已通过实验验证和经验分析得到广泛证明。现在 AI 社区的共识是采用 PTM 作为下游任务的骨干，而不是从头开始学习模型。在本文中，我们深入研究了预训练的历史，特别是它与迁移学习(transfer learning)和自我监督学习(self-supervised learning)的特殊关系，以揭示 PTM 在人工智能发展领域的关键地位。此外，我们全面回顾了 PTM 的最新突破。这些突破是由计算能力的激增和数据可用性的增加推动的，朝着四个重要方向发展：设计有效的架构、利用丰富的上下文、提高计算效率以及进行解释和理论分析。最后，我们讨论了 PTMs 的一系列开放性问题和研究方向，希望我们的观点能够启发和推动 PTMs 的未来研究。

自然语言理解包括各种各样的任务，如文本蕴涵、问题解答、语义相似性评估和文档分类。虽然大量的未标记的文本语料库非常丰富，但是用于学习这些特定任务的标记数据却非常稀缺，这就使得接受过歧视性训练的模型难以充分执行。我们证明，通过在不同的未标记文本语料库上生成语言模型的预训练，然后对每个特定任务进行区分性微调，可以实现这些任务的巨大收益。与以前的方法不同，我们**在微调期间使用任务感知的输入转换，以实现有效的传输，同时对模型体系结构进行最小的更改。我们在自然语言理解的各种基准上证明了我们的方法的有效性。我们的一般任务不可知论模型优于使用专门为每项任务设计的体系结构的有区别训练的模型，在所研究的12项任务中，有9项任务显著提高了技术水平。例如，我们在常识推理（故事完形填空测试）上取得了8.9%的绝对改善，在回答问题（种族）上取得了5.7%的绝对改善，在文本继承（munli）上取得了1.5%的绝对改善。

我们提出了一种新的称为 BERT 的语言表示模型，BERT 代表来自 Transformer 的双向编码器表示（Bidirectional Encoder Representations from Transformers）。不同于最近的语言表示模型（Peters et al., 2018，Radford et al., 2018）， BERT 旨在通过联合调节所有层中的左右上下文来预训练深度双向表示。因此，只需要一个额外的输出层，就可以对预训练的 BERT 表示进行微调，从而为广泛的任务（比如回答问题和语言推断任务）创建最先进的模型，而无需对特定于任务进行大量模型结构的修改。 BERT 的概念很简单，但实验效果很强大。它刷新了 11 个 NLP 任务的当前最优结果，包括将 GLUE 基准提升至 80.4%（7.6% 的绝对改进）、将 MultiNLI 的准确率提高到 86.7%（5.6% 的绝对改进），以及将 SQuAD v1.1 的问答测试 F1 得分提高至 93.2 分（提高 1.5 分）——比人类表现还高出 2 分。

主流的序列转换模型都是基于复杂的循环神经网络或卷积神经网络，且都包含一个encoder和一个decoder。表现最好的模型还通过attention机制把encoder和decoder联接起来。我们提出了一个新的、简单的网络架构，Transformer. 它只基于单独的attention机制，完全避免使用循环和卷积。在两个翻译任务上表明，我们的模型在质量上更好，同时具有更高的并行性，且训练所需要的时间更少。我们的模型在 WMT2014 英语-德语的翻译任务上取得了28.4的BLEU评分。在现有的表现最好模型的基础上，包括整合模型，提高了2个BLEU评分。在WMT2014英语-德语的翻译任务上,我们的模型在8个GPU上训练了3.5天（这个时间只是目前文献中记载的最好的模型训练成本的一小部分），创造了单模型的SOTA结果，BLEU分数为41.8，通过在大量和少量训练数据上所做的英语选区分析工作的成功，表明Transformer能很好的适应于其它任务。

自然语言处理任务（例如问答，机器翻译，阅读理解和摘要）通常通过对特定任务数据集的监督学习来实现。我们证明，当对数百万个名为WebText的网页的新数据集进行训练时，语言模型开始学习这些任务而不需要任何明确的监督。当以文档和问题为条件时，语言模型生成的答案在CoQA数据集上达到55 F1 - 达到或超过4个基线系统中的3个的性能而未使用127,000+个训练样例。语言模型的容量对于zero-shot任务迁移的成功至关重要，并且增加它可以跨任务以对数线性方式提高性能。我们最大型号的GPT-2是一个1.5B参数的Transformer，它在zero-shot设置中的8个测试语言建模数据集中的7个中实现了最先进的结果，但仍然不适合WebText。模型中的样本反映了这些改进，并包含连贯的文本段落。这些发现为建立语言处理系统提供了一条很有希望的方向，该系统学会从自然发生的示范中完成任务。