GPT的模型参数说明以及提示词范例

GPT-3是一种设计用于生成自然语言的计算机系统。它通过接收一段文本，然后预测应该出现在其后的下一个词或短语来实现这一目标。

为了达到这个目标，GPT-3使用了一个深度学习算法，该算法经过大量文本的训练。这使得它能够捕捉到词语在句子中如何组合使用的统计模式。

GPT-3可以用于涉及自然语言生成的各种任务，例如机器翻译、问答和文本摘要。GPT-3甚至可以用于从零开始生成新的文本，例如故事或文章。

在本博文中，我们将探讨在使用该模型时可以设置的参数，并介绍OpenAI提供的一些示例。

模型参数是什么？

OpenAI GPT-3 是一种机器学习模型，可用于通过 API 生成预测文本。 OpenAI 有不同的模型可供我们使用，功能最强大的模型称为“text-davinci-002”。

要使用该模型，我们可以按如下方式发送 API 请求。

curl https://api.openai.com/v1/completions \
 -H “Content-Type: application/json” \
 -H “Authorization: Bearer $OPENAI_API_KEY” \
 -d ‘{
 “model”: “text-davinci-002”,
 “prompt”: “当研究古罗马时，我应该了解的5个关键要点是什么？”,
 “temperature”: 0.3,
 “max_tokens”: 150,
 “top_p”: 1,
 “frequency_penalty”: 0,
 “presence_penalty”: 0
}'

engine参数

engine参数指定了用于生成预测的AI模型。在本文中，我们将使用最强大的模型：“text-davinci-002”。

max tokens

“max tokens”参数指定模型可以生成的最大标记数量。一个标记可以被视为一个单词的一部分。

作为一个经验法则，1个标记大约等于4个字符。

Temperature，温度

在将其映射为概率之前，模型输出未归一化的值(logits)。通常使用softmax等函数将它们转换为概率。

但是，在应用softmax函数之前，我们可以使用一种受热力学启发的技巧，即用温度参数缩放logits,即softmax(logits/temperature)。

接近1的温度参数意味着直接通过softmax函数传递logits而不进行修改。如果温度接近于零，最高可能的令牌将变得非常可能与其他令牌相比，即模型变得更加确定性，并且在给定单词序列后始终输出相同的一组令牌。

temperature参数在0到1的温度范围内，我们可以控制模型预测的随机性和创造性。

Top_p参数

Top p参数指定了推理时间中的采样阈值。顶部p采样(有时称为核采样)是一种在模型上进行可能结果采样的技术。

为了更好地理解这个概念，让我们想象一下模型必须预测句子“我想吃”后面的下一个标记。为了简单起见，我们将假设一个标记是一个单词，并且模型输出以下概率：

胡萝卜(2%的可能性),

黄瓜(1.5%的可能性),

茄子(1%的可能性),

菠菜(0.5%的可能性),

西兰花(0.3%的可能性),

......

这些单词组成了一个概率分布“P(Word | “我想吃”)”，累积分布函数(CDF)将如下所示：

2%的胡萝卜，

3.5%的胡萝卜和黄瓜，

4.5%的胡萝卜，黄瓜和茄子

......

如果我们将顶部p参数设置为3.5%,则模型将在胡萝卜和黄瓜之间随机选择根据它们的概率。如果将顶部p设置为4.5%,则模型将随机选择单词在胡萝卜、黄瓜和茄子之间。

像temperature一样，顶部p参数控制模型的随机性和创造性。

Top_p和temperature参数都控制模型的随机性。OpenAI文档建议使用一个或另一个参数，并将未使用的参数设置为中立情况，即1.0。

Frequency penalty,频率惩罚

Frequency penalty频率惩罚参数控制模型重复预测的倾向。频率惩罚会降低已经生成的单词的概率。惩罚取决于一个单词在预测中已经出现了多少次。

Presence penalty,存在惩罚

Presence penalty存在惩罚参数鼓励模型做出新颖的预测。如果一个单词已经在预测文本中出现过，则存在惩罚会降低其概率。与频率惩罚不同，存在惩罚不依赖于单词在过去预测中出现的频率。

下面列举几个参数设置的例子：

语法纠正

Engine: text-davinci-002
Max tokens: 60
Temperature: 0
Top p: 1.0
Frequency penalty: 0.0
Presence penalty: 0.0

技术一直都是作家和学生在语法方面苦恼的福音。过去，我们有拼写检查器和语法检查器来帮助我们捕捉错误。但现在，即使是GPT-3也可以完成这项工作并捕捉错误。

这对于那些非英语母语人士或在语法方面有困难的人来说尤其有帮助。

提示词（Prompt）

将给定的语句改成成标准语法英语：I’m looking forward to see you

返回结果

I’m looking forward to seeing you.

因此，如果您正在寻找提高写作能力的方法，请尝试使用基于GPT-3的语法纠正。您可能会惊讶于它能帮助您多少。

创意生成器

Engine: text-davinci-002
Max tokens: 150
Temperature: 0.6
Top p: 1.0
Frequency penalty: 1
Presence penalty: 1

如果你正在努力想出新鲜的想法，你可能也需要考虑使用GPT-3。

例如，你可以告诉AI要为一个环保新产品想出想法。然后，AI会为你生成一个潜在的创意列表供你选择。

提示词（Prompt）

为一款环保新产品提出创意：

返回结果

1，可重复使用的水瓶，可以从自来水龙头中加满水。
2，由回收材料制成的可重复使用的购物袋。
3，太阳能充电手机充电器。
4，LED灯泡寿命长，耗能少。

您也可以使用 GPT-3 来解决您面临的问题。例如，如果您正在尝试提高您店铺的销售量，AI 可以生成一份营销想法清单供您考虑。

提示词（Prompt）

为提高您店铺的销售量进行头脑风暴解决方案：

返回结果

1. 提供折扣或优惠券。
2. 举办促销或清仓活动。
3. 设计吸引人的橱窗展示。
4. 将商品放在货架的尽头或收银台附近。
5. 对员工进行销售培训，包括向上销售和交叉销售产品。
6. 实施会员计划。
7. 发送直接邮寄广告或电子邮件。
8. 在当地出版物上刊登广告。
9. 赞助社区活动。

所以，如果您正在寻找一种创造性的方法来解决问题，GPT-3可能正是您需要的。

摘要提取器

Engine: text-davinci-002
Max tokens: 60
Temperature: 0.7
Top p: 1.0
Frequency penalty: 0.0
Presence penalty: 0.0

正如任何花时间上网的人所知道的，那里有很多文字。有时，很难浏览所有这些文字。使用摘要提取器,您可以快速了解一篇文章的要点，而不必阅读整篇文章。现在，GPT-3 可以为您完成这项工作。只需将要摘要的文本提供给该工具，它就会尽力为您提供一个简洁的概要。

提示词（Prompt）

请提前下面这段文字的摘要：
技术一直对那些在语法上挣扎的作家和学生来说是一个福音。过去，我们有拼写检查器和语法检查器来帮助我们捕捉错误。但现在，即使是 GPT-3 也可以完成这项工作并捕捉错误。
这对于非英语母语人士或在语法上有困难的人来说尤其有帮助。

返回结果

如果您正在努力改进您的写作，可以考虑使用基于人工智能的语法检查器来帮助您。

补充：上下文的使用

这一部分可能是最引人入胜的部分。我们可以通过向提示中添加上下文来“指导”算法如何回应请求。

提示（Prompt）：

我的公司生产可重复使用的水瓶，可以从自来水龙头中加满。
为你的商店增加销售量提出解决方案：

响应：

1. 向购买可重复使用水瓶的客户提供折扣。
2. 将你的水瓶放在商店的高流量区域，这样更多的人就会看到它们。
3. 教育你的员工关于使用可重复使用水瓶的好处，并鼓励他们自己也使用它们。这将为顾客创造一个积极的例子。
4. 确保你的水瓶在商店中易于找到和访问，这样顾客就可以轻松地在需要时拿起一个。
我们向提示中添加的上下文直接反映了响应。

这种行为是可以预期的，因为模型会根据提示中的单词预测下一个标记。

提示（Prompt）：

科技一直对那些在语法上挣扎的作家和学生来说是一个福音。过去，我们有拼写检查器和语法检查器来帮助我们捕捉错误。但现在，即使GPT-3也可以完成这项工作并捕捉错误。

响应：

科技一直对那些在语法上挣扎的作家和学生来说是一个福音。过去，我们有拼写检查器和语法检查器来帮助我们捕捉错误。但现在，即使GPT-3也可以完成这项工作并捕捉错误。

结论

GPT-3计算机系统的设计目的是生成自然语言，通过预测下一个应该跟随它的单词或短语来实现。这个深度学习算法已经在大量的文本上进行了训练，使其能够捕捉单词在句子中使用的统计模式。

GPT-3是一个非常出色的工具，我们可以使用它来产生新的想法、纠正语法错误，甚至生成文本。为了充分利用该模型，我们可以调整参数，但我们也可以设计提示的方式，引导AI达到期望的响应。

感谢您阅读！

原文地址： https://towardsdatascience.com/gpt-3-parameters-and-prompt-design-1a595dc5b405