铜仁ChatGPT最佳实践-获得最好输出效果的六种策略

本指南分享了从 GPT 获得更好效果的策略和战术。偶然可以结合使用此处描述的方法以获得更大的结果。我们鼓励进行实验以找到最适合您的方法。

此处演示的一些示例目前仅适用于我们功能最壮大的模型gpt-4. 假如您还没有访问权限，gpt-4请考虑加入候补名单。一样平常来说，假如您发现 GPT 模型在某项义务中失败并且有更壮大的模型可用，通常值得再次尝试使用更壮大的模型。

写清楚说明

GPT 无法读懂您的想法。假如输出太长，要求简短的答复。假如输出太简单，请要求专家级的写作。假如您不喜好这种格式，请展示您盼望看到的格式。GPT 对您想要什么的猜测越少，您获得它的可能性就越大。

策略：

• 在您的查询中包含细致信息以获得更相干的答案
• 要求模特采用角色
• 使用定界符清楚地指示输入的不同部分
• 指定完成义务所需的步骤
• 提供例子
• 指定所需的输出长度

提供参考文本

GPT 可以自傲地编造假答案，尤其是当被问及深奥的话题或引用和 URL 时。就像一张笔记可以帮助门生在考试中取得更好的成绩一样，为 GPT 提供参考文本可以帮助以更少的捏造往返答。

策略：

• 指示模型使用参考文本回答
• 指示模型使用参考文本中的引用往返答

将复杂义务拆分为更简单的子义务

正如在软件工程中将复杂体系分解为一组模块化组件是一种很好的做法一样，提交给 GPT 的义务也是如此。复杂的义务每每比简单的义务有更高的错误率。此外，复杂的义务通常可以重新定义为更简单义务的工作流，其中早期义务的输出用于构建后续义务的输入。

策略：

• 使用意图分类来识别与用户查询最相干的指令
• 对于必要很长对话的对话应用，总结或过滤之前的对话
• 分段总结长文档并递归构建完备择要

给 GPT 时间“思考”

假如要求将 17 乘以 28，您可能不会立即知道，但随着时间的推移仍然可以计算出来。同样，GPT 在试图立即回答而不是花时间找出答案时会犯更多的推理错误。在回答之前扣问一系列推理可以帮助 GPT 更可靠地推理出精确答案。

策略：

• 在匆忙下结论之前指示模型制订出本身的解决方案
• 使用心里独白或一系列查询来隐蔽模型的推理过程
• 扣问模型是否遗漏了之前传递的任何内容

使用外部工具

通过为 GPT 提供其他工具的输出来填补它们的弱点。例如，文本检索体系可以将相干文档告知 GPT。代码实行引擎可以帮助 GPT 进行数学运算和运行代码。假如一项义务可以通过工具而不是 GPT 更可靠或更有用地完成，请卸载它以充分行使两者。

策略：

• 使用基于嵌入的搜索来实现高效的知识检索
• 使用代码实行来实行更正确的计算或调用外部 API

体系地测试更改

假如可以衡量，进步绩效会更容易。在某些情况下，对提醒的修改会在一些孤立的示例上获得更好的性能，但会导致在更具代表性的示例集上的团体性能变差。因此，要确保更改对性能产生积极影响，可能有需要定义一个综合测试套件（也称为“评估”）。

战术：

• 参考黄金标准答案评估模型输出

策略

上面列出的每个策略都可以用特定的策略来实例化。这些策略旨在为尝试的事情提供想法。它们绝不是周全的，您可以随意尝试此处未展示的创意。

写清楚的说明

在查询中包含细致信息以获得更相干的答案

为了获得高度相干的相应，请确保请求提供任何紧张的细节或上下文。否则，您将把它留给模型来猜测您的意思。

更差	更好的
如何在 Excel 中添加数字？	如何在 Excel 中将一行美元金额相加？我想对整张行主动实行此操作，所有总计都在右侧的名为“总计”的列中结束。
谁是总统？	谁是 2021 年的墨西哥总统，推举的频率如何？
编写代码来计算斐波那契数列。	编写一个 TypeScript 函数来高效地计算斐波那契数列。自由地评论代码以诠释每一部分的作用以及为什么如许写。
总结会议记录。	在一个段落中总结会议记录。然后写下演讲者的降价清单和他们的每个要点。最后，列出演讲者建议的后续步骤或举措项目（假如有）。

让模特采用角色

体系新闻可用于指定模型在其回复中使用的角色。

使用定界符清楚地指示输入的不同部分

三重引号、XML 标记、章节题目等分隔符可以帮助区分要区别对待的文本部分。

对于诸如此类的简单义务，使用定界符可能不会对输出质量产生影响。然而，义务越复杂，消弭义务细节的歧义就越紧张。不要让 GPT 工作以正确理解您对它们的要求。

指定完成义务所需的步骤

有些义务最好指定为一系列步骤。明确地写出步骤可以使模型更容易遵循它们。

提供示例

提供适用于所有示例的一样平常说明通常比通过示例演示义务的所有排列更有用，但在某些情况下提供示例可能更容易。例如，假如您打算让模型复制一种难以明确描述的特定样式来相应用户查询。这被称为“少量”提醒。

指定输出的所需长度

您可以要求模型生成具有给定目标长度的输出。目标输出长度可以根据单词、句子、段落、要点等的计数来指定。但是请细致，指示模型生成特定数量的单词并不能实现高精度。该模型可以更可靠地生成具有特定数量的段落或要点的输出。

提供参考文本

指示模型使用参考文本回答

假如我们可以为模型提供与当前查询相干的可信信息，那么我们可以指示模型使用提供的信息来编写其答案。

鉴于 GPT 的上下文窗口有限，为了应用这种策略，我们必要一些方法来动态查找与所问题目相干的信息。嵌入可用于实现高效的知识检索。有关如何实现这一点的更多细致信息，请参阅策略“使用基于嵌入的搜索来实现高效的知识检索” 。

指示模型使用参考文本中的引文往返答

假如输入已增补相干知识，则可以直接要求模型通过引用所提供文档中的段落来为其答案添加引文。请细致，输出中的引用可以通过提供的文档中的字符串匹配以编程体例进行验证。

将复杂义务拆分为更简单的子义务

使用意图分类来识别与用户查询最相干的指令

对于必要大量自力指令集来处理不怜悯况的义务，首先对查询类型进行分类并使用该分类来确定必要哪些指令可能是有益的。这可以通过定义与处理给定类别中的义务相干的固定类别和硬编码指令来实现。这个过程也可以递归地应用于将义务分解为一系列阶段。这种方法的好处是每个查询将仅包含实行义务下一阶段所需的指令，与使用单个查询实行整个义务相比，这可以降低错误率。这也可以降低成本，由于更大的提醒运行成本更高（参见定价信息）。

例如，假设对于客户服务应用程序，可以将查询分类如下：

基于客户查询的分类，可以向 GPT 模型提供一组更详细的指令来处理后续步骤。例如，假设客户必要“故障排除”方面的帮助。

请细致，已指示模型发出特别字符串以指示对话状况何时发生转变。这使我们能够将我们的体系变成一个状况机，其中状况决定注入哪些指令。通过跟踪状况，哪些指令与该状况相干，以及可选地许可从该状况进行哪些状况转换，我们可以为用户体验设置护栏，而这很难通过结构化程度较低的方法实现。

Tactic：对于必要很长对话的对话应用，总结或过滤之前的对话

因为 GPT 具有固定的上下文长度，因此整个对话都包含在上下文窗口中的用户和助手之间的对话不能无穷期地继承。

这个题目有多种解决方法，其中之一是总结对话中的先前回合。一旦输入的大小达到预定的阈值长度，这可能会触发一个查询，该查询总结了部分对话，并且先前对话的择要可以作为体系新闻的一部分包含在内。或者，可以在整个对话过程中在后台异步总结先前的对话。

另一种解决方案是动态选择与当前查询最相干的对话的先前部分。请参阅策略“使用基于嵌入的搜索来实现高效的知识检索”。

分段总结长文档并递归构建完备择要

因为 GPT 具有固定的上下文长度，因此它们不能用于总结长度超过上下文长度减去单个查询中生成的择要长度的文本。

要总结一个很长的文档，比如一本书，我们可以使用一系列查询来总结文档的每个部分。节择要可以被连接和总结生成择要的择要。这个过程可以递归地进行，直到总结了整个文档。假如有需要使用有关前面部分的信息来理解后面的部分，那么另一个有效的技巧是在书中任何给定点之前包括文本的延续择要，同时总结该点的内容。OpenAI在之前的研究中使用 GPT-3 的变体研究了这种用于总结书籍的程序的有用性。

给 GPT 时间“思考”

在匆忙下结论之前，指示模型本身制订解决方案

偶然，当我们明确指示模型在得出结论之前根据第一原则进行推理时，我们会得到更好的效果。例如，假设我们想要一个模型来评估门生对数学题目的解决方案。解决这个题目的最显明方法是简单地扣问模型门生的解决方案是否精确。

但是这位同窗的解法其实是不精确的！我们可以通过提醒模型首老师成本身的解决方案来让模型成功细致到这一点。

使用心里独白或一系列查询来隐蔽模型的推理过程

前面的策略注解，模型在回答特定题目之前细致推理题目偶然很紧张。对于某些应用程序，模型用于得出最终答案的推理过程不适合与用户共享。例如，在指点应用程序中，我们可能盼望鼓励门生本身找出答案，但模型对门生答案的推理过程可能会向门生揭示答案。

心里独白是一种可以用来缓解这种情况的策略。心里独白的想法是指示模型将本应对用户隐蔽的输出部分放入结构化格式中，以便于解析它们。然后在将输出呈现给用户之前，对输出进行解析并仅使部分输出可见。

或者，这可以通过一系列查询来实现，其中除最后一个之外的所有查询都对最终用户隐蔽其输出。

首先，我们可以让模型本身解决题目。因为此初始查询不必要门生的解决方案，因此可以省略。这提供了额外的上风，即模型的解决方案不会因门生尝试的解决方案而产生误差。

接下来，我们可以让模型使用所有可用信息来评估门生解决方案的精确性。

最后，我们可以让模型使用本身的分析来构建一个乐于助人的导师角色的回复。

扣问模型是否遗漏了之前传递的任何内容

假设我们正在使用一个模型来列出与特定题目相干的来源的摘录。在列出每个摘录后，模型必要确定是否应该开始编写另一个摘录或是否应该制止。假如源文档很大，模型通常会过早制止并且无法列出所有相干摘录。在这种情况下，通常可以通过使用后续查询提醒模型来查找它在先前传递中遗漏的任何摘录来获得更好的性能。

使用外部工具

使用基于嵌入的搜索来实现高效的知识检索

假如作为输入的一部分提供，模型可以行使外部信息源。这可以帮助模型生成更明智和最新的相应。例如，假如用户扣问有关特定电影的题目，将有关电影的高质量信息（例如演员、导演等）添加到模型的输入中可能会很有效。嵌入可用于实现高效的知识检索，以便在运行时将相干信息动态添加到模型输入中。

文本嵌入是一个向量，可以衡量文本字符串之间的相干性。相似或相干的字符串将比不相干的字符串靠得更近。这一事实以及快速向量搜索算法的存在意味着嵌入可用于实现高效的知识检索。分外是，一个文本语料库可以被分割成块，每个块都可以被嵌入和存储。然后可以嵌入给定的查询并实行向量搜索以从语料库中找到与查询最相干（即在嵌入空间中最接近）的嵌入文本块。

可以在OpenAI Cookbook中找到示例实现。有关如何使用知识检索来最小化模型编造错误事实的可能性的示例，请参阅策略“指示模型使用检索到的知识往返答查询”。

使用代码实行来实行更正确的计算或调用外部 API

不能依靠 GPT 自行正确地实行算术或长计算。在必要的情况下，可以指示模型编写和运行代码，而不是进行本身的计算。分外是，可以指示模型将要运行的代码放入指定的格式中，例如三重 backtics。生成输出后，可以提取并运行代码。最后，假如有需要，可以将代码实行引擎（即 Python 诠释器）的输出作为输入提供应下一个查询的模型。

代码实行的另一个好用例是调用外部 API。假如引导模型精确使用 API，则它可以编写使用它的代码。通过向模型提供说明如何使用 API 的文档和/或代码示例，可以引导模型如何使用 API。

警告：实行模型生成的代码自己并不安全，任何试图实行此操作的应用程序都应采取预防措施。分外是，必要一个沙盒代码实行环境来限定不受信赖的代码可能造成的危害。

体系地测试转变

偶然很难判断更改（例如，新指令或新设计）是否会使您的体系变得更好或更糟。查看几个示例可能会暗示哪个更好，但是样本量较小时，很难区分真正的改动照旧随机的运气。大概这种转变有助于某些输入的性能，但会损害其他输入的性能。

评估程序（或“evals”）对于优化体系设计很有效。好的评价是：

• 代体现实世界的使用（或至少是多样化的）
• 包含很多测试用例以获得更大的统计能力（有关指南，请参见下表）
• 易于主动化或重复

要检测的差异	95% 置信度所需的样本量
30%	~10
10%	~100
3%	~1,000
1%	~10,000

输出的评估可以由计算机、人类或混合来完成。计算机可以使用客观标准（例如，具有单一精确答案的题目）以及一些主观或模糊标准来主动评估，其中模型输出由其他模型查询评估。OpenAI Evals是一个开源软件框架，提供用于创建主动评估的工具。

当存在一系列可能被认为质量雷同的输出时（例如，对于答案很长的题目），基于模型的评估可能很有效。使用基于模型的评估可以现实评估的内容与必要人工评估的内容之间的界限是模糊的，并且随着模型变得更壮大而赓续转变。我们鼓励通过实验来弄清楚基于模型的评估对您的用例的适用程度。

参考黄金标准答案评估模型输出

假设已知题目的精确答案应该参考一组特定的已知事实。然后我们可以使用模型查询来计算答案中包含了多少所需事实。

例如，使用以下体系新闻：

这是一个知足两点的示例输入：

这是一个示例输入，其中只有一个点得到知足：

这是一个不知足的示例输入：

这种基于模型的评估有许多可能的变体。考虑以下变体，它跟踪候选答案和黄金标准答案之间的重叠类型，并跟踪候选答案是否与黄金标准答案的任何部分相矛盾。

这是一个带有不合标准答案的示例输入，但与专家答案并不矛盾：

这是一个示例输入，其答案直接与专家答案相矛盾：

这是一个带有精确答案的示例输入，它还提供了比需要的更多的细节：