普林斯顿大学和谷歌 DeepMind 的研究人员发表了一篇题为《用大型语言模型有意识地解决问题:思维树》的论文。这项研究提出了一种新的提示词方式,名为“思维树提示词”,可以大大提高GPT等语言模型解决复杂问题的能力,成功率从4%提高到了74%。这种方法可能成为AI通用问题解决能力提升的重要途径。
思维树提示词是什么
目前AI模型使用的提示词方式大多是“输入输出提示词”(IO prompting),即用户提出一个问题,AI模型直接给出回答。这种方法效果有限。较先进的提示词方式是“思维链提示词”,要求AI模型先思考几个可能的回答,然后选择最佳方案。
思维树提示词在此基础上进行了扩展。它要求AI模型像人类一样,同时考虑多个可能的解决方案,并逐一评估和比较这些方案的优劣,然后选择最佳方案。具体来说,它包含以下步骤:
- 提出问题
- 思维扩散:AI模型提出3个或更多不同的解决方案思路
- 评估:AI模型评估每种方案的优劣,给出概率评分
- 扩展:保留评分最高的方案,基于这个方案深入思考实现方案、资源需求等
- 决策:最终根据评估结果,选择最佳方案
整个过程中,AI模型需要学习回溯和保存信息,才能在不同思路之间进行比较,做出全局最优决策。研究显示,这种提示词方式可以大幅提升GPT等模型的复杂推理能力。
思维树提示词的应用
论文中,研究人员以24点游戏、创意写作和填字游戏为例,测试了思维树提示词的效果。结果表明,这种提示词方式取得了远超传统输入输出提示词和思维链提示词的效果。
- 在24点游戏中,思维树提示词的成功率达到了74%,是思维链提示词的10倍以上。
- 在创意写作中,思维树提示词能够有效将四个句子组合成一个连贯的段落。
- 在填字游戏中,思维树提示词填字成功率达到60%,填对完整词游戏的比例达到20%。
这说明思维树提示词在需要复杂推理和搜索的任务中,具有巨大的优势。它为AI赋予了更高的自主决策和解决问题的能力。
当然,思维树搜索也需要更多计算资源。但随着开源进展和计算成本下降,这种提示词方式有望被越来越多应用。它使AI模拟人类解决问题的过程,产生更可解释、可对齐的语言表达,有助于AI安全性和伦理性。
思维树提示词使用指南
想使用思维树提示词来提升ChatGPT等模型的输出质量,可以遵循以下步骤:
- 提出问题,让AI确认问题。
- 让AI思维扩散,提出3个或更多解决方案思路。
- 让AI评估每种方案的优劣,给出概率评分。
- 保留评分最高的方案,基于它深入思考实现细节。
- 最终让AI根据评估结果,选择最佳方案。
在这个过程中,要循环提出问题,并让AI展示其思考过程,有助于调试并获得最佳结果。
提示词案例：
其实，并不是所有问题都需要 AI 按照多步提示的方式来解决。对于一些较为复杂的逻辑推理或策略性问题,进行分步思考才能给出较优解。
场景：我想在假期去欧洲旅行,但是预算只有 1 万元人民币。请给我出游策略。
提示词：
第一步:
你是一个非常逻辑化的旅游规划专家。当面对一个复杂的旅游计划时,你总是先把问题进行拆分,比如考虑目的地、交通、住宿、景点等多个方面,然后一步一步地寻找最经济实惠的方案。请回复“好的”以示你明确了解到了这一点:
第二步:
我想在假期去欧洲旅行,但是预算只有1万元人民币。请你一步步地思考如何制定一个经济实惠的欧洲之行方案:先列出最经济的目的地、交通和住宿方案,然后比较不同方案的价格、经济性和可行性,最后详细解释这个最佳方案的具体步骤:
第三步:
你仔细检查上一步给出的方案,发现它存在一些问题。请指出这些问题以及改进方法:
第四步:
你是在欧洲旅游策划方面拥有 20 年经验的专家。请根据前几步发现的问题,重新规划一下具体的欧洲之行方案,步骤包括:1) 哪些国家最经济实惠 2)最省钱的交通方式 3)省钱的住宿点推荐 4)重点精算景点门票,列出一个 1 万元预算内的完整旅游方案。