🤔適合知識類的解答的STEP-BACK PROMPTING的測試

AI, 初學者

谷歌DeepMind最近发表了一篇论文：

提出了「Step-Back Prompting」（後退提示）這一簡單的提示技術，使大型語言模型（LLMs）能夠進行抽象，從包含具體細節的實例中得出高級概念和基本原理。利用這些概念和原理來引導推理步驟，LLMs顯著提高了它們在沿著正確的推理路徑解決問題方面的能力。我們對PaLM-2L模型進行了「Step-Back Prompting」的實驗，並觀察到在一系列具有挑戰性的推理密集型任務上表現出顯著的性能提升，包括STEM、知識問答和多跳推理。例如，「Step-Back Prompting」提高了PaLM-2L在MMLU物理和化學方面的性能7%，在TimeQA方面提高了27%，在MuSiQue方面提高了7%。

論文來源：https://arxiv.org/pdf/2310.06117.pdf

prompt

作者：劉宇龍

按照這個思路寫了下提示詞，最好在代碼解釋器里玩。熟悉框架後就不需要提示詞了，直接追問也可以達到類似的效果。

(ASSISTANT)=[Step-Back Prompting]
(Function)=[使用「Step-Back Prompting（後退提問）「策略根據用戶的問題，設計後退提問的問題並進行完整作答]
{概念#}=[
後退提問={一種思考策略，意在從更宏觀或更基礎的角度去理解和分析一個特定的問題或情境。這種策略要求我們在面對一個具體問題時，先「後退」一步，從一個更廣泛或更根本的角度去提問和思考。這樣做的目的是幫助我們更深入地理解問題的背景、原因或相關的基礎知識，從而更好地回答原始問題。}
]

{策略#}=[
核心概念識別={首先確定問題的核心概念。例如，如果問題涉及到物理學中的力，那麼可能需要後退到基礎的力的定義和原理。}
問題的範圍={嘗試識別問題的範圍和上下文。這有助於確定後退的深度。有些問題可能只需要稍微後退一步，而其他問題可能需要深入到基礎原理。}
歷史和背景={對於一些問題，瞭解其歷史背景和發展可能會有助於提出恰當的後退問題。}
原理和假設={明確當前問題的基礎原理和假設。這可以幫助確定應該從哪些方面後退。}
]

{開始#}=[
用中文和用戶打招呼，要求用戶輸入一個問題，每當用戶輸入一個問題，你要根據以下流程回答問題.
1)給出至少3個符合<策略>的可選<後退提問>並分別回答。
2)將上述回答作為論據，有邏輯，條理的，使用可視化輔助對用戶的問題進行最終作答，。
]

效果展示：

就是提問者本人知道應該如何追問，比如問「巴以衝突的原因，要求從地理、歷史和參與方幾個方面進行分析和回答」，然後根據GPT的回答，根據後退提問的策略，進一步追問。

換句話就是學到這種提問技巧，而不是依賴提示詞模版

Step-Back Prompting更多的是一種追問技巧

是一種思路，這種思路應該有其適合的問題和邊界

針對以上內容幾位同學做了討論

根據上面的對話內容，他們在討論有關AI的Step-Back Prompting技巧和如何最大化地發揮其效果。以下是他們的討論內容及結論：

討論者主要內容結論或觀點
少卿提到了直接回答和其他邪門的cases，討論了關於紫色的說明。考慮了多種prompt技能的最大化發揮前提及邊界。提出思路和適用的問題邊界是關鍵。
劉宇龍 Rryu認為Step-Back Prompting主要是一種追問技巧，並提出了對巴以衝突的原因進行詢問的建議。他的體感是模型應該自己升級，並學會提示策略完成推理任務。1.模型應該自己升級 2.學會提示策略
張佳提到了審視問題的重要性，並認為這是一種特別好的解決問題的方式。遇到問題時要先審視問題本身。
煮酒四郎建議增加一種方法論。
少卿同意了2的感受，並提到了模型自己的升級不會取代「思路」。考慮了對「普通人」的產品化。模型自己的升級不會取代「思路」。
劉宇龍 Rryu贊同了產品化交付的門檻更低的觀點。產品化交付的門檻更低。

總結

Step-Back Prompting技巧是一種通過反復追問來獲取更深入、更準確答案的方法。這種技巧對於AI領域尤其有價值，因為它可以幫助模型更好地理解用戶的真實需求，並提供更精確的答案。以下是該技巧的一些建議應用領域以及相應建議：

  1. 用戶交互設計 🖥️
    1. 應用: 在與用戶的交互中，當用戶的問題不夠明確或有歧義時，通過追問來更好地理解用戶意圖。
    2. 建議: 設計出更加智能的交互界面，允許AI在需要時主動提問，獲取更多的上下文信息。
  2. 教育和培訓 📚
    1. 應用: 在在線教育平台中，幫助學生更好地理解複雜的概念。
    2. 建議: 開發具有追問功能的教育工具或應用，使學生在遇到困惑時可以得到更深入的解答。
  3. 調研和市場研究 📊
    1. 應用: 在收集用戶反饋或進行市場調研時，通過追問獲取更詳細、更深入的信息。
    2. 建議: 設計智能問卷，允許在用戶答案不明確或模糊時自動追問。
  4. 客服支持 📞
    1. 應用: 當用戶遇到問題或需要幫助時，客服可以通過Step-Back Prompting技巧更精確地理解用戶的問題。
    2. 建議: 培訓客服團隊使用這種技巧，並在AI助手中集成此功能，以提供更高效、更準確的支持。
  5. 產品設計與開發 💡
    1. 應用: 在產品設計和開發階段，通過追問獲取用戶或團隊成員的真實需求和建議。
    2. 建議: 設計思考和敏捷開發過程中，鼓勵團隊使用此技巧來更好地理解和定義產品需求。
Scroll to Top