在近期的大型人工智能（AI）聊天機器人中，有一個令人驚訝的現象：當你問它問題時，它們更傾向於提供錯誤答案，而不是承認自己的錯誤。這項研究結果在《自然》雜誌上公佈，讓我們來看看背後的原因。
研究人員從前幾年出現的大型AI聊天機器人中選擇了三個最大的模型進行分析。他們發現，這些機器人不僅可能提供錯誤答案，而且還可能會「看空間」（hallucinate），也就是說，它們可能會根據自己的想法創造出不存在的東西。為了解這種情況是如何發展的，以及它們在使用更多訓練數據和更大尺寸模型後會有什麼改變，研究人員從前幾年出現的大型AI聊天機器人中選擇了三個最大的模型進行分析。
這項研究由來自西班牙瓦倫西亞研究院的人工智能研究所的何塞·赫南德茲-奧拉洛（José Hernández-Orallo）博士領導。他和他的團隊一起發現，當我們問AI聊天機器人問題時，它們不僅可能提供錯誤答案，而且還可能會「看空間」，也就是說，它們可能會根據自己的想法創造出不存在的東西。為了解這種情況是如何發展的，以及它們在使用更多訓練數據和更大尺寸模型後會有什麼改變，研究人員進行了一系列的實驗。
但是，這項研究也讓我們發現了另一件令人遺憾的事：即使AI聊天機器人提供錯誤答案時，它們也不願承認自己的錯誤。這讓我們不得不思考一個問題：當我們問AI聊天機器人問題時，該如何確定它的答案是否正確？在本文中，我們將深入探討這些問題，並且會告訴你這項研究發現出了什麼樣的結果，並且會給你一些有用的建議。
是不是 AI LLM 可以信任？
你知道嗎？越來越大的、越來越精煉的語言模型（LLM）都比以前更準確了。但是，它們也變得不那麼可靠了。研究人員發現，錯誤回答的比例上升了，因為這些 AI 模型現在不太願意避免回答問題——例如承認自己不知道或轉移話題。
有位研究員 Lexin Zhou 在 X 上寫道： 「LLM 的確在人間難題的任務中錯誤率較高，但它們仍然能夠成功地完成難題，甚至在簡單任務上達到完美。因此，沒有安全的運行條件讓人們可以確定 LLM 可以信任。」
研究人員評估了 OpenAI 的 GPT、Meta 的 LLaMA 和 BLOOM 等模型，它們測試了早期和精煉模型對算術、地理和信息轉換等領域的提示。結果發現，準確率隨著模型大小而提高，但在難題上則下降。
甚至是在 GPT-4 這樣的精煉模型中，也有超過 60% 的錯誤回答。令人驚訝的是，即使是簡單的問題也會出錯。志願者們對於不准確的答案進行了錯誤分類，結果表明模型監督存在嚴重問題。
Hernández-Orallo 建議開發者應該「在容易問題上提高 AI 表現」，並鼓勵聊天機器人避免回答難題，使使用者更好地了解何時可以信任 AI 模型。他說：「我們需要讓人們明白：『我可以在這個領域使用它，但不 nên在那個領域使用』。」
你知道嗎？現在的語言模型雖然比以前更準確，但是也變得不那麼可靠了。下一篇將會介紹更多關於這個問題的研究結果和建議。
