EP26 - AI 怎麼知道自己不知道?

OVERVIEW
本期重點

• AI 怎麼知道自己不知道？

• Skool 學習社群更新

SHARING
AI 怎麼知道自己不知道？

或許我們並不瞭解 AI

上週自然期刊上發布了一篇研究。

研究指出，大型語言模型隨著參數量增加，回答我不知道的比率顯著下降，導致在回答困難問題的錯誤率上升。研究員認為，因為參數提升後能檢索的資料更多，讓 AI 傾向回答所有問題而不願承認自己不知道。

這研究很有趣，它假定了 AI 應該像人類一樣，對於不知道的事應該誠實的回答不知道，而不是胡謅一段錯誤的回答。這引起了我的興趣。但我對於 AI 的正確/錯誤回答一點都不感興趣，

我感興趣的是 AI 怎麼知道自己不知道？

有就有，沒有就沒有

熟悉 Excel 的朋友應該非常清楚結構化的資料格式。每個欄、列都對應一組數據。一個蘿蔔一個坑，不存在模稜兩可的空間。因此，當我們搜索特定詞條時，「沒有」就應該回傳查無資料。這很符合我們對事物有無的判斷，有就有，沒有就沒有。

即便現在的「 AI 晶片」能回答各式各樣的問題。底層的機體電路同樣是透過偵測電流的「有」與「無」來做計算。我們應該無法接受偵測的結果是「我不知道 ƪ(˘⌣˘)ʃ 」

真、假我不知道

所以 AI 是真的不知道還是假的不知道？

根據我研讀這麼多 AI 相關的論文跟資料，「我必須負責任的說我不知道」。不是開玩笑，我是真的不知道。

對 LLM 有基礎認知的朋友應該知道，語言模型就是文字間相關性的接龍大師。對 LLM 來說，9.9 比 9.11 相關，但要是問它誰大誰小，要等它骰一下骰子。不信？威脅一下 LLM 就又改答案了。所以我還真不知道 LLM 是資訊不足而說它不知道，還是骰的結果沒中所以說不知道。

那麼問題來了，面對這個比大小的問題 ，AI 是該回答「我不知道 ƪ(˘⌣˘)ʃ 」還是硬著頭皮回答它不擅作答的題目？

全都是幻覺

對 LLM 來說輸出正確/錯誤/我不知道這三種回答都是一樣的，都是幻覺。都是在參數之間高速的比大小的運算結果。回答正確/錯誤與否是由人類來定義的。甚至，輸出「我不知道」反而還有更多人為操作的痕跡。

因為這是在前期，為了規範 LLM 不要胡說八道所設定的系統提示詞。可以想像就是一組閾值，計算後低於多少的相關性就說我不知道。但因為各家 LLM 的系統提示詞對應的權重沒有統一的標準。

所以，我懷疑這份研究統整這些「我不知道」的數據是否有意義？究竟是隨著模型參數上升調降閾值讓它直面更多挑戰 ( 收資料 )，還是因為參數上升後更容易跨越閾值而侃侃而談？

但如果我們原本就不能接受「我不知道 ƪ(˘⌣˘)ʃ 」這個選項，把「我不知道 」視為錯誤的一部分 ( 問題沒有被回答呀 )。則這份研究說明了隨著模型參數越大錯誤會縮小，且正確率漸漸提升的已知訊息。

回到一開始的命題，AI 怎麼知道自己不知道？AI 還真不知道自己不知道。甚至它在說出我不知道的時候都應該回問它，

是什麼原因讓你回答了「我不知道」？

從黑白到灰階

上週有句金句被我儲存下來，

隨著演化，人類的大腦擁有比以往還要大的前額葉來預測未來。前額葉是複雜的、抽象的也是最耗能的單位。但底層服務的對象依舊是經過億萬年沒啥進化的杏仁核。杏仁核掌管逃跑或戰鬥，是生物生存繁衍至關重要的機能。但不確定性恰恰採在人類的痛點上，讓人焦慮不已。

而電腦科學的進步，也讓資料儲存的方式從結構式的資料庫進化成向量資料庫。過往「有 」與「無 」的回答方式也漸漸過渡到灰階的多樣性。這過程有如從古典物理過渡到量子物理，凡是都先來骰個骰子吧。而這個改變又碰觸到人類面對不確定性的痛點。

同樣的，人們對 AI 的期望也不是智慧，而是確定性。但這裡不賣雞湯，我也不是什麼心靈導師要大家擁抱不確定性。而是面對不確定性的時候，如何使用工具 ( AI ) 將混亂度 ( 熵值 ) 降低。

最後，我認為要 AI 回答「我不知道」僅是人類將自身意志投射到 LLM 的結果。

覺得這件事很重要的人不懂 AI，覺得這件事不重要的不懂人類。

自己贊助自己
我開了 AI 學習社群

有追蹤臉書的朋友應該知道我研究 Make 自動化系統有一段時間了。如果 Chat-GPT 是個不會喊累的博士，工作流則是能讓一群博士不分日夜地，像流水線般自動化的為您工作的系統。

相信大家也聽我介紹很多 AI 工具，常常有種怎麼也學不完的挫敗感。但 Make 這個工具是我今年投入時間學習後獲得最大成效的工具。因為它可以把我先前介紹過的工具黏合起來變成全新的物種，就像樂高一樣。

👇 可以參考最新的教學影片理解工作流是如何運作的，

這個工作流的成果展示：https://lihi.cc/C57bN
可以直接複製我的 Notion 模板，省去建資料庫的時間

期待在社群中見到你。