人工智慧安全關鍵概念：機器學習中的可靠不確定性量化

關鍵章節標題列表

1. 引言
2. 可靠量化不確定性的挑戰
3. 理解分佈偏移
4. 準確刻畫不確定性
5. 不確定性量化的現有方法
6. 確定性方法
7. 模型集成
8. conformal預測
9. 貝葉斯推理
10. 不確定性量化的實踐考量
11. 展望

文件簡介

過去十年機器學習研究的快速發展催生了能力驚人但可靠性飽受詬病的系統，此類系統表現不均衡的問題給其現實場景部署帶來重大挑戰。構建知其不知的機器學習系統——即能夠識別並應對自身易出錯場景的系統，成為解決這一問題的直觀路徑，而這一目標在技術層面被定義為不確定性量化，也是機器學習領域一項開放且廣受關注的研究課題。

本報告作為人工智能安全系列的第五份研究成果，系統介紹了不確定性量化的工作原理、核心難點與未來前景。報告首先闡釋了校準的關鍵概念，即機器學習模型的預測不確定性應與預測錯誤概率相匹配，並通過校準曲線展示了欠自信、校準良好和過度自信三種模型狀態，以醫療影像診斷為例說明了校準良好系統的實用價值。

分佈偏移是不確定性量化面臨的核心現實挑戰，指模型部署後遇到的數據分佈與訓練階段存在差異，這種差異難以預見、檢測和精確定義，導致在實驗室中表現良好的校準模型在複雜現實環境中可能失效。同時，傳統機器學習模型的概率輸出存在固有缺陷，既無法保證與實際正確率的關聯性，也難以表達以上皆非的未知場景，進一步加劇了量化難度。

報告詳細梳理了四類主流不確定性量化方法：確定性方法、模型集成、conformal預測和貝葉斯推理，分別分析了各類方法的技術原理、優勢與局限。確定性方法通過訓練引導模型對非訓練數據表現出高不確定性，但難以覆蓋所有現實複雜場景；模型集成通過組合多個模型預測結果提升準確性和不確定性估計效果，但缺乏普適性驗證機制；conformal預測具備數學可靠性保證，但依賴無分佈偏移的前提假設；貝葉斯推理提供了理論上嚴謹的框架，但在現代機器學習模型中難以精確實現。

在實踐應用層面，不確定性量化方法可作為標準訓練流程的附加組件，為部署系統增添安全層，但需充分考慮人機交互設計，確保人類操作者能夠有效解讀和運用不確定性估計結果。同時，必須認識到現有方法均非萬能解決方案，不能因使用不確定性估計而產生虛假的信心，系統設計需充分考量未知風險。

儘管可靠量化不確定性面臨根本性挑戰，且可能永遠無法實現完全確定性的知其不知，但相關領域的研究已在提升機器學習系統可靠性和魯棒性方面取得顯著進展，未來有望從基礎研究領域轉向實際工程挑戰，為大型語言模型等AI系統的安全、可靠和可解釋性提升發揮關鍵作用。