蓋世汽車訊 基礎模型是大規(guī)模深度學習模型，已在大量通用、未標記的數據上進行了預訓練，可應用于各種任務，例如生成圖像或回答客戶問題。這些模型是ChatGPT和DALL-E等人工智能工具的支柱，但它們可能會提供錯誤或誤導性的信息，在安全攸關的情況下（例如行人接近自動駕駛汽車）這些錯誤信息可能造成嚴重后果。

（圖片來源：麻省理工學院）

據外媒報道，為了幫助防止出現(xiàn)此類錯誤，麻省理工學院（MIT）和MIT-IBM沃森人工智能實驗室（MIT-IBM Watson AI Lab）的研究人員開發(fā)出一種技術，可以在將基礎模型部署到特定任務之前評估其可靠性。

研究人員考慮通過一組彼此略有不同的基礎模型來實現(xiàn)這一目標，然后利用其算法來評估每個模型學習到的關于同一測試數據點的表示（representation）的一致性。如果這些表示一致，則意味著模型可靠。

與最先進的基線方法相比，這種技術能夠更好地體現(xiàn)在各種下游分類任務中基礎模型的可靠性。人們可以利用這種技術來決定是否可以在特定環(huán)境中應用模型，而無需在真實數據集上進行測試。當數據集可能因隱私問題而無法訪問時（例如在醫(yī)療保健環(huán)境中），這可能特別有用。此外，該技術還可用于根據可靠性評分對模型進行排名，從而使用戶能夠為其任務選擇最佳模型。

研究人員Navid Azizan表示：“所有模型都可能出錯，但知道自己什么時候出錯的模型更有用。對于這些基礎模型來說，量化不確定性或可靠性的問題更具挑戰(zhàn)性，因為它們的抽象表示難以進行比較。這種方法允許人們量化表示模型（representation model）對于各種給定輸入數據的可靠性。”

返回第一電動網首頁 >