設萬維讀者為首頁 廣告服務 聯繫我們 關於萬維
簡體 繁體 手機版
首頁 新聞 視頻 博客 論壇 分類廣告 購物
版主:納川
萬維讀者網 > 天下論壇 > 帖子
AI 測評”現在是 AI 產業里很熱的一塊。
送交者: mingcheng99 2026年10月12日00:41:59 於 [天下論壇] 發送悄悄話

AI 測評”現在是 AI 產業里很熱的一塊。原因很直接:模型越來越強,公開考題很快被做滿分,各家實驗室和企業都缺可信的測量方法。這個賽道大致分成三類玩家。

1. 公開排行榜和獨立測評。

  • LMArena(原 Chatbot Arena):靠大量用戶匿名對比兩個模型投票打分,用戶免費使用模型,實驗室付費做測評。2025 年 5 月種子輪估值 6 億美元,2026 年 1 月 A 輪估值 17 億美元。據 Sacra 估算,2026 年 6 月年化收入約 1 億美元,有人稱它是"AI 界的尼爾森"。

  • Vals AI:專做法律、金融、軟件等專業領域的私有考題,由領域專家出題、自動評分,考題失去區分度後就淘汰換新。2026 年 8 月拿到 a16z 領投的 4000 萬美元 A 輪,估值 4 億美元;OpenAI、Google、Meta 發布模型時都引用過它的結果。

  • 另外還有一些非營利機構,比如 Epoch AI 和 METR。

**2. 專家評分和人工數據。**這一類錢最多。Scale AI、Surge AI、Mercor 雇專家給模型輸出打分、出難題,用於訓練和測評。Meta 2025 年以 143 億美元買下 Scale 49% 的股份之後,其他實驗室為避嫌,轉向 Surge、Mercor 等公司。現在的趨勢是從"大量普通標註"轉向"少量高水平專家",博士級的數學、物理專家很吃香。

**3. 企業測評工具。**Braintrust(估值約 8 億美元)、Patronus、Galileo 等,幫企業測自己的 AI 應用會不會出錯、編造內容(幻覺)。這一類偏工程,競爭也最激烈。

這個賽道有三個核心難題:

  • 考題很快過時:公開基準幾個月就被刷滿,還可能混進訓練數據。

  • 評分本身是否可信:用戶投票可以被刷,用 AI 當裁判有偏差。LMArena 也被批評過,說大廠可以私下測很多版本、只公開最好的那個。

  • 從"答題"轉向"做事":業界正把重點放到長流程的智能體任務上,這類任務更難打分。


0%(0)
標 題 (必選項):
內 容 (選填項):
實用資訊
回國機票$360起 | 商務艙省$200 | 全球最佳航空公司出爐:海航獲五星
海外華人福利!在線看陳建斌《三叉戟》熱血歸回 豪情築夢 高清免費看 無地區限制