设万维读者为首页 广告服务 联系我们 关于万维
简体 繁体 手机版
首页 新闻 视频 博客 论坛 分类广告 购物
版主:纳川
万维读者网 > 天下论坛 > 帖子
AI 测评”现在是 AI 产业里很热的一块。
送交者: mingcheng99 2026年10月12日00:41:59 于 [天下论坛] 发送悄悄话

AI 测评”现在是 AI 产业里很热的一块。原因很直接:模型越来越强,公开考题很快被做满分,各家实验室和企业都缺可信的测量方法。这个赛道大致分成三类玩家。

1. 公开排行榜和独立测评。

  • LMArena(原 Chatbot Arena):靠大量用户匿名对比两个模型投票打分,用户免费使用模型,实验室付费做测评。2025 年 5 月种子轮估值 6 亿美元,2026 年 1 月 A 轮估值 17 亿美元。据 Sacra 估算,2026 年 6 月年化收入约 1 亿美元,有人称它是"AI 界的尼尔森"。

  • Vals AI:专做法律、金融、软件等专业领域的私有考题,由领域专家出题、自动评分,考题失去区分度后就淘汰换新。2026 年 8 月拿到 a16z 领投的 4000 万美元 A 轮,估值 4 亿美元;OpenAI、Google、Meta 发布模型时都引用过它的结果。

  • 另外还有一些非营利机构,比如 Epoch AI 和 METR。

**2. 专家评分和人工数据。**这一类钱最多。Scale AI、Surge AI、Mercor 雇专家给模型输出打分、出难题,用于训练和测评。Meta 2025 年以 143 亿美元买下 Scale 49% 的股份之后,其他实验室为避嫌,转向 Surge、Mercor 等公司。现在的趋势是从"大量普通标注"转向"少量高水平专家",博士级的数学、物理专家很吃香。

**3. 企业测评工具。**Braintrust(估值约 8 亿美元)、Patronus、Galileo 等,帮企业测自己的 AI 应用会不会出错、编造内容(幻觉)。这一类偏工程,竞争也最激烈。

这个赛道有三个核心难题:

  • 考题很快过时:公开基准几个月就被刷满,还可能混进训练数据。

  • 评分本身是否可信:用户投票可以被刷,用 AI 当裁判有偏差。LMArena 也被批评过,说大厂可以私下测很多版本、只公开最好的那个。

  • 从"答题"转向"做事":业界正把重点放到长流程的智能体任务上,这类任务更难打分。


0%(0)
标 题 (必选项):
内 容 (选填项):
实用资讯
回国机票$360起 | 商务舱省$200 | 全球最佳航空公司出炉:海航获五星
海外华人福利!在线看陈建斌《三叉戟》热血归回 豪情筑梦 高清免费看 无地区限制