Perplexity 发布 Decider v1.3 与 Flash v1.3:内部评测 63 项分类任务平均准确率 91.6%,多语言分类领先 Jev 1.14
要点
Perplexity 发布 Decider v1.3 与 Flash v1.3 决策模型,在 63 项内部分类任务中平均准确率 91.6%,多语言分类领先 Jev 1.14。
在形态上,官方把决策模型定义为一种通用分类器:输入一份内容与若干带候选项的问题,模型为每个问题返回答案的概率分布,支持 Yes/No 二元判断、Multiple choice 自定义多类标签和 Score 有序分值三种问题类型,可用于标签有序或无序的二分类与多分类。官方的定位表述是「以概率而非文字给出答案」,并称决策模型处在大型语言模型与专用分类器之间——它对同一份输入的多个问题在一次前向计算中同时返回概率,避免逐词元生成答案,同时各问题共享计算;而与固定任务分类器不同,决策模型能通过自然语言提示处理新任务。官方称 v1.3 两款模型经由双向注意力、更精选的训练数据与改进的训练配方,在文本与视觉任务上提升了性能与稳健性。
v1.3 还新增了 locate 特性,用于命名实体识别、个人信息识别与抽取式问答:模型从输入内容中抽取文本并返回其在原文中的起始与结束字符位置,未识别到匹配时返回空列表。官方说明,该能力由一个单独的 span head 承担,用改造后的 InfoNCE 损失训练,使每个正确片段的得分高于阈值、错误片段与阈值的关系也被一并约束;训练混合了片段抽取类任务,并把字段描述从短标签变化到详细指令,以让模型学会跟随请求而非记忆固定标签集。官方称,把 locate 适配器合并进主干会在决策请求上造成回退,目前适配器保持不合并,仅在 locate 请求时启用。
评测口径需要特别说明。官方称,两款模型在 Hugging Face Decision Index、Vals AI 的 ClaimBench 与 Artificial Analysis Decision Index 等外部榜单上表现强劲,但这些榜单包含私有任务,可通过反复提交与依据榜单反馈迭代调优来取巧,因此官方另行构建了一套内部评测集,把私有生产任务与取自公开非基准数据集的留出评测结合在一起,覆盖分类、评分、重排与实体抽取等任务,总量超过 200 项,全部以 zero-shot 方式进行,不做任务专项微调,用于检验模型在公开基准之外的真实泛化能力。
标题中的 91.6% 来自这套内部评测中的查询分类环节。Perplexity 内部以多分类头系统处理每条用户查询,先由一个嵌入模型充当特征提取器,再把得到的嵌入送入多个二分类与多标签分类头,例如其中一个头用于判断某条查询是否应触发联网搜索。Perplexity 披露的数字是:在 63 项分类任务上,以前沿大语言模型独立重标参考标签后,Decider v1.3 取得 91.6% 的平均准确率,比其生产环境中的分类器高出 6.54 个百分点;公司同时说明 Decider Flash v1.3 也优于生产基线,而 Decider v1.3 优于 Jev 1.14。需要指明的是,这 63 项任务属于 Perplexity 自有查询分类系统的内部评测,其参考标签由前沿大语言模型重标得出,并非第三方公开基准的通用分类能力。
官方另有一组取自公开数据集的分领域评测,覆盖七个领域:事实核查 6 项、医疗 7 项、网络安全 8 项、编程 16 项、政府 7 项、法律 9 项、金融 9 项,任务形态包括判断某段 Python 程序的时间复杂度,或依据年度财报判断公司非受限现金能否覆盖十二个月内到期的债务本金。官方给出的结果是,Decider v1.3 在全部七个领域领先 Jev 1.14,其中金融领先最多,为 12.9 个百分点,法律领先 9.3 个百分点;Decider Flash v1.3 在金融、编程与法律三个领域落后于 Jev 1.14,在其余领域表现接近。
检索与重排方面,Perplexity 维护有一套检索任务用于评测重排性能:每个任务先用一组嵌入模型从语料中检索出前 50 个候选文档,再用 Decider 重排并与强重排基线 Qwen3-Reranker-8B 对比,采用 zero-shot 的 pointwise 设置,直接对每个查询—文档对独立打分并按相关性排序。官方给出的数字是,在 72 项检索任务上,Decider v1.3 的平均 nDCG@10 为 83.99,比 Qwen3-Reranker-8B 高 1.81 分,比 Jev 1.14 高 2.24 分;在 BEIR 基准上,两款模型分别比 Qwen3-Reranker-8B 高出 8.78 分与 7.05 分。
多语言分类基准由官方构建,包含 8 个公开数据集的 19 项语言特定任务、46,484 个样本,覆盖德语、西班牙语、法语、意大利语、俄语、日语、韩语和中文,任务类型包括意图检测、主题分类、情感分析、自然语言推理、复述检测、冒犯性语言检测与语法可接受性,按每项任务等权计算的语言内平均准确率,Decider v1.3 为 88.16%,Decider Flash v1.3 为 86.50%,Jev 1.14 为 85.41%;Decider v1.3 在全部 8 种语言上高于 Jev 1.14,Flash 版在 6 种语言上高于 Jev 1.14。官方正文在进入该节前给出的总体对照结论是,相对 Jev 1.14,Decider v1.3 高出 1.33 个百分点,Flash 版本低 0.4 个百分点。
抽取能力方面,官方对 locate 功能在 17 项域外任务上做了评测,任务覆盖维基百科、科学论文、网络威胁报告、技术支持、隐私政策、简历与法律合同等域,输入形式包含文本、表格与结构化文档,指令从「person」「email address」这类短标签,到针对表格或支持工单的提问,再到结构化抽取的详细字段描述。NER 与 PII 采用精确片段 F1,抽取式问答采用字符级 F1,结构化抽取采用字段准确率,简历解析取 NER 与 PII 的 F1 平均值。对比对象为通用抽取模型 GLiNER large v2.5(0.5B)、Liquid d1(2B)与 Cloudflare 的 Clairic(参数规模未披露),Decider v1.3 平均得分 69.0,Decider Flash v1.3 为 63.6,Liquid d1 为 43.3,Clairic 为 41.5,GLiNER large v2.5 为 33.6,两款 Decider 在每个类别上均领先。
视觉侧,Decider 自 v1 起原生支持视觉任务。官方为此构建了 5 项任务的评测套件,重点在文档分类,含发票、信件与简历,另含卫星图像分类、纹理分类、宠物品种分类与动物计数,Decider v1.3 在 5 项视觉任务上的平均准确率为 76.99%,比 Jev 1.14 高 1.47 个百分点,Decider Flash v1.3 为 72.77%。
真实请求层面的评测来自 Perplexity Decision API 上线后前 18 天内的 100 万条去重且经 PII 脱敏的请求,由于同一状态可能包含多个问题,实际构成 2,318,887 个独立问题,全部在获得用户明确研究许可的前提下纳入。生产请求没有真值标签,官方改用前沿大模型评判生成参考答案,再度量各模型与之的一致程度。这些请求被分为 10 个任务类别,包括信息抽取、领域分类、情感分析、意图与路由、相关性排序、内容审核、质量与合规审查、实体匹配、业务分析和其他,任务分布不均,信息抽取 425,402 个问题、领域分类 409,564 个、情感分析 344,158 个,三类合计占抽样问题的 50.8%。Decider v1.3 与评判的一致度最高,为 93.98%,Decider v1.2 为 93.68%,Jev 1.14 为 93.35%;在领域分类与情感分析上,Decider v1.3 与 Jev 1.14 的差距分别为 0.34 与 0.07 个百分点。
Decider 并非孤例。TypeSafe AI 于 9 月 16 日推出 Jev 后,决策模型形成了一条快速聚集的产品线:微软推出 Microsoft Decision,OpenAI 推出 Decisions API,Fastino 发布 Glide,Cloudflare Clef 与 Perplexity Decider 采用开放权重,用户可在自有硬件上运行。这类模型不逐 token 生成文本,也不维护对话历史或长上下文,直接返回概率结果,可并行处理问题,因此速度更快、成本更低。TypeSafe AI 由 Diogo Almeida 创立,他曾在 OpenAI 工作,是 RLHF 研究的幕后功臣之一,该研究催生了 ChatGPT;该公司成立两年,已宣布结束隐身状态,并完成由 DCVC 领投的 4,000 万美元种子轮融资。Jev 被定义为「系统一模型」(System One Model),借用心理学中「系统 1」的概念对应快速、直觉式判断,面向固定选项、连续评分或是非概率这类重复决策任务,输出为三类结构化原语:Choice 从预定义选项集合中选择一项,最多支持 255 个选项并返回各选项的概率分布或置信度;Score 在指定数值范围内给出评分并附带置信度信息,官方以 0 至 1 范围的客户流失风险评分举例;Noul 针对预设问题返回校准的是或否概率及置信度,可用于对其他模型结果做二次验证、识别低置信度结论,以及在自动化工作流中设置条件分支。训练上官方称采用「校准决策强化学习」(RLCD),目标是优化置信度与实际正确率的对应关系,例如多次预测给出 70% 置信度时,理论上约 70% 的相关预测应当正确,可用于风险评分、审核分流与模型输出验证。TypeSafe 称在同类结构化任务上,Jev 比前沿大语言模型快 20 至 200 倍,成本低至 40 至 400 分之一,输入 token 定价为每百万个 0.042 美元,因不存在自回归生成过程,输出 token 实际免费;其公布的基准测试数据显示速度最高提升 193.6 倍、成本最高降低 444.6 倍,同时承认这些数字代表实际性能的上限。
评测这一赛道的基础设施也在成形。亚马逊 Strands Agents 团队于 10 月 1 日推出 Strands Decider 2B,已在 GitHub 开源,权重在 Hugging Face 上提供,可在本地 CPU 或 GPU 上运行。该模型以预训练的 Qwen3.5-2B 为「躯干」,用具备评分功能的指针「头部」替换了具备文本生成能力的原有语言模型头部,新头部规模较小、总参数略超一百万,躯干则通过 rank-16 LoRA 适配器微调;在 JevBench 公开数据集上,Strands Decider 2B 在 2B 级别模型中排名第 3,优于所有严格不超过 2B 的竞争对手,在常见硬件上本地运行时决策时延中位数为 113ms,在 NVIDIA GeForce RTX 3090 上执行小型决策任务的中位时延为 153ms。
常见问题
Perplexity Decider v1.3 在内部评测中的表现如何?
Perplexity Decider v1.3 在 63 项分类任务上取得 91.6% 的平均准确率。该结果比 Perplexity 生产环境中的分类器高出 6.54 个百分点,且 Perplexity Decider v1.3 优于 Jev 1.14。
Perplexity Decider v1.3 的多语言分类性能对比 Jev 1.14 有何优势?
Perplexity Decider v1.3 在多语言分类基准中取得 88.16% 的准确率,而 Jev 1.14 为 85.41%。Perplexity Decider v1.3 在全部 8 种语言上高于 Jev 1.14,总体高出 1.33 个百分点。
Perplexity 如何定义决策模型的核心能力?
Perplexity 官方将决策模型定义为一种通用分类器,支持 Yes/No 二元判断、Multiple choice 自定义多类标签和 Score 有序分值三种问题类型。决策模型以概率而非文字给出答案,能在一次前向计算中为多个问题同时返回概率。
Perplexity Decider v1.3 新增了哪些功能特性?
Perplexity Decider v1.3 新增了 locate 特性,用于命名实体识别、个人信息识别与抽取式问答。该能力由一个单独的 span head 承担,能抽取文本并返回其在原文中的起始与结束字符位置,未识别到匹配时返回空列表。




冀公网安备13068102000496号