深势科技部署并实测 Kimi K3.1 Pro:综合成绩居本次参评开源模型首位
深势科技部署并实测:Kimi K3.1 Pro能接住多少科研工作?
深势科技完成 Kimi K3.1 Pro 的推理优化与部署,用户可经 Bohrium Coding Plan 调用;在 100 道科研任务评测中,该模型综合成绩居参评开源模型首位。评测覆盖生物、材料、量子与聚变四方向,八组「模型+执行框架」同题作答,该模型 44% 的任务得分达 60 分及以上。生物序列审计与铝晶界重建两题均获 100 分,聚变题把 β 从约 5.354% 提升至约 5.962%。
在 Kimi K3.1 Pro 开放权重次日,深势科技已完成该模型的推理优化与部署,用户现在可以通过Bohrium Coding Plan调用体验
。
具体步骤请参阅使用指南(或点击阅读原文):
https://dptechnology.feishu.cn/wiki/Jvq9wPXcGixrBGkjFVTc4nnXnD4
。
科学研究对模型的要求,不仅是回答问题,还包括理解科学概念、处理数据、使用计算工具,并给出符合科学规律、能验证的结果。通用能力评测难以充分反映模型在这些环节中的表现,因此需要面向具体科研任务开展科学评测,考察模型能否完成任务、在哪些步骤出现错误,为模型研发团队识别能力短板、改进模型提供依据。
深势科技在生物数据分析、材料建模与性质计算等 AI for Science 场景中,积累了科研任务、数据与科学工具。依托玻尔科研基础设施,深势将这些积累用于评测任务设计与运行环境准备,明确模型需要处理的数据、遵守的科学约束及交付要求。
评测通过独立验证器检查科学结果、任务完成情况与交付规范,再结合代码、工具调用记录和提交产物追溯偏差,为模型团队提供具体的改进线索。
本轮评测
以
Kimi K3.1 Pro
为重点观察对象,覆盖
生物、材料、量子与聚变
四个方向。八组“模型 + 执行框架”组合在同一套 100 道科研任务及统一时间规则下接受评测。
Kimi K3.1 Pro 的综合成绩位居本次参评开源模型首位。
如何搭建
科研评测流程
科研任务中的错误,可能来自概念理解、数据处理、计算方法,也可能出现在工具调用或结果验证环节。仅看最终答案或总分,往往难以区分这些问题。因此,科研评测需要同时具备可执行的任务、配套的科研环境、明确的科学验收标准,以及能够追溯的执行记录。深势科技结合 AI for Science 场景中的科研实践,围绕这些环节搭建评测流程。
从科研问题出发,定义评测任务
。
围绕数据分析、结构建模、性质计算与约束优化等研究环节,将科研问题转化为可执行任务,明确输入数据、可用工具、科学约束和交付要求。评测既检查模型对问题的理解,也考察它能否将理解落实为计算过程和研究结果。
依托 Infra,准备可执行的科研环境
。
Wenyon 管理科研数据集、版本与数据访问,为任务提供明确的数据基础。Sandbox 承载 Agent 的代码运行与科学工具调用,结合科研镜像准备计算依赖。Trisol 提供模型管理与推理部署支持,评测也可以接入模型团队提供的接口。这些基础设施将数据、工具和模型连接起来,支撑科研任务的执行与复核。
依据科学标准,独立核验结果
。
不同任务需要不同的验证方法。数据分析需要核对原始数据、统计定义和计算结果,科学计算需要检查公式、中间数值与最终输出,约束优化则需要同时验证方案是否满足物理条件、是否实现目标。深势通过独立验证器检查科学结果正确性、任务完整性和交付规范,使评分对应到具体的验收证据。
结合执行记录,定位模型短板
。
在结果核验之外,结合工具调用记录、代码、计算过程和提交产物,追溯偏差最早出现的位置,分析问题来自科学理解、方法选择、执行计算,还是检查纠错与交付环节。对于原因尚不明确的问题,再通过针对性提示或同类任务进一步验证,为模型团队确定改进重点提供依据。
从任务设计、环境准备到结果核验与问题诊断,这套科研评测流程将模型表现与具体证据联系起来,帮助模型研发团队识别能力短板、比较版本差异,并验证后续改进是否有效。
图1|深势科技的科研评测流程。Wenyon、Sandbox 与 Trisol 支撑数据管理、任务执行与结果复核;通过独立核验定位能力短板,并在模型改进后复测。
本轮评测的
设置与结果
本轮固定题集共
100题
,覆盖生物、材料、量子与聚变四个方向。
图2|本次评测题集方向及任务&能力
评价对象为
“
模型 + Harness(执行框架)”
。各组使用同一题目清单,每题累计执行上限 8
小时,含模型调用与工具计
算;超时计 0 分,纳入完整题集均分。
Kimi K3.1 Pro:44% 的任务得分达到 60 分及以上。
按完整题集计算,不等同于全部要求通过率。
图3|
八组“模型 + Harness”在同一套 100 道科研任务上的全题均分,按百分制展示。图中标明模型与对应执行框架,版本见文末附表。每题累计 8 小时,超时计 0 分;独立追加尝试不并入。
分领域结果揭示不同任务上的表现。各领域题量与任务构成不同,均分仅描述本次测试。
图4|八组“模型+Harness”在四个科研方向上的分领域均分。颜色采用统一的0–100分刻度,各列最高分加粗,模型顺序与图3一致。各领域任务构成不同,结果描述本轮题集上的表现;计分口径同图3。
走进具体任务
从科学难点到模型表现
以下选取生物序列审计、铝晶界重建和聚变优化三个案例,依次考察
数据核算是否准确、不同条件下的任务是否完成,以及满足物理约束后能实现多少性能改善
。结合原始题面、模型提交与独立验收记录,可以看到模型表现背后的具体证据。案例用于解释具体能力,整体表现仍以完整题集结果为准。
(一)生物研究:给 1.2 亿个 DNA 字符查漏
1. 科学问题与难点
。
本题要求审计约 1.2 亿个字符的拟南芥 TAIR10 参考序列,计算连续性指标,并按不同阈值切除长 N 缺口、重新统计保留片段。难点在于:短 N 串仍需保留并逐个计数,切除与保留的长度必须与原始序列对应,GC 比例也需要采用题目规定的分母。序列很长,并不意味着其中没有尚未确定的碱基。
2. 模型交付差异
。
Kimi K3.1 Pro 正确核算三种阈值下的全部 159 条片段记录,并通过全题验收,获得 100 分。Kimi K3 和 GLM-5.3 各有 39 条记录将“未知碱基数”写成了“连续缺口段数”。例如,一段连续的 18 个 N 应计为 18 个未知碱基,两者却在对应字段填入 1。程序可以运行、表格也可以完整输出,但统计对象已经发生了变化。
图5|从任务原始 FASTA 回查的真实序列片段。a:TAIR10 染色体 1 在 20 bp 缺口切分阈值下的第 9 个保留片段,橙线标示短 N 段的位置;b:该位置的局部序列,包含连续 18 个 N(未知碱基),因短于阈值而保留在片段内,应计为 18 个未知碱基、1 段连续缺口。坐标采用从 0 起算的左闭右开区间,N 段为 [14,723,225, 14,723,243)。
3. 深势如何核验
。
从原始 FASTA 重新计数,逐条核对片段坐标、保留长度及其中的 N 数量,再检查汇总指标和交付文件之间的一致性。这样的核验能把具体错误定位到统计字段,而不只给出一个未通过结论。
4. 评测揭示了什么
。
同样未通过全题验收,也可能对应不同问题。GPT-6.1 Sol 的相关片段计数正确,但交付清单对脚本文件的哈希声明存在冲突。前者需要检查统计定义及其代码实现,后者需要检查交付文件的一致性。该案例体现的是参考序列审计能力,不能据此推断产生了新的生物学发现。
(二)晶界重建:换了条件,还能不能做对?
1. 科学问题与难点
。
本题要求重建理想、未弛豫的铝晶界团簇,覆盖两种晶界、三种相对平移和两种原子合并距离,共 12 种固定条件。模型需要完成晶粒旋转与对齐、边界附近原子合并,并计算指定原子的局部配位和键取向描述符。条件变化会影响原子数量、排列和邻域关系,完成一组结构不能替代其余条件下的计算。
图6|铝晶界题中的实际原子结构:展示 (120) 晶界在三种平移(列)与两种合并距离(行)下的六种构型。由本轮通过验收的 Kimi 结构产物重绘,取 |z| ≤ a/2 薄层作 x–y 投影;a = 4.05 Å,dNN = a/√2。橙色标出 |x| ≤ a 的界面邻域,两侧以青色和蓝色区分。完整任务还包含 (310) 晶界,共 12 种设定。
2. 模型交付差异
。
Kimi K3.1 Pro 的 12 种结构及后续描述符、汇总检查全部通过,获得 100 分。Kimi K3、DeepSeek 和 Qwen 各有 4 种结构通过,这些通过项集中在零平移条件。GLM 和 GPT-6 Astra 的结构重建均覆盖全部 12 种条件,但后续检查仍有扣分,说明结构覆盖与整题完成需要分别评价。
3. 深势如何核验
。
按每一种固定条件独立重建坐标,核对原子数、局部描述符和汇总表,检查不同文件是否描述同一个结构。
4. 评测揭示了什么
。
同一套建模方法能否在不同条件下正确执行,是本题区分模型表现的关键。结构重建通过,也不代表后续描述符计算与汇总全部正确。逐条件、逐层次的验收能够区分条件覆盖不足与后续计算偏差,帮助模型团队定位改进环节。本题考察的是给定 12 种条件下的实现完整性,不能仅凭这些结果推断模型对未测试条件的泛化能力。
(三)聚变设计:守住稳定性,找回性能
1. 科学问题与难点
。
本题从一个已经稳定化、但损失了部分 β 性能的仿星器构型出发,要求调整 72 个边界形状参数,在保持规定压力输入并满足磁场、尺寸和电流等资源条件的同时恢复性能。难点在于形状改变后必须重新求解磁平衡,并搜索不同位置和扰动方向上的局部不稳定性。仅提高 β,或直接采用稳定化前的不稳定构型,都不能满足验收要求。
图7|题目给定的 NCSX 仿星器边界。a:由原始 input.NCSX 的傅里叶系数重建三维边界;b:环向角 φ = 0°、20°、40° 处的 R–Z 截面。图示为任务输入几何,非模型优化结果;本题要求在规定约束下调整边界参数并提升 β。
2. 模型交付差异
。
Kimi K3.1 Pro 提交的候选通过本题局部理想气球模稳定性检查,β 从稳定化基线的约 5.354% 提高至约 5.962%,相对提高约 11.37%,恢复了稳定化前的 β 水平,获得满分。本题各组均通过局部稳定性检查,但优化幅度不同,例如 GLM-5.3、DeepSeek 和 Qwen 相对同一基线分别提高约 8.03%、7.83% 和 2.45%。差异体现在可行条件下达成目标的程度。
3. 深势如何核验
。
评分器读取模型提交的边界系数,独立重算磁平衡、β、资源条件及局部稳定性,不以模型自报的性能作为评分依据。候选与参考构型使用同一套数值协议,先确认满足条件,再衡量性能改善,区分“找到了可行解”和“在可行范围内实现了更好的优化”。
4. 评测揭示了什么
。
这一任务同时考察约束理解、科学工具使用和优化能力。β 表示压力相对于磁场能量的利用程度,本题结果限于规定条件下的固定边界平衡与局部稳定性,不能直接等同于实际聚变功率或工程可实现性的提升。
从任务表现
到改进方向
将任务表现与核验证据对应,才能把分数转化为具体的改进线索。以下归纳三个案例的诊断线索与后续验证方向。
图8|三个案例的诊断线索。独立核验将模型表现对应到具体问题,为模型团队确定改进重点、设计后续验证提供依据。
用科学评测
设置与结果
从生物序列的统计核算,到晶界结构的条件覆盖,再到聚变设计中的约束优化,本轮实测将 Kimi K3.1 Pro 的任务表现与原始数据、计算产物和独立核验结果对应起来。沿着这些证据追踪错误,可以为模型团队定位能力短板、确定改进方向提供依据。
依托科研任务积累与Wenyon、Sandbox、Trisol等基础设施,深势科技面向模型研发团队提供
任务设计、环境准备、独立核验与结果分析
等评测支持。
评测交付包括方法说明、总体与分领域结果、逐题产物及失败分析,帮助研发团队定位问题、确定改进重点,并通过同题复测与版本比较检验改进效果。
欢迎模型研发团队围绕科学能力评测、具体任务诊断与版本改进验证,与深势科技交流。评测合作请联系:infra@dp.tech。
附一:评测口径与资料
成绩范围
:
采用原轮完整题集及累计 8 小时口径;收集、评分与清理另计。独立追加尝试单列,不并入本文图表。案例得分统一换算为百分制;生物案例按全题通过或未通过计 100 分或 0 分,满分仅表示达到该题验收要求。
名称对应
:
Kimi K3.1 Pro 对应归档 Kimi 1021 Preview(kimi-1021-preview);Kimi K3 为独立组。
关于深势科技
深势科技是全球 AI for Science 的开拓者和引领者,公司成立于2018年,在北京、上海、深圳、宜宾等地设有办公室和研发中心。以“加速科学发现,释放科学价值”为使命,致力于打造 AI 科学家(AI Scientist)及自主进行科学发现的智能系统。
以深势·宇知®科学发现智能引擎为基座,深势构建了一系列“读文献、做计算、做实验”的智能科学工具,和各领域的科学智能体,构成了 Science as a Service 智能化科研产品和服务矩阵:玻尔·科学导航,玻尔·勒贝格智算以及 Hermite
®
、Piloteye
®
等一系列研发软件,玻尔·跃迁实验室,SciMaster 科学智能体及面向科学发现的“大装置”和研发服务,为基础科研、生命科学、物质科学等领域的科学家和研发型组织提供深宽兼顾、灵活组合的解决方案。
作为国家高新技术企业、国家专精特新“小巨人”企业,深势科技科研技术团队由中国科学院院士领衔,汇集了超百位数学、物理、化学、生物、材料、计算机等多个领域的优秀青年科学家和工程师,其中博士及博士后在公司成员中占比超过35%。2020年,深势科技核心成员获得全球高性能计算领域的最高奖项“戈登贝尔奖”,相关工作入选2020年中国十大科技进展和全球 AI 领域十大技术突破。
来源:深势科技 · mp.weixin.qq.com