
DeepSeek发布新论文,梁文锋参与签字。
1月1日音讯,DeepSeek发布了一篇新论文,建议了一种名为mHC(流形拘谨超运动)的新架构。该研讨旨在处理传统超运动在大规模模子历练中的不安详性问题,同期保捏其显耀的性能增益。这篇论文的第一作家有三位:Zhenda Xie(解振达)、Yixuan Wei(韦毅轩)、Huanqi Cao。值得沉着的是,DeepSeek首创东谈主梁文锋也在作家名单中。

论文纲目指出,近来,以超运动(HC)为代表的研讨通过拓宽残差流宽度和千般化运动花样,拓展了当年十年间开导的大批选拔的残差运动范式。天然这些考订带来了显耀的性能普及,但运动花样的千般化从根柢上减弱了残差运动固有的恒等映射特色,导致严重的历练不安详性与受限的可扩张性,同期还形成了显耀的内存拜访支出。为了处理这些问题,DeepSeek建议了流形拘谨超运动(mHC)——一种通用框架,大概将HC的残差运动空间投影到特定流形上,从而规复恒等映射特色,并交融严格的基础设施优化以确保滥觞效率。实证践诺标明,mHC大概灵验守旧大规模历练,在提供光显性能普及的同期具备更优的可扩张性。DeepSeek臆测,mHC四肢HC的一种生动而实用的拓展,将有助于深化对拓扑架构联想的瓦解,并为基座模子的演进指明裕如出路的标的。
里面大规模历练放胆表示,mHC可灵验守旧规模化历练,当扩张率????=4时,仅带来6.7%的迥殊时分支出。

图为残差运动范式的透露图。本图对比了 (a) 范例残差运动、(b) 超运动 以及 (c) 流形拘谨超运动的结构联想。与无拘谨的HC不同,mHC通过将运动矩阵投影到一个拘谨流形上,专注于优化残差运动空间,从而确保历练的安详性。
论文在论断与瞻望部分指出,实证放胆标明,mHC能灵验规复恒等映射特色,相较于传统HC,能以更优的可扩张性完竣安详的大规模历练。要津的是,通过高效的基础设施级优化,mHC以可忽略的打算支出完竣了上述考订。
论文还指出,四肢HC范式的广义拓展,mHC为将来研讨开辟了多个蹙迫标的:天然本研讨选拔双立地矩阵确保安详性,但该框架可兼容针对特定学习主义联想的多种流形拘谨探索;臆测对各别化几何拘谨的深远研讨可能催生能更好衡量可塑性—安详性联系的新行为。此外,DeepSeek但愿mHC能重新激勉学界对宏不雅架构联想的和顺。通过深化对拓扑结构若何影响优化与表征学习的瓦解,mHC将有助于突破现存局限,并可能为下一代基础架构的演进指明新旅途。
近期,DeepSeek动作不停。2025年12月1日,DeepSeek同期发布两个郑再版模子:DeepSeek-V3.2和DeepSeek-V3.2-Speciale。
DeepSeek透露,DeepSeek-V3.2的主义是均衡推理能力与输出长度,稳健正常使用,举例问答场景和通用Agent任务场景。在公开的推理类Benchmark测试中,DeepSeek-V3.2达到了GPT-5的水平,仅略低于Gemini-3.0-Pro;比较Kimi-K2-Thinking,V3.2的输出长度大幅缩短,显耀减少了打算支出与用户恭候时分。
DeepSeek-V3.2-Speciale是DeepSeek-V3.2的长想考增强版,同期联结了DeepSeek-Math-V2的定瓦解说能力。该模子具备出色的提醒奴隶、严谨的数学解说与逻辑考证能力,在主流推理基准测试上的性能发挥失色Gemini-3.0-Pro。
2025年9月29日,DeepSeek晓示,厚爱发布DeepSeek-V3.2-Exp模子。四肢迈向新一代架构的中间武艺,V3.2-Exp在V3.1-Terminus的基础上引入了DeepSeek Sparse Attention(一种寥落沉效用机制),针对长文本的历练和推理效率进行了探索性的优化和考证。同期API大幅度降价。在新的价钱计谋下,开导者调用DeepSeek API的本钱将缩短50%以上。
2025年9月17日,在最新一期的海外巨擘期刊Nature(天然)中,DeepSeek-R1推理模子研辩论文登上了封面。该论文由DeepSeek团队共同完成,梁文锋担任通信作家,初度公开了仅靠强化学习就能激勉大模子推理能力的蹙迫研讨效率。这是中国大模子研讨初度登上Nature封面,亦然民众首个流程完好意思同业评审并发表于巨擘期刊的主流大谈话模子研讨,符号着中国AI技艺在海外科学界获取最高认同。
Nature在其社论中评价谈:“着实通盘主流的大模子齐还莫得流程孤苦同业评审,这一空缺终于被DeepSeek温存。”
笼统自:DeepSeek论文、证券时报此前报谈
校对:王锦程kai云体育app官网版下载官网