中国·金沙JS(集团)官网-SANDS

JS金沙产品及服务 AI原生赋能平台 智算基础设施 AI算力调度与加速平台 JS金沙DeepSeek版 DC·AI生态创新中心 行业解决方案 汽车 金融 医疗医药 合作伙伴 产品技术伙伴 联盟合作伙伴 金沙(集团)有限公司-Sands Casino in Macao JS金沙集团 关于我们 企业文化 ESG 联系我们 中国·金沙集团(股份)有限公司-官方网站 js金沙集团老品牌
2026/11/22
金沙js集团 腾讯混元团队问答:小模型路线与架构取舍详解

# 腾讯金沙js集团——点击直达本站首页。混元团队以上内容供参考,更多资讯见 金沙js集团。问答:小模型路线同系列更多内容在 金沙js集团。与架构取舍详解 **问:下一代混元模型是否会大幅扩容?小型模型是否在计划中?** 答:是的。下一代 Hy 模型规模将显著扩大,但小规模模型早已在路线图上。我们已确认将推出 Hy4-mini,并正在考虑 24–31B 的稠密模型及 35B 参数级的 Flash-Lite 模型。此外,更小的图像模型(5–12B)和新一代视频模型也在规划中,旨在平衡性能与部署成本。 **问:为何不追求千亿级甚至万亿级参数,而是坚持 700B 左右?** 答:Hy3 和 Hy4 的实践表明,扎实的中小模型往往优于单纯的超大模型,且成本更低、学习收益更高。我们坚持 Scaling Law,但更看重效率。对于过于稀疏的 MoE 架构(如激活参数过低),我们持保留态度,因为推理时显存占用高而算力利用率低,反而不如激活参数更多的模型友好。 **问:架构设计有何具体取舍?为何最终选择 MLA 而非 GQA?** 答:我们在 GQA 和 MLA 间做了长期权衡。虽然 MLA 计算强度较高,但在引入 DSA(动态稀疏注意力)后,降低了编码阶段的计算压力,且同显存下模型质量优于 GQA。对于本地部署,我们会根据边缘设备硬件特性重新设计架构,以适配低带宽环境。 **问:开源模型如何平衡安全与功能?是否会出现过度拒绝?** 答:安全是底线,我们通过有害数据过滤、训练防护和红队评估来推进负责任的开源。在网络安全训练中,我们侧重漏洞分析与修复,排除进攻性攻击数据。目前 Red Teaming 发现模型有时仍存在过度拒绝,这是我们重点改进的方向。我们将持续优化,减少误伤,同时防止模型被滥用。 **问:开发者关心的工具调用和长上下文问题如何解决?** 答:在工具调用准确性上,我们投入了大量强化学习数据,涵盖高难度案例,并采用细粒度奖励机制惩罚关键错误。在长上下文方面,我们正扩展训练长度并提升上下文压缩能力。针对“过度思考”问题,我们已将部分能力蒸馏至 Hy4 Flash 版本,通过强化学习缩短思维链长度,提升响应速度。 **问:未来如何避免写作能力退化,提升人类化表达?** 答:我们已注意到近期部分模型写作风格趋于套路化的问题。未来将把创意写作和可读性作为重点改进方向,调整训练目标,力求输出更像人类的自然表达,而非机械化的代码或文档风格。同时,我们也在积极学习社区反馈,优化不可验证指令的遵循能力。

金沙js集团 腾讯混元团队问答:小模型路线与架构取舍详解
中国·金沙JS(集团)官网-SANDS|http://www.shlana.com