快科技7月14日消息，腾讯混元官方宣布推出混元Hy3极致量化版本，单张高端显卡即可本地运行超大规模MoE大模型。
Hy3是腾讯自研混合专家架构旗舰模型，总参数295B，原生推理仅激活21B参数，支持256K超长上下文，在代码生成、智能体调度、长文档理解等任务表现比肩更大规模海外旗舰模型，但原生BF16权重文件达598GB，硬件部署门槛极高。
为降低开发者使用成本，团队完成梯度量化压缩，推出三版适配不同场景的量化方案：
-极限轻量化IQ1_M（1bit）版本权重仅85.5GiB，压缩幅度达6.7倍，单张96GB推理显卡即可完整承载，适合硬件资源有限的本地离线使用；
-Q4_K_M（4bit）量化包体积169.9GiB，双显卡可稳定运行，模型输出精度无限贴近原生满血版本；
-GPTQ Int4版本原生适配vLLM推理框架，依托高并发、低延迟特性，面向企业线上API服务场景。
实测数据显示，本次量化方案在大幅压缩显存占用的同时，模型核心能力衰减控制在极低水平。
4bit版本输出概率分布、Top-K选择与BF16原版基本保持一致，多语言代码、工具调用、长文解读、Agent任务评测成绩几乎无明显下滑。
即便极致压缩的1bit版本，长文本理解能力近乎无损，代码、智能体任务仅小幅回落，完全可以满足日常问答、文档处理、编程辅助等通用需求，打破低比特量化必然大幅降智”的行业痛点。
为进一步优化本地交互流畅度，腾讯针对性开发llama.cpp专属补丁，补齐框架对Hy3原生MTP多令牌投机解码机制的适配。
开启MTP加速后，令牌接受率稳定维持60%左右，1bit量化版本解码速度提升约50%，4bit版本提速接近60%，大幅缓解本地大模型生成卡顿问题。
（）
（来源：站长之家）
免责声明：本站文章部分内容为本站原创，另有部分容来源于第三方或整理自互联网，其中转载部分仅供展示，不拥有所有权，不代表本站观点立场，也不构成任何其他建议，对其内容、文字的真实性、完整性、及时性不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容,不承担相关法律责任。如发现本站文章、图片等内容有涉及版权/违法违规或其他不适合的内容， 请及时联系我们进行处理。
宣传片
QQ：
微信：
公安网备案：苏ICP备2022030477号-15苏州钰尚网络文化传媒有限公司