快科技6月22日消息，京东正式开源JoyAI-VL-Interaction实时视频视觉语言交互模型，这是全球首个全栈开源的视觉交互模型与整套部署系统。
上线即原生适配vLLM-Omni，彻底改变传统多模态模型一问一答”的交互模式，实现AI持续观看实时画面、自主判断、主动响应的流式交互能力。
传统图文/视频大模型均为被动问答模式，需用户主动提问才会分析画面，难以适配实时监控、动态实景场景；该模型实现三重革新：
主动自主判断：持续读取摄像头、监控、直播等实时视频流，自主识别关键事件并主动提醒，无事件时自动保持静默，无需人工触发指令，例如监控识别火情、老人摔倒可即时预警。
低延迟实时响应：面向正在发生的画面流式处理，而非等完整视频上传后复盘，满足安防、实时翻译、直播讲解等对时效性要求高的场景。
前台观测 后台分工协作：遇到复杂推理、代码生成、工具调用等重任务时，可委托后台Agent处理，前台模型不间断持续观测画面，任务完成后无缝接续交互。
不同于多数仅开放模型权重的项目，本次开源包含模型权重、专属交互数据集、完整训练方案、全套可部署工程框架，支持灵活替换语音模块、可视化界面、第三方Agent与业务接口。
兼容摄像头、监控流、直播流多路视频输入，自带长期记忆、语音收发、vLLM快速部署能力，可快速搭建各类实景AI工具：居家老人儿童看护、安防自动预警、直播实时解说、电商导购、智能眼镜无障碍辅助、工业操作指导等。
在覆盖监控预警、实时计数、实时翻译、直播解说等58组真人盲测案例中，对比豆包视频交互助手，整体胜率77.6%；对比Gemini视频交互助手，整体胜率87.9%；安防预警场景对两款竞品达成100%胜率。
这源于交互模型相较传统一问一答”的回合制模型的天然优势：自主交互性长在模型内部，而非依赖外部触发。
（）
（来源：站长之家）
免责声明：本站文章部分内容为本站原创，另有部分容来源于第三方或整理自互联网，其中转载部分仅供展示，不拥有所有权，不代表本站观点立场，也不构成任何其他建议，对其内容、文字的真实性、完整性、及时性不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容,不承担相关法律责任。如发现本站文章、图片等内容有涉及版权/违法违规或其他不适合的内容， 请及时联系我们进行处理。
宣传片
QQ：
微信：
公安网备案：苏ICP备2022030477号-15苏州钰尚网络文化传媒有限公司