近期,前 OpenAI 核心研究科学家 Diogo Almeida 发布的 Jev 模型刷屏全球 AI 社区。区别于传统生成式大模型,Jev 主打极速推理、极低成本、毫秒级低时延的高速决策能力,让轻量化端侧决策技术备受行业关注。目前 Jev 已全面开放使用,但仅支持云端 API 调用,无法实现本地离线部署。
就在 Jev 刷屏全网之际,开发者 NandhaKishorM 开源了 Laya,完整复刻 Jev 核心决策逻辑的同时支持端侧离线运行,完美适配硬件端低时延、自主交互的开发场景。进迭时空已率先完成适配验证,在 RISC-V AI CPU K3 芯片上成功跑通 Laya 类 Jev 模型,实现纯本地离线实时决策交互落地。
K3 实测:
离线跑通本地版 Jev
目前,开源版决策模型 Laya 已在 K3 上顺利完成本地离线部署,稳定实现端侧自主交互任务。我们通过经典的贪吃蛇游戏场景,单次决策<110ms,直观验证 K3 对前沿轻量化决策模型的适配能力与实时推理稳定性。
(Laya 仓库链接:https://huggingface.co/convaiinnovations/laya)
全程基于 K3 芯片本地 AI 算力完成离线推理,Laya 实时决策运行策略并输出控制指令
本次成功跑通,不仅是一次直观功能演示,也充分证明了 K3 开源生态适配能力:K3 支持无痛适配 Hugging Face 主流开源模型,在模型能力日新月异的今天,配合日趋成熟的 Vibe Coding 工具,开发者们可以基于 SpaceMit SDK 快速迁移、部署海量最新模型,大幅降低端侧 AI 开发门槛与适配成本。
从游戏 Demo 起步,
看见决策模型的落地未来
当下,AI 行业正迎来革新:区别于传统生成式大模型擅长复杂逻辑推演,以 Jev 为代表的轻量化决策模型则专注决策本身,不生成文本,兼具毫秒级低时延、零幻觉与低成本优势,正成为 AI Agent 与端侧智能的关键前置能力。自 Jev 发布以来,开源社区已从超级玛丽、Minecraft、地铁跑酷等游戏 Demo,延伸至浏览器自动化、移动端操作代理等实用方向。AI Agent 场景存在大量高频、实时的本地判断需求,对轻量化、低延迟的端侧决策算力提出了更高标准。K3 依托自研 AI 软件栈与通用推理架构,可快速适配此类模型,凭借端侧离线、超低时延推理能力与 60TOPS AI 本地算力,可落地更多实用终端场景:
智能广告识别
自动识别、关闭页面弹窗与广告,优化终端使用体验
评论智能风控
智能识别恶意评论,自动折叠、举报,净化交互内容
上下文智能压缩
自动识别有效信息,剔除无效内容,节约 Token 开销
智能端云路由
端云协同智能调度,将轻量化实时任务交由本地模型执行,高效释放端侧算力价值
……
更多 AI 玩法
当前,开源模型迭代持续加速,轻量化决策模型的快速普及落地,硬件的模型适配与兼容能力,正成为端侧 AI 创新落地的核心支撑。未来,进迭时空将持续深耕全球前沿 AI 开源生态,优化 K3 芯片对前沿开源模型的深度适配能力,不断完善 RISC-V端侧 AI 开发底座。以通用、稳定、高效的算力支撑,助力开发者探索各类前沿开源模型,解锁更多智能创新场景。
相关链接
-
Laya仓库链接:https://huggingface.co/convaiinnovations/laya
-
Laya 贪吃蛇 K3 版仓库链接:https://github.com/JiongLab/laya-snake-k3
点击【阅读原文】解锁更多 AI 玩法,欢迎上手体验!
点击下方图标,关注进迭时空 SpacemiT 资讯平台
▼



点森科技 - 科技资讯_数码产品_互联网观察_智能硬件


