科技 · 创新 · 未来

一台能跑70B大模型的桌面AI工作站,在数贸会被排队围观了

2026年9月,全球数字贸易博览会在杭州大会展中心开幕。2号主题展馆里,中科通量的展位从开展第一天就围了不少人。吸引目光的是一台桌面设备——SmarCo AI工作站。旁边的电脑屏幕上实时显示着当前运行的本地大模型和视频分析画面。有观众凑近看了一会儿,问工作人员:“这真的不是连了云端?”工作人员把网线拔掉,推理照常跑,视频照常解。对方愣了几秒,然后掏出手机开始拍屏幕上的参数。

6ab71bac324aa - AI人工智能 机器学习 深度学习 ChatGPT OpenAI 计算机视觉 NLP


这样的场景,在数贸会几天里反复上演。


为什么一台桌面设备会被围观


过去两年,大模型从云端走向本地,几乎成了行业共识。但共识归共识,真要把模型放在本地跑,门槛并不低。最直接的问题是显存。一张消费级旗舰显卡24GB显存,跑个13B模型勉强够用,到了70B级别,要么多卡并行,要么量化压缩,要么干脆放弃。多卡并行意味着主板、电源、散热全部升级,成本翻倍不说,噪音和功耗也不是普通办公环境能承受的。量化压缩则要牺牲精度,模型能力打折扣。

第二个问题是视频。很多行业场景里,大模型不是孤立存在的,它要和视频流配合工作。智慧园区要实时分析摄像头画面,工业质检要处理产线视频,机器人要边看边决策。这些任务对视频解码能力的要求很高,传统方案里,视频解码和AI推理往往抢同一块显卡资源,顾此失彼。

第三个问题是数据安全。金融、政务、医疗、科研这些领域,数据出本地是红线。模型可以上云,数据不能上云,这个矛盾让很多单位在AI落地时卡在了第一公里。

SmarCo AI工作站切入的,就是这三个问题交叉的地带。


把“服务器级能力”塞进桌面


这台设备的核心是SmarCo GC3高端智算处理器,12个RISC-V核心,数据流架构设计。它没有走传统GPU的路线,而是用统一寻址内存来解决问题。128GB LPDDR5 ECC统一内存,AI计算单元和CPU共享同一个地址空间。这意味着跑大模型时,不需要在显存和内存之间来回搬运数据,70B模型可以直接加载运行,不需要多卡拼接。

6ab71bace7568 - AI人工智能 机器学习 深度学习 ChatGPT OpenAI 计算机视觉 NLP


算力方面,INT8精度下最高250 TOPS。这个数字放在服务器领域不算惊人,但放在桌面级、120W功耗的形态里,性质就不一样了。它意味着一个算法工程师在自己工位上就能完成过去需要申请服务器资源才能做的模型验证。

视频能力是另一个差异化点。设备内置专用视频引擎,支持128路1080p@30fps硬件解码和64路编码。视频解码不占AI算力,AI推理也不影响视频处理,两条流水线并行。对于需要同时处理多路视频流和运行大模型的场景,这种架构设计比堆显卡更合理。

接口方面,PCIe 4.0、HDMI、VGA、UART、I2C、I2S、SDIO、USB、RJ45都有,可以接摄像头、传感器、机器人控制器和各种扩展设备。预装Linux,支持主流AI框架,开箱就能进入开发状态。


谁在买,买来干什么


展位上,工作人员被问得最多的问题是“这个设备到底谁在用?”。

答案比想象中分散。有高校实验室的老师来问,说课题组做具身智能研究,需要一台能同时跑视觉模型和运动控制算法的设备,之前用游戏显卡凑合,但显存不够,多机同步又麻烦。有做AIGC内容生成的小团队来问,说现在用云端API生成内容,token消耗是持续成本,量大了以后越来越吃力,想找一台能本地跑模型、长期算账更划算的设备。还有银行科技部门的观众,说总行要求大模型本地化试点,但机房没空间放服务器,桌面设备如果能达标,推进起来会快很多。

6ab71bad5be77 - AI人工智能 机器学习 深度学习 ChatGPT OpenAI 计算机视觉 NLP


一个比较典型的场景是机器人研发。机器人本体上通常不会装高功耗的计算设备,算法验证阶段需要外接算力。传统做法是背一台工控机或者服务器,移动不方便,噪音也大。SmarCo AI工作站的体积和功耗,让它可以放在实验台上,通过PCIe和USB连接传感器和运动控制器,实时跑视觉推理和路径规划。有做低速无人车的团队在现场算了笔账:以前车上要放工控机加显卡,现在一台设备搞定,功耗降了一半,调试效率反而高了。

另一个被反复提及的场景是视频AI。智慧城市、高速公路、电网这些领域,摄像头数量多,视频回传带宽有限,很多分析任务需要在边缘侧完成。传统边缘服务器要么算力不够,要么视频解码能力弱。SmarCo AI工作站128路硬解码的能力,让一台设备可以同时处理一个中小型园区的视频流,并且在这个基础上跑行为分析、目标检测等模型。


本地AI的“最后一公里”


数贸会期间,中科通量展位上,SmarCo AI工作站与SmarCo AI数字员工、AI NAS存储一体机、智能视频编码一体机等产品一同亮相,各自吸引着不同需求的观众。其中,围绕本地算力和大模型部署的交流,让工作站区域始终保持着较高的人气。不少观众在实时演示区前排队上手体验,有人测试本地大模型推理,有人尝试实时视频分析,还有人仔细询问功耗、接口和软件兼容性。

6ab71badc439b - AI人工智能 机器学习 深度学习 ChatGPT OpenAI 计算机视觉 NLP


这背后反映的,可能是本地AI落地的一个真实阶段。大模型的能力已经被验证,行业需求也明确,但把模型放到业务现场这件事,一直缺少合适的算力载体。云端方案有延迟和合规问题,服务器方案有成本和空间问题,消费级方案有性能和可靠性问题。SmarCo AI工作站试图在这个空档里找到一个位置:桌面级的形态,服务器级的内存和视频能力,本地化的数据安全,以及一个开放可开发的软件环境。

它不是万能解,但在很多具体场景里,它可能是当前最不别扭的那个选择。这大概也是为什么一台外观炫酷、参数扎实的桌面设备,能在数贸会上被围观的原因。人们围观的不是参数,是一个终于能放在手边跑起来的AI。




END




往期推荐



未经允许不得转载:点森科技 - 科技资讯_数码产品_互联网观察_智能硬件 » 一台能跑70B大模型的桌面AI工作站,在数贸会被排队围观了

分享到: 生成海报