当Agent开始“动手”,服务器操作系统如何跟上AI的速度?

不急着造Agent OS,先把承重墙立起来

 

当Agent开始“动手”,服务器操作系统如何跟上AI的速度?

不急着造Agent OS,先把承重墙立起来

文|白   鸽

编|王一粟

AI大模型的浪潮下,当数据中心的硬件和上层应用都在变化,中间层的操作系统自然也要改变。

“人可能一秒钟能发出一个指令,而大模型会发出一万个指令。”开放原子开源基金会孵化的明星社区openEuler委员会主席熊伟如此说道。速度变了,很多事情就跟着变了。

当Agent开始“动手”,服务器操作系统如何跟上AI的速度?

开放原子开源基金会孵化的明星社区openEuler委员会主席熊伟

以前,软件先开发、测试、审计,再交付使用,人点一下,计算机执行一步。现在,模型可以临时生成指令,Agent接到后马上执行。

而一项复杂工作还可能被拆成多个子任务,交给多个Agent同时处理,底层系统要应付的,就不再只是“多跑几个程序”,而是大量随时创建、很快结束、执行路径又不完全确定的任务。

与此同时,硬件基础设施也在随着AI大模型时代的到来发生改变,为了支撑AI训练和推理,越来越多计算、内存和加速卡需要放在一起协同工作,超节点也随之逐渐成为主流设施。

但把多台机器连起来,和把它们真正当成一台机器来用,是两回事,后者还需要操作系统统一管理内存、算力和数据传输等等。

一边是Agent带来的新任务,一边是超节点带来的新硬件。

问题由此落到操作系统身上:当模型成为新的“指令发出者”,当Agent成为新的“任务执行者”,当超节点成为新的硬件形态,过去围绕单机和人工操作建立的基础软件体系,还能否跟得上?

“如果没有操作系统介入和改造、同步做优化,是实现不了的。所以一定需要操作系统来发力。”openEuler社区委员会执行总监刘飞如此直言道。

这也是openEuler此次升级要解决的问题。

11月13日,openEuler发布openEuler 24.03 LTS SP5版本,并宣布升级为面向Agentic Infra的操作系统,提供沙箱、KV Cache、记忆系统和Agent安全等能力。

简单说,就是一边降低模型生成Token的成本,一边让Agent执行任务时更快、更安全。

当然,openEuler也并没有把答案简单归结为再造一个“Agent OS”,而是试图从硬件、执行环境、数据路径和安全边界几个层面,重新解释操作系统在AI时代的位置。

那么,当大模型能“想”、Agent能“干活儿”,操作系统该如何跟上,openEuler又能否通过Agentic Infra给出自己的答案?

Agent从“说”到“做” 操作系统被推到执行现场

“去年和今年是整个历史分水岭,不光是AI的分水岭,是整个人类历史上分水岭。”熊伟如此说道。

在其看来,核心变化主要来自于两方面:

其一,模型能力发生了变化。他认为,在DeepSeek出现之前,模型以闭源为主,之后,开源与闭源模型可以共生,模型能力更加泛化。用他自己的比喻,就是AI的“大脑比较强健”了。

其二,Agent把模型的输出变成了实际行动。大模型本身接收和输出的仍然是Token、字符串或向量值,就像人只有思想,思想不会自动变成动作。

而Agent则负责把这些输出解析成具体任务并执行,比如模型提出“发一封邮件”,Agent继续确定发给谁、发什么、何时发,最后调用邮件系统完成操作。

所以熊伟认为,Agent本质上就是一个小程序,它真正改变世界的地方,是把大脑和四肢的动作形成了有机结合。

这个变化看似只是多了一层应用,实际上把操作系统推到了执行现场。

毕竟,“会做事”和“会生成”,对底层系统的要求并不相同。操作系统面对的,也就不再只是一次请求需要多少资源,而是一整个执行过程怎么调度、怎么隔离、怎么保障安全。

最直观的挑战是速度。随着AI推理和Agent应用增加,执行环境的创建与调度压力也随之上升。

一般来说,传统虚拟机可以长期运行,启动稍慢往往还能接受,但Agent任务可能集中到来,每个任务又需要独立环境,有的几秒就结束。

如果大量时间和资源都花在创建环境、调度任务上,模型算得再快,执行端也可能跟不上。而Agent想要实现连续工作,除了跑得快,还要记得前面发生了什么。

熊伟举例说,先问天气、再问订票,如果天气很差,模型可能会推荐车票而不是飞机。这就是上下文和记忆能力,如果前面的信息无法保留,后续任务就很难连贯执行。

其中,KV Cache则是影响大模型推理效率的重要环节之一,它主要保存和复用模型推理中的中间结果,减少重复计算和数据搬运。

这些能力看起来像AI推理层的优化,但当Agent要连续执行多步任务时,缓存和记忆就变成了基础设施能力,若每个Agent应用自己重复造轮子,成本和体验都撑不住。

另外,在安全层面,如果Agent执行动作,就可能出现越权、出错甚至有害等问题。对此,熊伟认为:大脑发的指令有可能错乱,甚至有害,所以需要把Agent的运行限制在一定程度内。

而沙箱,本质就是把Agent的应用动作装在沙箱里执行,经过权限认证才允许执行,越权或有害操作要被固住、被阻止。

这里有一个容易被忽略的判断,即沙箱不是Agent应用自己写规则就能解决的事,允许运行什么、不允许运行什么,最终是操作系统才能控制的基础能力。

当然,上层任务在变,底层硬件也在变,超节点就是一个集中体现。

过去,一个集群里有很多服务器,各自管理自己的CPU、内存和加速卡。机器之间要传数据,通常得走网络。AI任务的数据量一大,数据搬来搬去就可能拖慢整个系统。

超节点则想把多台机器连接得更紧,让它们在使用上更接近一台大机器。刘飞对此表示:“以前分布式只是大家协同,现在真的变成一台机器了。”

当Agent开始“动手”,服务器操作系统如何跟上AI的速度?

OpenAtom openEuler委员会执行总监刘飞

对操作系统来说,这不只是管理的机器变多了,而是资源管理方式变了。过去更多是协调多台独立服务器,现在则要尽量统一调度它们的内存、算力和数据传输。

这里经常提到“统一内存编址”,用大白话说,就是给不同机器上的内存统一编号,让系统知道每份数据在哪里。但知道地址,只是第一步。刘飞认为:“统一内存编址是最基础的能力,它只是开始,不是结束。内存编址之后要干什么?要管理、要调度。”

就像一个城市里的仓库都有了统一门牌号,货怎么放、车怎么走、急件先送哪一单,还得有人管。没有好的调度,货照样可能绕远路,车也可能堵在路上。

更麻烦的是,超节点不是“把机器连起来”这么简单。

熊伟表示:超节点有POSIX接口语义,语义很繁复,栈很深。如果按照传统硬件模式去处理超节点,超节点自身的优势可能被历史包袱拖累。

所以基于超节点新型硬件架构,可能要创造新的软件接口,也就是“超节点native”。但新方式可能带来软件不兼容,原始软件跑不上来,或者跑上来很艰难、性能不理想。

毕竟,很多传统软件并不是为超节点设计的,通过兼容层,它们可以运行,却未必跑得好。熊伟因此提出:“原则上,你的软件应该从设计开始就应该考虑超节点的架构。”

支持一款硬件,不等于现有软件都能用好这款硬件,这才是超节点生态真正难的地方。

不过,无论Agent还是超节点,都不意味着操作系统要推倒重来。熊伟说:“目前为止,所有的操作系统还是基于原先的能力进行持续演进。”

管理CPU、内存、存储和网络,控制进程和权限,这些基本工作没有消失。变化在于,资源管理要从单机扩展到跨节点,任务调度要适应大量短生命周期的Agent,权限控制还要面对模型临时生成的指令。

从这个角度看,AI带给操作系统的并不是一次推倒重来的革命,而是一次职责扩展:它不用变成Agent,也不必包办Agent“大脑”和工作流程,但必须让Agent跑得起来、跑得快、跑得安全。

不急着造Agent OS 先把承重墙立起来

面对这些变化,openEuler没有先造一个“Agent OS”的大概念,而是选择从具体问题入手。

“你先明确问题是啥,不要讲大框架,不要讲大故事,不要讲大概念,一个一个把问题都逐个解决,最终会发现你的大楼,毛坯房建好了,剩下就是一些业务和场景做精装修。”熊伟说道。

就像openEuler对Agentic Infra的定义也很收敛,就是先增强操作系统底座,再联合其他社区构建垂直方案,共同组成AI运行所需的基础设施。其中,openGauss、openFuyao等项目都需要协同,并不是操作系统社区单独就能完成。

熊伟用“柱子”和“承重墙”来形容这些能力,如沙箱、KV Cache是当前关键的几根“柱子”,未来还可能加入大模型路由等新方案。

落到具体的工作上,openEuler主要做两件事:

一件是继续完善超节点OS能力,把多台机器的资源管好。据大会发布,2025年openEuler发布全球首个支持超节点的操作系统,目前已有多家伙伴发布基于openEuler的超节点OS商业版本。

另一件是在超节点OS之上,补齐Agent运行所需的基础设施。此次发布的面向Agentic Infra的操作系统,主要包括沙箱、KV Cache、记忆系统和Agent安全等能力。

当Agent开始“动手”,服务器操作系统如何跟上AI的速度?

这也是此次openEuler所发布的面向Agentic Infra的操作系统核心能力,既能够向下支持超节点,实现跨节点内存、算力与数据资源的统一管理和协同调度,向上则能够支撑Agent运行,提供沙箱、KV Cache、记忆系统与Agent安全等关键能力。

对客户来说,这意味着不必为了用Agent能力先换一整套超节点硬件,降低了落地门槛,对生态来说,也给了不同伙伴各自切入的空间。

那么,明确了超节点OS与Agentic Infra的分工后,接下来的问题便是,这些能力怎样解决前面提到的速度、安全和成本难题?

在Agentic Infra的几项能力中,沙箱最能说明,技术落地并没有概念听起来那么简单。

沙箱首先被寄予的期待是安全,但熊伟并不回避它的“出身”:“沙箱不是一个新技术,它本身就是虚拟化,和我们传统的虚拟化,从本质上没有任何区别。”

它也不是天然比虚拟机更安全,“安全性两者基本等同,而是在于适应大模型发指令的速度。”

也就是说,openEuler要解决的不是“有没有一个隔离环境”,而是这个环境能不能足够轻、启动足够快,还能同时开很多个。

方向看起来清楚,真做起来,第一道坎却是路线之争。刘飞回忆这段探索时说:“目前最大的坑是路线之争,沙箱的技术路线有好多个分支,到底用哪个?”

比如已有的Kata Containers有自己的生态,E2B等新方案也在出现。不同路线各有用户,也各有优缺点,操作系统如果只支持其中一种,另一边的人怎么办?如果全部支持,适配和优化成本又会增加。

最终,openEuler最后都支持,刘飞认为:“生态是包容、兼容、演进的,不是非黑即白。”这个选择避免了替用户选边,但接下来的工作并不轻松。

不同沙箱都要能用,还得尽量好用,公共能力就应该尽量放在操作系统里做。刘飞解释:“这些沙箱要做好,都依赖我们对文件系统的修改、内存管理的修改和优化,包括安全的优化。”如果只在上层做沙箱管理,不调整操作系统,启动、并发和隔离能力很难同时做好。

openEuler技术委员会委员陈亚强也介绍,沙箱主要看三个指标:“启动、并发和超分。”启动快不快,同时能运行多少个,同样一批资源能承载多少任务,都直接关系到使用体验和成本。

为此,openEuler在文件系统、内存管理和资源调度上做了多项优化。刘飞用懒加载举例:“传统方式是全量加载,很慢。现在可以用懒加载,先把关键部分加载,随着需要慢慢加载。”

在此基础上,再通过内存压缩等方式改善冷启动、热启动和镜像恢复。在超节点上,还要把计算、内存、存储和网络放在一起协调。据披露,沙箱加速引擎可带来20%—30%的超分比收益,而且不限定某一种沙箱形态。

当然,安全也不能只靠Agent自己判断。

陈亚强提到,如果只在Agent Runtime层根据用户意图做权限控制,可能受到“破甲”等方式攻击。因此还要“在操作系统层面,先把权限的边界保护好”。

这两层分工很好理解:Agent自己判断“想做什么”,操作系统决定“实际允许做什么”。哪怕模型判断错了,也不应该轻易拿到删除文件、访问隐私数据的权限。

当然,这并不能解决模型幻觉。模型说错话,操作系统未必能识别;但如果它因此要做危险操作,操作系统可以多拦一道。

另一个麻烦是KV Cache,它需要速度快,也需要足够大的空间。但高速的片上内存价格高、容量有限;如果数据频繁在不同加速卡之间搬运,又会增加等待时间。

“片上内存非常贵,而且不够。”刘飞说,“所以我们要做多级缓存:上面片上内存,中间DDR,下面SSD……”

说白了,就是速度快的存储贵,容量大的存储又相对慢。操作系统要做的,是把常用的数据尽量放在快的层里,同时利用更大的存储空间,减少数据反复搬运带来的等待。

社区还在研究两项配合工作:GPU、NPU忙不过来时,能否把部分工作交给CPU;算子下发这类逻辑性较强的工作,能否更好地利用CPU。目的不是让CPU取代AI加速卡,而是让不同芯片各做擅长的事,减少等待和浪费。

而在超节点这边,openEuler南向要解决两件事:一是把硬件在一定程度上弥合,保证南向兼容性;二是支持超节点新产业生态的形成。

但熊伟没有回避中间路线的代价:生态不是对硬件支持——硬件支持起来并不那么难,真正难的是用起来、用好。中间软件隔离层能让传统软件跑起来,但效果差、性价比不够。

真正要用好超节点,软件从设计阶段就得考虑新架构、新接口,否则硬件能力释放不出来,生态就停留在“能跑”而不是“好用”。

从这些工作可以看出,openEuler并没有把Agent的“大脑”搬进操作系统,它更关心的是,Agent运行时,脚下有没有合适的执行环境,数据能不能少绕路,权限能不能管得住。

技术有没有用 先看生产环境里的几笔账

基础设施技术讲得再复杂,最后都要接受生产环境的检验。

据熊伟介绍,openEuler与京东去年就开始联创,今年则把核心场景拿出来,双方协同构建超节点OS和KV Cache核心能力,其中京东618广告、双十一已经切了非常多的流量比例到超节点上。

那么,为什么京东需要超节点?

原因在于,对于互联网企业来说,时延是一个非常要命的指标,如果在双十一期间,抢购慢多少毫秒,用户可能就划走了,每减少一毫秒时延都是实在的利润。

而实验的过程也很实际,即先在大促中接一部分流量,确认效果,再扩大使用范围。据京东现场介绍,相关实践实现了15%的时延降低。

当Agent开始“动手”,服务器操作系统如何跟上AI的速度?

从行业视角看,这也是Agentic Infra能否成立的关键检验,即如果沙箱、KV Cache、记忆系统这些能力不能帮客户省时延、降成本、提效率,那再漂亮的技术叙事也撑不住。

据悉,目前openEuler面向Agentic Infra的操作系统已经在互联网、金融等行业头部用户商用落地。

市场层面,openEuler系操作系统国内累计装机量预计突破2200万套,沙利文预测2026年在中国服务器操作系统新增市场份额将攀升至61%。其开源社区也已经汇聚2200+成员单位、超3万名开源贡献者,覆盖金融、电信、能源等关键行业,进入卫星系统、具身智能等新兴领域。

显然,openEuler现如今已经不只是“一个新版本”,而是有了规模基础,超节点OS已经有了一批商用案例,Agentic Infra也开始进入生产环境,接下来更重要的是复制。

换一家客户、换一批硬件、换一个业务,方案还能不能顺利部署?收益能不能保持?长期运行是否稳定?这些都需要更多项目来回答。

毕竟,原有的装机量和市场份额能够提供基础,却不会自动转化为Agentic Infra的商业成功。

这正是Agentic Infra从“技术发布”走向“产业成熟”的最后一公里,技术发布可以靠一场大会完成,产业成熟却要靠一个个项目磨出来。京东的15%时延降低是一个有说服力的样本,但样本能不能变成可复制的模板,才是真正的考验。

谈到openEuler与其他开源操作系统的不同,熊伟也并没有强调某项独家技术:“技术上都是开源的,原则上没有不同。”

他认为更重要的是:“我们自己认为的不同我很清晰,就是耐力,就是持续不断投入。”

这句话放在当前阶段很合适。Agent和超节点带来的问题,不是靠一个新名词就能解决,它需要一个一个项目磨合,也需要芯片厂商、操作系统厂商、云厂商和行业客户长期配合。

对openEuler来说,现在最重要的不是把“Agent OS”讲得多大,而是让更多业务在真实环境里跑得更快、更稳、更便宜。

只有当这些案例能够不断复制,Agentic Infra才算真正从技术发布走向产业成熟。

本文来自投稿,不代表增长黑客立场,如若转载,请注明出处:https://www.growthhk.cn/cgo/market/174388.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
4200万小微经营者,如何用上一个银行Agent?
上一篇 6小时前
拼多多发布Q3财报,赵佳臻:坚持深耕“全产业链”,推动传统产业数智升级
下一篇 6小时前

增长黑客Growthhk.cn荐读更多>>

发表回复

登录后才能评论