AI News Hub Logo

AI News Hub

Behind the 36% Revenue Growth: Akamai's Inference Cloud Enters the AI Inference Battlefield with 4,400 Edge Nodes

Leiphone
雷锋网

云也在告别互联网时代。 这场告别发生在每一层:最底层的IaaS,算力形态从CPU转向GPU加速集群;PaaS层与新兴的MaaS层(模型即服务)融合,企业无需关心模型训练和部署,通过API即可调用AI能力;最贴近用户的SaaS层被一种全新的交互方式取代——给Agent布置一个任务,由它自主决策、独立完成。 AI带来的变量不止于此。当黄仁勋直言AI推理的规模将达到AI训练负载的10亿倍时,云的组织逻辑也随之发生改变。 推理时代,中心云正在输掉毫秒级算力竞赛 在过去,AI训练时代的一切都是集中的——数据、算力、模型,全部可以堆在少数几个超大规模数据中心里。 此时玩家之间比拼的,是谁能调集更多GPU、谁能扛住更长的迭代周期。但当AI的重心从训练转向推理时,这套集中式打法不得不面临物理瓶颈。 海量、实时、持续涌入的在线请求,是AI推理时代最明显的特征。它背后隐藏着用户对毫秒级响应的期待。   Akamai亚太区云计算架构师总监 李文涛 Akamai亚太区云计算架构师总监李文涛指出,以首Token时延为例,大规模多用户在线游戏的玩家要求控制在15毫秒以内,电商个性化推荐约20毫秒,即便是容忍度最高