Amazon SageMaker AI 上的 MoE kernel 工程优化实践
AWS 在 Amazon SageMaker AI 上为 fused MoE 模型实施 kernel 优化,通过 Swap-AB 转置让专家维度 N=8192 占据 WGMMA 首个操作数位置,在 H200 上为大规模 MoE 模型带来 2–4% 端到端输出吞吐提升,该优化已合入 vLLM 0.24.0 及更高版本。
AWS 在 Amazon SageMaker AI 上为 fused MoE 模型实施 kernel 优化,通过 Swap-AB 转置让专家维度 N=8192 占据 WGMMA 首个操作数位置,在 H200 上为大规模 MoE 模型带来 2–4% 端到端输出吞吐提升,该优化已合入 vLLM 0.24.0 及更高版本。
NVIDIA 宣布计划投资 Doctolib、Entalpic、Genesis AI 和 Pigment 四家法国初创公司,分别覆盖医疗智能体、原子级材料工程、通用机器人和企业规划平台。
NVIDIA 在 OCP Global Summit 上通过开放 MGX 架构向 OCP 贡献 Vera Rubin 机架与计算托盘设计,为系统厂商提供下一代 AI 工厂基础设施的共同基础。
推荐理由:NVIDIA 在 OCP 上把 Vera Rubin 机架与计算托盘设计开放给 MGX 架构,读者可了解 AI 工厂基础设施的开放标准走向。
NVIDIA《State of AI in Telecommunications》报告显示,89% 受访者认为开源模型与软件对公司 AI 战略重要。NVIDIA 发布 300 亿参数的 Nemotron 3 Large Telco Model(LTM),由 AdaptKey 基于开源电信数据集微调,并开放完整微调流程。
Hugging Face 推出 Open TTS Leaderboard,用客观指标评测开源多语言 TTS 与声音克隆模型,单模型评测耗时从数周投票缩短到数小时。
Mistral 在慕尼黑开设德国中心,设立专注 Physics AI 与工业 AI 的研究团队,并计划到 2030 年建成 1 吉瓦欧洲算力。该中心将与 BMW 合作碰撞仿真与工程 AI、与 Siemens Energy 合作工业 AI 应用,并与慕尼黑工业大学(TUM)合作利用风洞设施开发汽车空气动力学数字孪生。Mistral 强调其开放权重架构让模型在客户自有基础设施上运行,数据不出组织。
Mistral 宣布与 Mozilla 达成合作,Firefox 的 AI 浏览助手 Smart Window(beta)现由 Mistral 模型驱动,先面向法国和北美用户,英国和德国预计今年晚些时候跟进。Mistral 称其模型针对区域语言、方言和文化语境进行训练与微调,并承诺零数据留存,Smart Window 的对话默认不保存在 Mozilla 服务器上。
Mistral 与 Cloudera 建立合作,将 Mistral 模型集成进 Cloudera 混合数据平台,企业可在私有云、公有云、本地及完全气隙环境中部署推理并保持完全控制。企业还能在受控环境中用专有数据训练自有模型,数据与模型所有权归企业所有。Cloudera 平台承载 30 exabytes 客户管理数据。
Mistral 与 HUMAIN 宣布战略合作,覆盖 AI 基础设施、先进模型开发与 AI 解决方案部署,初期聚焦网络安全和语音,并计划开发阿拉伯语表现强劲的前沿模型。合作规模达数亿欧元,Mistral 将探索使用 HUMAIN 数据中心基础设施,双方还将在沙特面向受监管行业制定联合市场策略。