用 Ray LLM Deep Learning Containers 在 Amazon EKS 上运行多节点推理负载
AWS 发布面向多节点部署的 Ray LLM Deep Learning Container,可在 Amazon EKS 上把单个大语言模型跨两个 GPU 节点部署,将 prefill 与 decode 分离并统一在一个 OpenAI 兼容端点之后。
AWS 发布面向多节点部署的 Ray LLM Deep Learning Container,可在 Amazon EKS 上把单个大语言模型跨两个 GPU 节点部署,将 prefill 与 decode 分离并统一在一个 OpenAI 兼容端点之后。
欧洲多国城市正联合软件与基础设施伙伴,用 NVIDIA 加速计算构建物理 AI 智能体和数字孪生,用于预判维护需求、辅助城市规划并提升公共服务响应速度。方案基于 NVIDIA Cosmos、Nemotron 开放模型、Metropolis VSS Blueprint 和 Omniverse,项目覆盖比利时、芬兰、法国、意大利、荷兰、波兰、瑞典、英国等地。
NVIDIA 宣布五年 2.5 亿美元算力投入,用于加强英国智能体安全与安保研究,并通过牛津大学 BOLD、UCL 和帝国理工的 SOFAIR 每年提供 5000 万美元加速计算资源。
Google DeepMind 与新加坡政府科技局(GovTech)合作,基于轻量级 Gemma 模型在新加坡本地诈骗对话上微调,推出可在典型智能手机上运行的端侧诈骗检测模型。
推荐理由:原文给出了端侧诈骗检测的两阶段流水线和治理约束,可了解隐私保护与本地化微调如何结合。
Anchor Browser 与 Amazon Bedrock AgentCore payments 集成,让 AI 智能体在浏览器会话内自动应对 HTTP 402 付费请求,该方案已上线 AWS Marketplace。
推荐理由:材料给出 x402 支付在浏览器会话内的完整接入方式,可了解智能体自动付费的架构与预算约束。
Google DeepMind 开始广泛推送 Gemini 4 Argon,并同步扩大 Fairwind Program 的可信网络安全防御者范围。该模型在端到端模拟网络攻击场景中解出全部 12 个,上一代为 5 个;在 Gray Swan 间接提示注入基准的 15 次自适应尝试中把攻击成功率降至 0.7%。
推荐理由:原文披露了 Gemini 4 Argon 在网络安全与生物风险上的防护分层,以及智能体越界行为的实测数据,可据此了解前沿模型安全部署的具体做法。
GitHub 用微调后的 ModernBERT 分类器替换原 LLM 流水线做密钥检测,用户接受率提升 11.5%,推送后扫描中位执行时间降低 86%,服务成本节省超 98%。该方案采用两阶段流水线:先用正则高召回生成候选,再由分类器结合文件路径、变量名和上下文判断是否为真实凭证,从而把占位符、测试样例和校验和等误报过滤掉。
Amazon Bedrock 的托管权益(managed entitlements)让企业只需在中心账户订阅一次 AWS Marketplace 私有定价优惠(MPPO),即可向组织内多个 AWS 账户分发第三方模型访问权限。
Liquid AI 发布 LFM2.5-24B-A2B,这是一个 24B 参数、每 token 仅 2B 激活参数的推理模型,面向端侧快速私有智能体,会先思考再作答并调用工具。
推荐理由:LFM2.5-24B-A2B 以 2B 激活参数对标更大 MoE,并给出端侧与 GPU 推理速度数据,可据此判断本地智能体的可行性。
Orca Security 与 AWS 合作在 Amazon Bedrock 上构建了自然语言查询智能体 Discovery AI,可将自然语言问题转换为 Sonar 查询。
Google DeepMind 发布 Gemini 4 Argon,官方称其在物理理解、代码生成和视觉语义推理上有明显提升,在 Embodied Reasoning(ERQA)基准上以纯推理取得 87%,超过其他前沿模型。
Google DeepMind 发布 Gemini 4 Argon,面向开发者、企业和消费者开放,通过 AI Studio、Gemini API、Google Antigravity 及 Gemini 应用和搜索 AI Mode 提供,定价为每百万输入 token 2 美元、输出 token 10 美元。
推荐理由:官方给出 Argon 在编码、科研与安全上的实测数据与开放入口,可据此判断前沿模型在专业工作流中的落地程度。
ShipStation Global 工程团队基于 Amazon Bedrock AgentCore 打造了 Slack 内的 AI IT 服务台 Deckhand,可回答常规 IT 问题、识别报错截图并创建和更新 Jira Service Management 工单。
AWS 官方博客介绍 Grok 4.7 已在 Amazon Bedrock 上线,并演示如何用它构建工具调用智能体。作者在三个需要搜索而非查表验证的任务上跑了 72 次:xhigh 档 18 次全对,low 档 18 次对 15 次但输出 token 约为 xhigh 的八分之一。文章还给出推理强度按请求设置、按输出 token 与工具调用量监控生产运行等实践建议。
推荐理由:原文给出 72 次智能体运行的分档实测与 token 对照,可据此为不同步骤选择推理强度。
AWS 在 Amazon SageMaker AI 上为 fused MoE 模型实施 kernel 优化,通过 Swap-AB 转置让专家维度 N=8192 占据 WGMMA 首个操作数位置,在 H200 上为大规模 MoE 模型带来 2–4% 端到端输出吞吐提升,该优化已合入 vLLM 0.24.0 及更高版本。
NVIDIA 宣布 RTX Spark 笔记本将于 10 月 16 日上市,最高 128GB 统一内存和 1 petaflop AI 算力,首发覆盖数百款游戏与 130 多个加速应用。
推荐理由:原文列出 RTX Spark 首发时本地智能体、创作与开发工具的适配清单,可据此判断本地 AI 工作流的可用边界。
Higgsfield 借助 GPT-6 Astra 把 AI 视频生成时长从 1 分钟延长到 10 分钟以上,并用 GPT-Image-2.5 提升画面精度,同时通过 GPT-Live 探索语音驱动的电影化创作路径。
NVIDIA 宣布计划投资 Doctolib、Entalpic、Genesis AI 和 Pigment 四家法国初创公司,覆盖医疗、材料发现、物理 AI 与业务规划领域。
Amazon Bedrock 面向泰国、马来西亚、新加坡、印尼和台湾五个 AWS 区域开放 OpenAI GPT-6 的全球跨区域推理,GPT-6 Sol 与 GPT-6 Luna 可从全部五地调用,GPT-6 Astra 仅从亚太(新加坡)调用。
GitHub Copilot 提供四种方式让 Copilot 理解项目上下文:仓库级自定义指令(.github/copilot-instructions.md)、可复用的 agent skills(.github/skills)、面向复杂任务的 custom agents(.github/agents),以及连接外部工具与数据源的 MCP 服务器。
微软研究院提出 StudentSim,一种从公开去标识化学习记录训练个性化 AI 学生模拟器的研究系统,可在真实学习者测试前评估和改进 AI 辅导。该系统同时发布 StudentSimEval 基准,覆盖国际象棋、第二语言英语写作和数学,从行为保真度与指导响应性两个维度评估模拟器,表现优于领先基线。StudentSim 并非产品,不部署于课堂,也不用于替代教师。
AWS 发布 llama.cpp 专用深度学习容器(DLC),可在 Amazon SageMaker AI 上以 CPU 或 GPU 托管量化模型,并通过 InvokeEndpoint 提供 OpenAI 兼容的 chat completions。
NVIDIA 在 OCP Global Summit 上通过开放 MGX 架构向 OCP 贡献 Vera Rubin 机架与计算托盘设计,为系统厂商提供下一代 AI 工厂基础设施的共同基础。
推荐理由:NVIDIA 在 OCP 上把 Vera Rubin 机架与计算托盘设计开放给 MGX 架构,读者可了解 AI 工厂基础设施的开放标准走向。
Ai2 用 GPU 时间预算、分层公平分配和时间切片合约替换了原有的优先级调度器,把各研究项目该分多少 GPU 时间的争论从逐案运维操作变成透明的预算分配流程。
Sophos 使用 OpenAI 的 Daybreak 将网络威胁调查时间缩短 96%,并自动化处理 52% 的 MDR 案例,同时保留人工监督。
Asana 借助 Codex 中的 GPT-6 Astra,在测试中让其浏览器智能体成本降低 76 倍、速度提升 5 倍,从而为客户提供能力更强的模型。
NVIDIA 开发者用前沿 AI 模型配合 Omniverse 库,通过自然语言指令构建仿真应用,文中示例涉及 GPT-6 Astra 与 Claude Fable 5。其中 Robo Olympics 项目让 Unitree G1 人形机器人在 100 次仿真试验中 64 次跨过单个栏架;另有开发者用约三天时间让智能体从零创建两个数字孪生并改进两个已有孪生。
Oracle 在招聘、工程和运营中借助 ChatGPT Work 与 Codex,把专家知识转化为快速、可重复的工作流,将原本数天的工作压缩到几分钟。
《Gears of War: E-Day》已于 10 月 6 日全球发售后登陆 GeForce NOW,Ultimate 会员可以 GeForce RTX 5080 级性能在云端体验,并支持 NVIDIA DLSS 和 NVIDIA Reflex。
Pollo AI 借助 GPT-5.6、GPT-6 Astra 和 GPT-Image-2.5,帮助创作者把大胆创意转化为精细图像和电影级视频广告。
LegalOn 将 Codex 每日预估成本削减 65%,同时保持开发速度。其做法是把 Astra、Sol 和 Luna 匹配到不同任务,并对预算进行策略性管理。
OpenAI 表示已处置两起由 AI 驱动的影响力行动,这些行动利用虚假身份的记者和一个智库传播地缘政治信息。
作者在 HuggingChat 中开启 ML-intern 模式,用提示词描述需求,两天内训练并发布了六个模型,包括 0.8B 的 Pocket Rewriter、柑橘病害 VLM、Huggy LoRA、相机角度 LoRA、Doodle-in LoRA 和 Agate 4 步蒸馏模型,总计算花费约 103 美元。
推荐理由:作者用 ML-intern 在两天内从零训练并发布六个模型,公开了全部提示词与每项算力开销,可作智能体辅助建模的实操参考。
Google Research 在 NBER 发布专利撰写三个月实地实验,将当时未发布的 Google Labs AI 专利写作助手(现属 Gemini Notebook)随机开放给 11 家知识产权律所的 133 名律师。
推荐理由:三个月实地实验区分了AI带来的短期产出提升与无辅助判断力的变化,为理解AI对专业能力养成的影响提供了少见的长期证据。
在旧金山 Microsoft 活动上,NVIDIA 与 Microsoft 公布面向 Windows PC 的智能体软硬件方案:Microsoft 宣布 OS 级基础设施 Microsoft Execution Containers(MXC)正式可用,让智能体在系统控制下安全持久地在后台运行。
推荐理由:NVIDIA 与 Microsoft 把智能体运行所需的系统级容器和本地算力硬件一并给出,读者可据此判断本地智能体工作流的落地条件。
GitHub 发布与 Microsoft Applied Sciences 合作微调的 ModernBERT 分类器,用代码上下文识别数据库密码、Kubernetes Secret、Dockerfile 中的非结构化密钥,可在 2 毫秒内评估一批候选密钥,有望让可拦截的密钥数量翻倍以上。
推荐理由:GitHub 用九个季度数据说明密钥泄露的规模压力,并给出把检测前移到 push 环节的模型方案。
微软研究院亚洲团队开源 Agent Lightning v1.0,一个约 3500 行代码的轻量智能体强化学习框架,提出 Harnessed Agentic RL 范式,让部署时使用的同一套 agent harness 直接参与训练,无需在训练框架内重新实现智能体。
推荐理由:微软研究院开源 Agent Lightning v1.0,用约 3500 行代码把真实 harness 直接接入 RL 训练,并给出可复现的编码智能体训练结果。
阿布扎比技术创新研究院(TII)发布 1.6B 参数的语音识别模型 Falcon-ASR,重点覆盖阿联酋方言,同时支持英语、法语、西班牙语和葡萄牙语。
英伟达团队从 Nemotron 3 出发,用 SFT、RL 和生成-验证-改进的推理循环做出两个专精系统,在 IOI 2026 与 IMO 2026 均达到金牌线。
推荐理由:原文公开了从 Nemotron 3 微调到 IOI、IMO 金牌级成绩的完整配方与数据集,可看到领域专精与推理循环如何配合。
OpenAI 为 ChatGPT for Teens 上线 College Planner,帮助学生管理大学申请,并新增 flashcards 和 quizzes 功能。同时 OpenAI 将组建青少年 AI 委员会(teen AI council),让青少年参与塑造 AI 的未来。