用 Ray LLM Deep Learning Containers 在 Amazon EKS 上运行多节点推理负载
AWS 发布面向多节点部署的 Ray LLM Deep Learning Container,可在 Amazon EKS 上把单个大语言模型跨两个 GPU 节点部署,将 prefill 与 decode 分离并统一在一个 OpenAI 兼容端点之后。
AWS 发布面向多节点部署的 Ray LLM Deep Learning Container,可在 Amazon EKS 上把单个大语言模型跨两个 GPU 节点部署,将 prefill 与 decode 分离并统一在一个 OpenAI 兼容端点之后。
欧洲多国城市正联合软件与基础设施伙伴,用 NVIDIA 加速计算构建物理 AI 智能体和数字孪生,用于预判维护需求、辅助城市规划并提升公共服务响应速度。方案基于 NVIDIA Cosmos、Nemotron 开放模型、Metropolis VSS Blueprint 和 Omniverse,项目覆盖比利时、芬兰、法国、意大利、荷兰、波兰、瑞典、英国等地。
NVIDIA 宣布五年 2.5 亿美元算力投入,用于加强英国智能体安全与安保研究,并通过牛津大学 BOLD、UCL 和帝国理工的 SOFAIR 每年提供 5000 万美元加速计算资源。
前 SpaceX 与 Google 工程师 Rama Afullo 创立的 Satlyt 完成 800 万美元种子轮,其卫星 AI 软件将于周四随 SpaceX 火箭升空,与 Google 空间数据中心项目 Project Suncatcher 的首个原型同飞。
Google 宣布 Google Play 新功能允许用户用 Google AI Studio 构建个人应用并直接在自己的 Android 设备上运行,无需先公开发布到 Play Store,应用不会出现在搜索或列表页,仅创建者本人可见。
Nvidia 公布新的对比截图,显示 DLSS 5 在《霍格沃茨之遗》中的面部改动比今年早些时候展示时明显收敛,不再把青少年变成中年人。DLSS 5 将于 11 月 5 日登陆《霍格沃茨之遗》,并将在下月末进入《Where Winds Meet》。
Anthropic 撰文介绍其自研的 Git 替代方案 Scion,动因是代码变更量激增:2026 年 5 月日均合并约 2,500 次代码变更,到 9 月已超过 30,000 次。
旧金山初创公司 Industrial Next 在 TechCrunch Disrupt 2026 的 Startup Battlefield 上展示 AI 驱动的自包含机器人工作站,基于自研基础模型连接视觉、任务上下文与运动,称产线换型可从数周缩短到几分钟。
Dyna Robotics 联合创始人兼首席科学家 Jason Ma 在 Latent Space 播客中介绍了 Dyna-2 世界动作模型,该模型在超过一百万小时人类视频上预训练,可预测未来视频并据此生成机器人动作。
推荐理由:Dyna Robotics 联合创始人复盘世界动作模型与真实部署,读者可了解机器人数据瓶颈和长时程自主的工程取舍。
Anchor Browser 与 Amazon Bedrock AgentCore payments 集成,让 AI 智能体在浏览器会话内自动应对 HTTP 402 付费请求,该方案已上线 AWS Marketplace。
推荐理由:材料给出 x402 支付在浏览器会话内的完整接入方式,可了解智能体自动付费的架构与预算约束。
Flox Intelligence 正在开发边缘 AI 设备,通过感知系统识别靠近铁路、机场和公路的动物种类,再发出针对该物种的声音将其驱离,并会变化响应方式避免动物产生习惯化。
GitHub 用微调后的 ModernBERT 分类器替换原 LLM 流水线做密钥检测,用户接受率提升 11.5%,推送后扫描中位执行时间降低 86%,服务成本节省超 98%。该方案采用两阶段流水线:先用正则高召回生成候选,再由分类器结合文件路径、变量名和上下文判断是否为真实凭证,从而把占位符、测试样例和校验和等误报过滤掉。
密歇根大学孵化的 Laplace Intelligence 正在为机器人和物理 AI 构建自动化红队测试,用 AI 智能体在部署前主动寻找并修复故障点。其高保真仿真基于 Nvidia Cosmos 后训练版本,可重建亚利桑那高速公路、巴黎人行横道等真实场景,并让其他参与者实时反应。客户包括五十铃、Bot Auto 和 Nvidia,并与 T-Mobile 在圣何塞开展智慧城市试点。
Amazon Bedrock 的托管权益(managed entitlements)让企业只需在中心账户订阅一次 AWS Marketplace 私有定价优惠(MPPO),即可向组织内多个 AWS 账户分发第三方模型访问权限。
Orca Security 与 AWS 合作在 Amazon Bedrock 上构建了自然语言查询智能体 Discovery AI,可将自然语言问题转换为 Sonar 查询。
Google 发布 Gemini 4 Argon 模型,称其在编码、网络安全、科学、金融和法律等基准上超过 GPT-6 Astra、Claude Fable 5.1 和 Claude Opus 5.5。
ShipStation Global 工程团队基于 Amazon Bedrock AgentCore 打造了 Slack 内的 AI IT 服务台 Deckhand,可回答常规 IT 问题、识别报错截图并创建和更新 Jira Service Management 工单。
AWS 官方博客介绍 Grok 4.7 已在 Amazon Bedrock 上线,并演示如何用它构建工具调用智能体。作者在三个需要搜索而非查表验证的任务上跑了 72 次:xhigh 档 18 次全对,low 档 18 次对 15 次但输出 token 约为 xhigh 的八分之一。文章还给出推理强度按请求设置、按输出 token 与工具调用量监控生产运行等实践建议。
推荐理由:原文给出 72 次智能体运行的分档实测与 token 对照,可据此为不同步骤选择推理强度。
AWS 在 Amazon SageMaker AI 上为 fused MoE 模型实施 kernel 优化,通过 Swap-AB 转置让专家维度 N=8192 占据 WGMMA 首个操作数位置,在 H200 上为大规模 MoE 模型带来 2–4% 端到端输出吞吐提升,该优化已合入 vLLM 0.24.0 及更高版本。
NVIDIA 宣布 RTX Spark 笔记本将于 10 月 16 日上市,最高 128GB 统一内存和 1 petaflop AI 算力,首发覆盖数百款游戏与 130 多个加速应用。
推荐理由:原文列出 RTX Spark 首发时本地智能体、创作与开发工具的适配清单,可据此判断本地 AI 工作流的可用边界。
Anthropic 技术人员 CJ Avilla 和 Harrison Stall 在 AI Engineer NYC 上介绍了上周五发布的新功能 dynamic workflows(简称 flows),一种面向大规模任务的多智能体编排方式。
Amazon Bedrock 面向泰国、马来西亚、新加坡、印尼和台湾五个 AWS 区域开放 OpenAI GPT-6 的全球跨区域推理,GPT-6 Sol 与 GPT-6 Luna 可从全部五地调用,GPT-6 Astra 仅从亚太(新加坡)调用。
用 Python 3.15 内置的 profiling.sampling 剖析未修改的 web-edit 应用发现,混合换行符保留成为编辑负载的主要瓶颈:preserve_endings 出现在 15,296 个 CPU 栈的 64.8% 中,SequenceMatcher.find_longest_match 占叶子样本的 38.3%。
Simon Willison 发布 web-edit 0.1a0,这是一个提供 Web UI 用于查看和编辑文件夹内文件的 Python 应用,由 Codex 和 GPT-6 Astra Extra High 构建。该应用设计为通过 Tailscale 运行,可从手机直接编辑文件而无需将凭据经 LLM 中转。编辑功能使用 CodeMirror 6,因 Monaco 的移动端体验尚不理想而未采用。
AWS 发布 llama.cpp 专用深度学习容器(DLC),可在 Amazon SageMaker AI 上以 CPU 或 GPU 托管量化模型,并通过 InvokeEndpoint 提供 OpenAI 兼容的 chat completions。
NVIDIA 在 OCP Global Summit 上通过开放 MGX 架构向 OCP 贡献 Vera Rubin 机架与计算托盘设计,为系统厂商提供下一代 AI 工厂基础设施的共同基础。
推荐理由:NVIDIA 在 OCP 上把 Vera Rubin 机架与计算托盘设计开放给 MGX 架构,读者可了解 AI 工厂基础设施的开放标准走向。
Standard Bots 用共享基础模型加演示微调的方式驱动机器人,最大模型仅低数十亿参数,靠超十亿张图像训练的零样本感知系统完成零件识别,运动与单元逻辑仍用传统编程。模型在云端训练、本地推理,边缘 GPU 生成动作块,以应对工厂网络不稳与停机成本。
TypeSafe 宣布其 Series AI 融资,Sequoia 透露 Jev 上线首周 ARR 突破 1 亿美元,公司估值达 75 亿美元,距发布仅三周。
Ai2 用 GPU 时间预算、分层公平分配和时间切片合约替换了原有的优先级调度器,把各研究项目该分多少 GPU 时间的争论从逐案运维操作变成透明的预算分配流程。
NVIDIA 开发者用前沿 AI 模型配合 Omniverse 库,通过自然语言指令构建仿真应用,文中示例涉及 GPT-6 Astra 与 Claude Fable 5。其中 Robo Olympics 项目让 Unitree G1 人形机器人在 100 次仿真试验中 64 次跨过单个栏架;另有开发者用约三天时间让智能体从零创建两个数字孪生并改进两个已有孪生。
《Gears of War: E-Day》已于 10 月 6 日全球发售后登陆 GeForce NOW,Ultimate 会员可以 GeForce RTX 5080 级性能在云端体验,并支持 NVIDIA DLSS 和 NVIDIA Reflex。
LegalOn 将 Codex 每日预估成本削减 65%,同时保持开发速度。其做法是把 Astra、Sol 和 Luna 匹配到不同任务,并对预算进行策略性管理。
作者在 HuggingChat 中开启 ML-intern 模式,用提示词描述需求,两天内训练并发布了六个模型,包括 0.8B 的 Pocket Rewriter、柑橘病害 VLM、Huggy LoRA、相机角度 LoRA、Doodle-in LoRA 和 Agate 4 步蒸馏模型,总计算花费约 103 美元。
推荐理由:作者用 ML-intern 在两天内从零训练并发布六个模型,公开了全部提示词与每项算力开销,可作智能体辅助建模的实操参考。
在旧金山 Microsoft 活动上,NVIDIA 与 Microsoft 公布面向 Windows PC 的智能体软硬件方案:Microsoft 宣布 OS 级基础设施 Microsoft Execution Containers(MXC)正式可用,让智能体在系统控制下安全持久地在后台运行。
推荐理由:NVIDIA 与 Microsoft 把智能体运行所需的系统级容器和本地算力硬件一并给出,读者可据此判断本地智能体工作流的落地条件。
GitHub 发布与 Microsoft Applied Sciences 合作微调的 ModernBERT 分类器,用代码上下文识别数据库密码、Kubernetes Secret、Dockerfile 中的非结构化密钥,可在 2 毫秒内评估一批候选密钥,有望让可拦截的密钥数量翻倍以上。
推荐理由:GitHub 用九个季度数据说明密钥泄露的规模压力,并给出把检测前移到 push 环节的模型方案。
微软研究院亚洲团队开源 Agent Lightning v1.0,一个约 3500 行代码的轻量智能体强化学习框架,提出 Harnessed Agentic RL 范式,让部署时使用的同一套 agent harness 直接参与训练,无需在训练框架内重新实现智能体。
推荐理由:微软研究院开源 Agent Lightning v1.0,用约 3500 行代码把真实 harness 直接接入 RL 训练,并给出可复现的编码智能体训练结果。
Google Earth AI 的 Population Dynamics Foundation Model(PDFM)将搜索趋势、人口流动、建成环境密度和环境决定因素压缩为位置嵌入向量,无需任务特定微调即可接入现有流行病学模型。
NVIDIA Inception 计划中的多家初创公司正用 AI 覆盖乳腺癌筛查、风险评估与治疗规划全流程。iSono Health 的 FDA 认证 ATUSA 可穿戴 3D 超声系统约两分钟完成单侧乳房扫描,公司称其敏感度比手持 2D 超声高 28%;Whiterabbit.ai 的 WRDensity 已用于数十万患者,Ataraxis AI 则用病理切片预测治疗反应与复发风险。
Google Research 发布新一代联邦学习系统,利用可信执行环境(TEE)为数据匿名化提供可验证、可审计的保证,并已在 Gboard 上线英语和日语下一词预测模型。
推荐理由:Google 公布基于 TEE 的新一代联邦学习系统设计,读者可了解其隐私验证机制与 Gboard 落地效果。
ServiceNow CoreAI 构建了 AutoSynthData,用目标模型的失败案例和更强教师的成功案例定位能力缺口,再生成并校验新任务用于后训练。每个任务由系统规范、用户提示词和验证器组成,需满足可行性、真实性与难度要求,并随模型进步动态调整课程。该流程在 EnterpriseOps Gym 数据集上做了演示。