用 Ray LLM Deep Learning Containers 在 Amazon EKS 上运行多节点推理负载
AWS 发布面向多节点部署的 Ray LLM Deep Learning Container,可在 Amazon EKS 上把单个大语言模型跨两个 GPU 节点部署,将 prefill 与 decode 分离并统一在一个 OpenAI 兼容端点之后。
AWS 发布面向多节点部署的 Ray LLM Deep Learning Container,可在 Amazon EKS 上把单个大语言模型跨两个 GPU 节点部署,将 prefill 与 decode 分离并统一在一个 OpenAI 兼容端点之后。
Liquid AI 发布 LFM2.5-24B-A2B,这是一个 24B 参数、每 token 仅 2B 激活参数的推理模型,面向端侧快速私有智能体,会先思考再作答并调用工具。
推荐理由:LFM2.5-24B-A2B 以 2B 激活参数对标更大 MoE,并给出端侧与 GPU 推理速度数据,可据此判断本地智能体的可行性。
AWS 发布 llama.cpp 专用深度学习容器(DLC),可在 Amazon SageMaker AI 上以 CPU 或 GPU 托管量化模型,并通过 InvokeEndpoint 提供 OpenAI 兼容的 chat completions。
微软研究院亚洲团队开源 Agent Lightning v1.0,一个约 3500 行代码的轻量智能体强化学习框架,提出 Harnessed Agentic RL 范式,让部署时使用的同一套 agent harness 直接参与训练,无需在训练框架内重新实现智能体。
推荐理由:微软研究院开源 Agent Lightning v1.0,用约 3500 行代码把真实 harness 直接接入 RL 训练,并给出可复现的编码智能体训练结果。
阿布扎比技术创新研究院(TII)发布 1.6B 参数的语音识别模型 Falcon-ASR,重点覆盖阿联酋方言,同时支持英语、法语、西班牙语和葡萄牙语。
英伟达团队从 Nemotron 3 出发,用 SFT、RL 和生成-验证-改进的推理循环做出两个专精系统,在 IOI 2026 与 IMO 2026 均达到金牌线。
推荐理由:原文公开了从 Nemotron 3 微调到 IOI、IMO 金牌级成绩的完整配方与数据集,可看到领域专精与推理循环如何配合。
Google DeepMind 发布 EmbeddingGemma 2,一个基于 Gemma 4 架构、Apache 2.0 许可的端侧多模态嵌入模型,参数量 740M,原生将文本、图像、音频、视频映射到统一嵌入空间。
推荐理由:官方给出参数量、量化内存与基准提升,可据此判断端侧多模态检索的落地门槛。
Google DeepMind 推出 SynthID Bio,把水印技术带入合成生物学,将不可感知的签名嵌入生物代码,使水印既能在数字模型上验证,也能在合成出的实体蛋白质上验证,同时实验室测试显示其生物功能未受影响。
推荐理由:SynthID 水印从图像延伸到合成生物,读者可了解 AI 生成蛋白质如何在保留功能的前提下被标记与验证。
微软研究院对移动机器人操作负载做了系统性测量,发现把物理 AI 推理从机器人端侧 GPU 卸载到边缘或云端 GPU,可提升任务成功率、支持更大模型并延长续航。
推荐理由:微软研究院系统测量了机器人端侧推理与卸载推理的差异,并给出可复用的 Kubernetes 卸载工具链。
微软研究院在 Nature 发表逆合成预测模型 RetroChimera,并开源其实现与权重。该模型融合 Transformer 模型 R-SMILES 2 与基于 GNN 的 NeuralLoc,通过学习式重排序整合两者互补预测,在常见与罕见反应类别上均表现强劲。
Google 发布 MilleMiglia,一个用 C++ 编写的实例生成器,可为中程物流配送问题生成真实且保护隐私的基准数据,源码与文档已在 GitHub 公开。中程物流承担区域乃至洲际配送中心间的大宗货物流转,成本占比高却长期缺乏公开高质量数据,因为物流企业视网络拓扑与需求量为敏感专有信息。该生成器将中程配送建模为时空图上的多商品流问题,以捕捉货物在多个车辆间转运、需在时间窗内衔接的同步约束。
Berkeley Sky Lab 与 IBM Research 将演化式内核搜索框架 K-Search 扩展到 MLX,通过结构化的 CUDA 到 MLX 翻译层,让已有 CUDA 内核经验迁移到 Apple Silicon。
推荐理由:原文给出跨平台内核迁移的具体方法与实测数字,可了解 CUDA 经验迁移到 Apple Silicon 的可行路径。
Berkeley AI Research 提出 SPEX 与 ProxySPEX 算法,用于在大规模场景下识别 LLM 中的关键交互。SPEX 利用稀疏性与低阶性把交互搜索转化为稀疏恢复问题,ProxySPEX 进一步借助层级结构,以约 10x 更少的消融达到 SPEX 的性能。
伯克利 AI 研究团队提出一种直接基于信息量评估和优化成像系统的框架,用互信息统一衡量分辨率、噪声与采样等因素,并仅从含噪测量和已知噪声模型中估计信息量。该框架在彩色摄影、射电天文、无透镜成像和显微成像四个领域预测了解码器性能,优化出的设计可媲美端到端方法,且内存与算力需求更低、无需任务专用解码器。相关成果发表于 NeurIPS 2025 论文。