跳到正文

技术方向

部署工程 最新动态

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

14 条精选近 30 天 11 条共收录 53 条

更新

部署工程的精选

今天10月14日周三第 1–14 条
  1. Latent Space78

    Dyna Robotics 联合创始人 Jason Ma 谈 Dyna-2 世界动作模型与机器人长时程自主

    Dyna Robotics 联合创始人兼首席科学家 Jason Ma 在 Latent Space 播客中介绍了 Dyna-2 世界动作模型,该模型在超过一百万小时人类视频上预训练,可预测未来视频并据此生成机器人动作。

    推荐理由:Dyna Robotics 联合创始人复盘世界动作模型与真实部署,读者可了解机器人数据瓶颈和长时程自主的工程取舍。

10月13日周二
  1. AWS Machine Learning Blog62

    在 Amazon Bedrock 上用 Grok 4.7 构建长时程智能体

    AWS 官方博客介绍 Grok 4.7 已在 Amazon Bedrock 上线,并演示如何用它构建工具调用智能体。作者在三个需要搜索而非查表验证的任务上跑了 72 次:xhigh 档 18 次全对,low 档 18 次对 15 次但输出 token 约为 xhigh 的八分之一。文章还给出推理强度按请求设置、按输出 token 与工具调用量监控生产运行等实践建议。

    推荐理由:原文给出 72 次智能体运行的分档实测与 token 对照,可据此为不同步骤选择推理强度。

10月12日周一
  1. NVIDIA Blog62

    NVIDIA 在 OCP 全球峰会开放 Vera Rubin 架构并发布 DSX AI Factory 开源组件

    NVIDIA 在 OCP Global Summit 上通过开放 MGX 架构向 OCP 贡献 Vera Rubin 机架与计算托盘设计,为系统厂商提供下一代 AI 工厂基础设施的共同基础。

    推荐理由:NVIDIA 在 OCP 上把 Vera Rubin 机架与计算托盘设计开放给 MGX 架构,读者可了解 AI 工厂基础设施的开放标准走向。

10月8日周四
  1. Hugging Face Blog76

    作者用 ML-intern 两天训练并发布六个模型,总花费约 103 美元

    作者在 HuggingChat 中开启 ML-intern 模式,用提示词描述需求,两天内训练并发布了六个模型,包括 0.8B 的 Pocket Rewriter、柑橘病害 VLM、Huggy LoRA、相机角度 LoRA、Doodle-in LoRA 和 Agate 4 步蒸馏模型,总计算花费约 103 美元。

    推荐理由:作者用 ML-intern 在两天内从零训练并发布六个模型,公开了全部提示词与每项算力开销,可作智能体辅助建模的实操参考。

  2. NVIDIA Blog74

    NVIDIA 与 Microsoft 发布 RTX Spark 及 Windows 智能体基础设施

    在旧金山 Microsoft 活动上,NVIDIA 与 Microsoft 公布面向 Windows PC 的智能体软硬件方案:Microsoft 宣布 OS 级基础设施 Microsoft Execution Containers(MXC)正式可用,让智能体在系统控制下安全持久地在后台运行。

    推荐理由:NVIDIA 与 Microsoft 把智能体运行所需的系统级容器和本地算力硬件一并给出,读者可据此判断本地智能体工作流的落地条件。

  3. GitHub Blog · AI & ML62

    GitHub 推出基于 ModernBERT 的密钥检测模型,将 push protection 扩展到非结构化密钥

    GitHub 发布与 Microsoft Applied Sciences 合作微调的 ModernBERT 分类器,用代码上下文识别数据库密码、Kubernetes Secret、Dockerfile 中的非结构化密钥,可在 2 毫秒内评估一批候选密钥,有望让可拦截的密钥数量翻倍以上。

    推荐理由:GitHub 用九个季度数据说明密钥泄露的规模压力,并给出把检测前移到 push 环节的模型方案。

  4. Microsoft Research71

    微软研究院开源 Agent Lightning v1.0:约 3500 行的轻量智能体 RL 框架

    微软研究院亚洲团队开源 Agent Lightning v1.0,一个约 3500 行代码的轻量智能体强化学习框架,提出 Harnessed Agentic RL 范式,让部署时使用的同一套 agent harness 直接参与训练,无需在训练框架内重新实现智能体。

    推荐理由:微软研究院开源 Agent Lightning v1.0,用约 3500 行代码把真实 harness 直接接入 RL 训练,并给出可复现的编码智能体训练结果。

10月2日周五
9月24日周四
  1. Microsoft Research66

    微软研究院:把物理 AI 推理卸载出机器人可提升任务成功率与续航

    微软研究院对移动机器人操作负载做了系统性测量,发现把物理 AI 推理从机器人端侧 GPU 卸载到边缘或云端 GPU,可提升任务成功率、支持更大模型并延长续航。

    推荐理由:微软研究院系统测量了机器人端侧推理与卸载推理的差异,并给出可复用的 Kubernetes 卸载工具链。

9月9日周三
  1. Mistral AI60

    Mistral 用 AI 智能体迁移 4 万行 Fortran 77 遗留代码

    Mistral 帮助一家欧洲能源运营商把 4 万行 Fortran 77 的油藏模拟器迁移到 C++,该代码库没有测试套件也没有集中文档。团队先搭建数值对齐测试框架,用 Skill.md 引导智能体导出状态快照并校验迁移模块,再用 Vibe CLI 启动上百个智能体解析调用树、结合 Mistral OCR 整理散落的 PDF 文档。

    推荐理由:Mistral 公开了用智能体迁移 4 万行 Fortran 的完整流程,其中先建数值对齐测试再迁移的做法可迁移到其他遗留系统改造。

8月20日周四
  1. Mistral AI71

    Mistral 发布 Agentic Search 检索层,FinanceBench 正确率从 26.7% 升至 86%

    Mistral 发布 Agentic Search,一个让模型在多步检索循环中查找、打开、导航、阅读和验证信息的检索层,通过 Mistral Search Toolkit 提供,并内置于 Studio 和 Vibe 的 Libraries 中。

    推荐理由:原文给出多步检索循环的工具设计与两组基准数字,可对照一次性 RAG 判断检索层改造的收益边界。

7月29日周三