跳到正文

技术方向

部署工程 最新动态

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

11 条精选近 30 天 9 条共收录 33 条

更新

部署工程的精选

10月2日周五第 1–11 条
  1. AWS Machine Learning Blog64

    在 Amazon Bedrock AgentCore 上构建环境智能体:从事件驱动信号到人机协作工作流

    Amazon Bedrock AgentCore 支持构建环境智能体(ambient agents),区别于传统的聊天式 AI 交互,环境智能体通过监听事件流(如 S3 文件上传、定时任务)自动触发任务执行,并在需要时调用 ask_human 工具暂停等待人工审批。

    推荐理由:文章给出了完整的环境智能体架构设计和代码实现,读者可以据此将 AWS 事件驱动基础设施与 AI 智能体结合,实现文档处理等场景的自动化。

9月30日周三
  1. NVIDIA Blog62

    NVIDIA 与 CoreWeave 合作推出 Vera Rubin NVL72 系统及 CoreWeave Forge 平台

    CoreWeave 在旧金山峰会上宣布 NVIDIA Vera Rubin NVL72 系统正式上线,Cognition(Devin 的开发团队)成为首个生产用户,在 SWE-2 推理工作负载中实现相比 GB200 NVL72 高达 4.8 倍的 token 吞吐量提升。

    推荐理由:原文给出了具体性能数据(4.8x token throughput、3x faster sandbox startup、1.7x Terminal-Bench 提升),读者可据此判断 Vera Rubin 和 CoreWeave Forge 的实际能力变化。

9月25日周五
  1. Google DeepMind63

    Google DeepMind 发布 Gemini 3.8 Live 实时虚拟形象功能

    Google DeepMind 发布 Gemini 3.8 Live 的 Live Avatar 功能,将实时视频生成与语音对话深度融合,支持精确唇形同步、自然表情和流畅话轮转换,可同时处理视觉与音频输入。该功能通过异步工具调用在后台执行复杂任务并保持对话连贯,支持 97 种语言的实时切换,SynthID 水印嵌入音视频输出以保障内容可溯源性,即日起面向 Gemini Enterprise 开放。

    推荐理由:原文披露了实时视觉对话、异步工具调用、97语言无缝切换等具体能力差异,以及 SynthID 水印的安全设计,读者可据此评估该功能对现有企业服务的补充方向。

9月24日周四
  1. NVIDIA Blog61

    NVIDIA 联合 DeepMind 和 EMBL-EBI 发布 2800+ 病毒蛋白质复合物结构数据集并开源 BioNeMo 工具

    NVIDIA 联合 Google DeepMind 和欧洲分子生物学实验室下属的欧洲生物信息学研究所(EMBL-EBI)等机构,发布了预测的病毒蛋白质复合物 3D 结构数据集,涵盖超过 2800 种病毒,并通过 AlphaFold Database 向全球科学家开放。

    推荐理由:原文提供了具体的数据规模(2800+病毒、30%全新发现)和开放入口,读者可以判断这些数据和工具对自己的研究是否有直接帮助。

9月23日周三
  1. Google DeepMind73

    Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS

    Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款文字转语音模型,前者支持用自然语言提示从零创建语音并逐行控制表演,后者针对高容量场景优化。两个模型在 Hume AI 语音设计基准中分别排名第一和第二,支持超过 100 种语言,并内置 SynthID 水印和同意验证等安全机制。

    推荐理由:两个模型在语音设计基准和综合质量指数中均排名第一,可作为当前文本转语音领域的前沿参考。

9月22日周二
  1. NVIDIA Blog68

    NVIDIA 发布 Isaac ROS 5.0,推进智能体驱动的开源机器人开发

    NVIDIA 在 ROSCon 大会上发布 Isaac ROS 5.0,这是一套基于 ROS 的 GPU 加速机器人工具包。5.0 版本新增对 ROS Lyrical 和 Ubuntu 24.04 的支持,并引入智能体工作流,使开发者和 AI 智能体能够协同构建机器人应用。

    推荐理由:新版引入 agentic 工作流,读者可以判断这将如何改变机器人应用的开发流程和交付速度。

9月17日周四
  1. GitHub Blog · AI & ML87

    GitHub Copilot 运行时迁移至 Rust 全过程记录

    GitHub Copilot agent runtime 从 TypeScript/Node.js 迁移至纯 Rust,作者记录了历时约 14.5 周、完成 128 个 pull request、最终交付 832,378 行生产 Rust 代码的全过程。

    推荐理由:作者作为主要执行人记录了超过 80 万行 TypeScript 迁移至 Rust 的完整过程,包含具体策略、工具调用数据和团队协作方法,读者可据此评估大规模 AI 辅助代码迁移的实际可行路径。

9月5日周六
  1. GitHub Blog · AI & ML76

    GitHub Copilot 发布 Project HydraFusion 研究预览,通过多模型编排实现前沿质量

    GitHub 发布 Project HydraFusion 研究预览,通过运行时编排选择多模型协同完成任务,支持 Single(单模型直接解决)、Cascade(级联升级)和 Critique(批评修订)三种执行模式。

    推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。

9月3日周四
  1. Google DeepMind71

    Google DeepMind 发布 WeatherNext 3 全球最先进天气 AI 模型

    Google DeepMind 和 Google Research 发布 WeatherNext 3,号称是目前最先进、最准确的全球天气 AI 模型,由独立机构 Brightband 实时评估验证。

    推荐理由:WeatherNext 3 在分辨率(5km)、更新频率(每小时)和降水预测精度(CRPS 提升 10%-60%)上均给出了可量化指标,用户可直接判断它对天气预报可靠性的实际影响。

8月4日周二
  1. Microsoft Research82

    Microsoft Research 开源 Orchard 框架:统一环境服务支撑智能体训练与评测

    Microsoft Research 发布开源框架 Orchard,核心是 Kubernetes 原生的 Orchard Env 环境服务,为智能体提供可复用的隔离组件,支持从数据蒸馏、强化学习 rollout 到评测的全流程,无需为每类任务重建底层设施。

    推荐理由:原文给出了三个场景的具体训练数据量、参数规模和性能数字,读者可以直接评估它在各自任务上的可用性。