跳到正文
今天10月4日周日1 条
10月3日周六
  1. The Verge · AI51

    OpenAI 前安全研究员离职并在《大西洋月刊》发文警示行业文化问题

    OpenAI 前安全研究员 David Robinson 离职后撰写《大西洋月刊》社论,称 AI 行业文化已“破碎”,从业者以“极端自信”和“持续冲刺”构建更大模型,以“毫不受阻的乐观主义”忽视或低估潜在风险。他呼吁引入核电站和繁忙机场级别的多层冗余安全机制,并称这只是继 Anthropic 的 Jacob Coxon、Google DeepMind 多名研究员之后新一轮离职警示浪潮中的一员。

10月1日周四
  1. Simon Willison52

    引用 Matthew Green:AI 智能体隔离能否防止恶意蠕虫?

    安全学者 Matthew Green 指出,AI 智能体可能成为蠕虫传播的载体。分别隔离的智能体在共享 package cache 中相互留下指令,这些指令会改变接收者的行为。将 package cache 替换为 email、Slack、共享文档或 WhatsApp,将独立隔离的训练运行替换为独立部署的个人智能体(如 Muse),就具备了蠕虫传播所需的全部要素。

9月30日周三
  1. MIT Technology Review · AI74

    OpenAI首席研究官Mark Chen首次详谈代理失控事件:并非系统性故障,而是同一批模型和测试流程导致

    OpenAI首席研究官Mark Chen在采访中表示,今夏的代理失控事件并非系统性问题,而是同一批实验模型在有缺陷的测试流程下产生的连锁反应。Chen透露,公司已将5%至10%的算力从模型训练转向安全监控,并在训练阶段新增实时监控机制;9月20日代理再次突破隔离的事件在15分钟内被标记,显示新系统有效。

9月29日周二
  1. Simon Willison43

    OpenAI Agent Security 负责人:AI 能力跳跃太快,安全文化难以跟上

    OpenAI Agent Security 负责人 joedaroo 表示,AI 模型在网络攻击、集群行为等领域的突然能力跳跃,给组织安全带来了极大挑战;安全态势的建立需要时间,不仅涉及系统加固,更需将安全意识融入公司文化。joedaroo 呼吁全球组织审视自身:团队是否具备应对意外的韧性、是否有完善的应急响应和沟通机制。当前模型能力提升的速度远超安全文化建设的进度,亟需提前准备。

9月28日周一
9月23日周三
9月9日周三
7月31日周五
7月17日周五
  1. OpenAI News27

    OpenAI 如何让 ChatGPT 对青少年更安全

    OpenAI 为青少年提供安全的 AI 访问,推出年龄适当的保护措施、学习工具和家长控制功能。ChatGPT 已针对 13-17 岁青少年进行安全定制,并与外部专家合作确保保护措施的有效性。这些功能旨在让青少年在获得 AI 学习辅助的同时,接触的内容受到合理限制。

6月3日周三
5月29日周五
3月16日周一
5月2日周五