“现在获取有关 AI 公司内部情况的经过验证的信息似乎尤为紧迫” - @RyanGreenblatt
引用：我将加入 METR，参与更多类似我们 Hugging Face 报告的调查工作。
目前，大量与 AI 开发相关的甚至是基本信息，这些信息对灾难性风险高度相关，却并未公开。我过去对公开信息价值的看法更为怀疑，但最近的事件改变了我对这一点的看法。
现在，获取关于 AI 公司内部情况的经过验证的信息似乎尤为紧迫。我们拥有的有限公开证据似乎与一种可能性一致，即迫在眉睫的递归自我改进可能极大地加速能力进步，这随后可能在 6 个月或一年内产生极度超人类的通用能力。如果这种情况发生，将相应地带来极大的最坏结果风险。通过更多经过验证的公开信息，这种关于极端结果的不确定性可以得到实质性解决：我们既可以就近期风险建立更多共识，也可以了解到此类极端结果在近期不太可能发生。
除了 AI 能力和起飞之外，公开证据在对齐、安全性、控制以及 AI 公司风险相关内部流程方面的状态也高度有限。这使得很难准确判断这些关键领域在近期将进展得多好或多糟。（METR 计划至少在初期专注于能力/起飞、对齐和控制；我希望其他团体能覆盖安全性、内部流程和其他重要领域。）
虽然我不再在 Redwood 工作，但我认为他们正在做的工作非常重要；我对 Redwood 在技术缓解措施研发以及更好公开解读风险相关证据方面的持续贡献感到兴奋。