Anthropic CEO가 안전에 대한 의문에 긴 글로 응답하며, 기술의 최전선 유지를 강조했습니다

Anthropic은 최근 미국 국회의원들에게 AI 안전 법안 초안을 제출했으며, 미국 AI 안전 진영의 의문에 직면했습니다. 초안은 정부가 위험한 모델을 긴급히 중단할 수 있는 높은 기준을 설정하고 있으며, 위험은 생물 무기, 사이버 공격 또는 AI 통제 불능과 같은 상황을 포함해야 하며, 50명 이상의 사망자 또는 중상자, 또는 10억 달러 이상의 손실을 초래할 수 있습니다; 일부 조항은 주 정부의 규제 권한을 제한할 수도 있습니다.

AI 안전 조직 Encode AI의 전략 책임자 Nathan Calvin은 Anthropic의 지난 1년간의 결정을 정리했습니다. 올해 2월, 회사는 원래의 엄격한 안전 정책을 수정했습니다: 과거에는 안전 조치가 모델의 능력을 따라가지 못할 경우 훈련이나 출시를 중단하겠다고 약속했으나, 새로운 정책은 회사가 더 높은 위험 단계에서 독자적으로 연구 개발을 중단할 것을 요구하지 않으며, 그 이유는 경쟁자가 이를 기회로 삼아 추월할 수 있기 때문입니다. 동시에 회사는 막대한 계산 능력을 투자하고 칩 팀을 구성했으며, Claude에게 더 많은 AI 연구 개발 임무를 맡겼습니다.

10월 21일, Anthropic CEO Dario Amodei는 X에서 장문의 글을 통해 반박했습니다. 그는 회사가 몇 가지 실수를 저질렀음을 인정했지만, 최첨단 AI 능력을 추구하는 것이 안전 사명을 위반하지 않았다고 주장하며, 회사는 기술의 최전선에 머물러야만 산업의 안전 기준을 높일 수 있는 능력을 갖출 수 있다고 말했습니다. 그는 회사가 상업적 대가를 치른 아홉 가지 안전 결정을 열거했으며, 여기에는 Mythos급 모델의 제한적 공개가 몇 달 동안 지속되었고, 생물학 관련 요청을 엄격히 제한한 내용이 포함됩니다. 회사의 10월 19일 업데이트된 안전 로드맵은 기존 정책이 위험한 모델 배포에 주로 초점을 맞추고 있으며, 향후 연구 개발 속도를 직접 제한해야 할 필요성이 있을 수 있으며, 2027년 1월 15일 이전에 관련 정책 제안서를 제출하거나 제안하지 않은 이유를 설명할 계획이라고 밝혔습니다.