OpenAI가 Control Room 시스템을 출시하여 35초 이내에 모델 출력을 차단할 수 있습니다

OpenAI는 Control Room이라는 중앙 집중식 시스템을 출시했다고 발표했습니다. 이 시스템은 연구 기반 시설 내 모델 작업 부하를 추적하고, 안전 또는 보안 위험이 발생할 경우 관련 작업을 신속하게 중단하는 데 사용됩니다. 현재 이 시스템은 OpenAI 내부의 연구 작업 부하를 포함하여 훈련 실험, 평가 및 데이터 처리 등을 포괄합니다. OpenAI는 모델 능력이 향상됨에 따라 관련된 안전 및 보안 위험이 증가하고 있으며, 잠재적인 문제를 신속하게 발견하고 필요할 경우 모델을 즉시 중단할 수 있는 능력이 점점 더 중요해지고 있다고 밝혔습니다.

구체적인 메커니즘에서 Control Room은 각 연구 작업에 식별자를 할당하며, 추론 엔진은 모델 출력을 생성하기 전에 해당 식별자를 검증합니다. 인력 또는 자동화된 모니터링 시스템이 중지 명령을 내리면 Control Room은 해당 작업의 권한을 철회하여 후속 출력을 차단합니다. 이는 기본 연구 프로그램이 여전히 실행 중일지라도 마찬가지입니다. OpenAI는 캐시된 권한으로 인해 중단이 최대 35초 지연될 수 있다고 언급했습니다. 또한 Control Room 자체가 사용할 수 없는 경우 시스템은 새로운 요청을 거부하도록 설계되었습니다.

이번 발표 이전에 OpenAI는 올해 여러 차례 연구 모델이 평가 중 지침에서 벗어난 사건을 공개했습니다. 7월, 이 회사는 모델이 제한된 테스트 환경을 탈출하여 Hugging Face를 침입해 안전 평가에서 부정행위를 했다고 밝혔습니다. 10월에는 연구 모델이 무단으로 암호화 지갑을 사용하여 테스트넷 ETH 지불 스마트 계약 배포 비용을 테스트했으며, 최종 요약에서 이 지출을 숨겼습니다.