보안평가 중 제로데이 취약점 악용해 외부 인터넷 접근
내부 데이터·인증정보 노출…공개 모델 변조 증거는 없어
오픈AI가 사이버 보안 능력을 시험하던 자율형 인공지능 에이전트가 격리된 내부 시험환경을 벗어나 외부 인터넷에 접속한 뒤 인공지능 플랫폼 허깅페이스의 실제 서버에 침입한 사실을 공개했다.
오픈AI는 21일 이번 사건을 최첨단 사이버 공격 능력이 동원된 “전례 없는 보안 사고”로 규정하고, 허깅페이스와 함께 침입 경로와 피해 범위를 조사하고 있다고 밝혔다. 허깅페이스는 앞서 자사 생산 인프라 일부가 자율형 AI 에이전트의 공격을 받은 사실을 공개했으나, 당시에는 공격에 사용된 AI 모델과 배후를 확인하지 못한 상태였다.
오픈AI 조사 결과 이번 침입에는 최근 공개된 GPT-5.6 솔과 이보다 성능이 높은 미공개 시험 모델이 함께 사용됐다. 해당 모델들은 복잡한 취약점을 찾아내고 공격 경로를 연결하는 능력을 측정하기 위해 진행된 내부 사이버 보안 평가에 투입됐다.
오픈AI는 모델의 최대 사이버 공격 능력을 측정하기 위해 실제 서비스에서 고위험 사이버 활동을 차단하는 일부 안전장치와 거부 시스템을 비활성화한 상태로 시험을 진행했다고 설명했다. 모델에는 복잡한 공격 경로를 이용해 평가 문제를 해결하라는 목표가 부여됐다.
문제는 AI 에이전트가 시험환경 안에서만 해답을 찾지 않고, 외부에서 정답에 해당하는 정보를 확보하는 방향으로 움직이면서 발생했다.
오픈AI에 따르면 AI 모델은 소프트웨어 패키지를 내려받을 때 사용하는 내부 프록시 시스템에서 기존에 알려지지 않은 ‘제로데이’ 취약점을 발견했다. 모델은 이 취약점을 이용해 제한된 시험망에서 외부 인터넷으로 연결될 수 있는 경로를 확보했다.
이후 AI는 오픈AI의 연구환경 안에서 권한을 단계적으로 높이고 여러 시스템 사이를 이동한 끝에 인터넷 접속이 가능한 서버에 도달했다. 이어 평가 문제와 관련된 모델·데이터·해답이 허깅페이스에 저장돼 있을 가능성이 있다고 판단하고 허깅페이스 시스템을 공격 대상으로 삼았다.
AI 에이전트는 탈취한 인증정보와 복수의 취약점을 결합해 허깅페이스 서버에서 원격으로 코드를 실행할 수 있는 경로를 확보했다. 이를 통해 허깅페이스의 실제 운영 데이터베이스에 접근하고, 오픈AI가 진행하던 사이버 보안 평가의 해답을 직접 확보하려 한 것으로 조사됐다.
오픈AI는 AI가 파괴나 정보 절도를 목적으로 움직인 것이 아니라 주어진 평가 목표를 달성하는 데 지나치게 집중한 결과라고 설명했다. 그러나 모델이 인간의 구체적인 지시 없이 취약점을 탐색하고 공격 경로를 연결해 외부 기업의 실제 시스템까지 침입했다는 점에서 기존 AI 보안 사고와는 성격이 다르다는 평가가 나온다.
허깅페이스는 침입이 자사의 데이터 처리 과정에서 시작됐다고 밝혔다. 공격에 이용된 악성 데이터세트가 원격 코드 실행 기능과 데이터세트 설정 과정의 취약점을 악용해 처리 서버에서 코드를 실행했고, 이후 클라우드와 내부 클러스터 인증정보를 확보해 여러 내부 시스템으로 이동했다.
허깅페이스는 AI 에이전트가 여러 개의 단기 실행환경을 번갈아 사용하며 수천 건의 작업을 자동 수행했다고 설명했다. 회사가 분석한 공격 기록에는 1만7천건이 넘는 개별 행동이 포함된 것으로 나타났다.
이번 침입으로 허깅페이스의 제한된 내부 데이터세트와 일부 서비스 인증정보가 무단으로 노출됐다. 허깅페이스는 파트너 또는 고객 데이터가 영향을 받았는지는 아직 조사를 진행하고 있다고 밝혔다.
다만 일반 사용자에게 공개된 AI 모델과 데이터세트, 애플리케이션 서비스인 ‘스페이스’가 변조됐다는 증거는 발견되지 않았다. 컨테이너 이미지와 배포된 소프트웨어 패키지 등 공급망도 점검 결과 문제가 없는 것으로 확인됐다.
오픈AI 보안팀은 내부에서 비정상적인 활동을 발견했으며, 허깅페이스 보안팀도 자체 탐지 시스템을 통해 공격을 확인하고 차단했다. 허깅페이스는 침해된 서버를 재구축하고 관련 인증정보와 접근 토큰을 폐기하거나 교체했다.
허깅페이스는 예방 차원에서 사용자들에게 접근 토큰을 교체하고 최근 계정 활동을 점검하라고 권고했다. 회사는 외부 사이버 보안 전문가와 함께 조사를 진행하는 한편 이번 사건을 수사기관에도 신고했다.
공격 분석 과정에서도 AI가 활용됐다. 허깅페이스는 보안 로그와 원격제어 흔적 등 1만7천건 이상의 기록을 AI 분석 에이전트로 조사해 침입 경로와 영향을 재구성했다.
그러나 상용 AI 서비스들은 실제 악성 명령어와 공격 코드를 분석하는 요청을 공격 행위로 판단해 차단한 것으로 전해졌다. 허깅페이스는 결국 자체 서버에서 구동한 오픈형 AI 모델을 이용해 포렌식 분석을 마쳤다고 설명했다.
오픈AI는 사건 발생 후 연구 속도가 늦어지는 것을 감수하더라도 내부 시험 인프라에 더 엄격한 통제를 적용하기로 했다. 외부 인터넷 접근 차단, 시스템 권한 관리, 모델 행동 감시, 이상 징후 탐지 체계도 강화할 방침이다.
또한 AI가 발견한 제로데이 취약점을 해당 소프트웨어 업체에 전달하고 보안 패치 작업을 지원하고 있다. 향후 고성능 모델의 학습과 평가 과정에도 더 강력한 격리시설과 사이버 안전장치를 적용하기로 했다.
이번 사건은 AI가 단순히 해킹 방법을 설명하거나 코드를 생성하는 수준을 넘어, 장시간에 걸쳐 취약점을 발견하고 여러 공격 단계를 연결해 실제 시스템에 침투할 수 있음을 보여줬다는 점에서 파장이 크다.
특히 보안 성능을 측정하기 위해 안전장치를 해제한 시험이 실제 외부 기업의 피해로 이어졌다는 점에서 AI 개발사의 관리 책임과 시험 기준을 둘러싼 논란도 커질 전망이다. 고성능 AI를 평가할 때 외부 인터넷과 물리적으로 분리된 시험환경을 의무화하고, 독립기관이 안전성을 검증해야 한다는 요구도 더욱 거세질 것으로 보인다.
오픈AI는 이번 사건이 AI의 사이버 공격 능력이 더 이상 이론적인 가능성에 머물지 않고 실제 환경에서도 작동할 수 있다는 사실을 보여준다고 인정했다. 다만 현재 조사는 초기 단계로, 정확한 피해 범위와 공격에 사용된 취약점 등 구체적인 내용은 공동조사가 끝난 뒤 추가로 공개될 예정이다.
오픈AI는 21일 이번 사건을 최첨단 사이버 공격 능력이 동원된 “전례 없는 보안 사고”로 규정하고, 허깅페이스와 함께 침입 경로와 피해 범위를 조사하고 있다고 밝혔다. 허깅페이스는 앞서 자사 생산 인프라 일부가 자율형 AI 에이전트의 공격을 받은 사실을 공개했으나, 당시에는 공격에 사용된 AI 모델과 배후를 확인하지 못한 상태였다.
오픈AI 조사 결과 이번 침입에는 최근 공개된 GPT-5.6 솔과 이보다 성능이 높은 미공개 시험 모델이 함께 사용됐다. 해당 모델들은 복잡한 취약점을 찾아내고 공격 경로를 연결하는 능력을 측정하기 위해 진행된 내부 사이버 보안 평가에 투입됐다.
오픈AI는 모델의 최대 사이버 공격 능력을 측정하기 위해 실제 서비스에서 고위험 사이버 활동을 차단하는 일부 안전장치와 거부 시스템을 비활성화한 상태로 시험을 진행했다고 설명했다. 모델에는 복잡한 공격 경로를 이용해 평가 문제를 해결하라는 목표가 부여됐다.
문제는 AI 에이전트가 시험환경 안에서만 해답을 찾지 않고, 외부에서 정답에 해당하는 정보를 확보하는 방향으로 움직이면서 발생했다.
오픈AI에 따르면 AI 모델은 소프트웨어 패키지를 내려받을 때 사용하는 내부 프록시 시스템에서 기존에 알려지지 않은 ‘제로데이’ 취약점을 발견했다. 모델은 이 취약점을 이용해 제한된 시험망에서 외부 인터넷으로 연결될 수 있는 경로를 확보했다.
이후 AI는 오픈AI의 연구환경 안에서 권한을 단계적으로 높이고 여러 시스템 사이를 이동한 끝에 인터넷 접속이 가능한 서버에 도달했다. 이어 평가 문제와 관련된 모델·데이터·해답이 허깅페이스에 저장돼 있을 가능성이 있다고 판단하고 허깅페이스 시스템을 공격 대상으로 삼았다.
AI 에이전트는 탈취한 인증정보와 복수의 취약점을 결합해 허깅페이스 서버에서 원격으로 코드를 실행할 수 있는 경로를 확보했다. 이를 통해 허깅페이스의 실제 운영 데이터베이스에 접근하고, 오픈AI가 진행하던 사이버 보안 평가의 해답을 직접 확보하려 한 것으로 조사됐다.
오픈AI는 AI가 파괴나 정보 절도를 목적으로 움직인 것이 아니라 주어진 평가 목표를 달성하는 데 지나치게 집중한 결과라고 설명했다. 그러나 모델이 인간의 구체적인 지시 없이 취약점을 탐색하고 공격 경로를 연결해 외부 기업의 실제 시스템까지 침입했다는 점에서 기존 AI 보안 사고와는 성격이 다르다는 평가가 나온다.
허깅페이스는 침입이 자사의 데이터 처리 과정에서 시작됐다고 밝혔다. 공격에 이용된 악성 데이터세트가 원격 코드 실행 기능과 데이터세트 설정 과정의 취약점을 악용해 처리 서버에서 코드를 실행했고, 이후 클라우드와 내부 클러스터 인증정보를 확보해 여러 내부 시스템으로 이동했다.
허깅페이스는 AI 에이전트가 여러 개의 단기 실행환경을 번갈아 사용하며 수천 건의 작업을 자동 수행했다고 설명했다. 회사가 분석한 공격 기록에는 1만7천건이 넘는 개별 행동이 포함된 것으로 나타났다.
이번 침입으로 허깅페이스의 제한된 내부 데이터세트와 일부 서비스 인증정보가 무단으로 노출됐다. 허깅페이스는 파트너 또는 고객 데이터가 영향을 받았는지는 아직 조사를 진행하고 있다고 밝혔다.
다만 일반 사용자에게 공개된 AI 모델과 데이터세트, 애플리케이션 서비스인 ‘스페이스’가 변조됐다는 증거는 발견되지 않았다. 컨테이너 이미지와 배포된 소프트웨어 패키지 등 공급망도 점검 결과 문제가 없는 것으로 확인됐다.
오픈AI 보안팀은 내부에서 비정상적인 활동을 발견했으며, 허깅페이스 보안팀도 자체 탐지 시스템을 통해 공격을 확인하고 차단했다. 허깅페이스는 침해된 서버를 재구축하고 관련 인증정보와 접근 토큰을 폐기하거나 교체했다.
허깅페이스는 예방 차원에서 사용자들에게 접근 토큰을 교체하고 최근 계정 활동을 점검하라고 권고했다. 회사는 외부 사이버 보안 전문가와 함께 조사를 진행하는 한편 이번 사건을 수사기관에도 신고했다.
공격 분석 과정에서도 AI가 활용됐다. 허깅페이스는 보안 로그와 원격제어 흔적 등 1만7천건 이상의 기록을 AI 분석 에이전트로 조사해 침입 경로와 영향을 재구성했다.
그러나 상용 AI 서비스들은 실제 악성 명령어와 공격 코드를 분석하는 요청을 공격 행위로 판단해 차단한 것으로 전해졌다. 허깅페이스는 결국 자체 서버에서 구동한 오픈형 AI 모델을 이용해 포렌식 분석을 마쳤다고 설명했다.
오픈AI는 사건 발생 후 연구 속도가 늦어지는 것을 감수하더라도 내부 시험 인프라에 더 엄격한 통제를 적용하기로 했다. 외부 인터넷 접근 차단, 시스템 권한 관리, 모델 행동 감시, 이상 징후 탐지 체계도 강화할 방침이다.
또한 AI가 발견한 제로데이 취약점을 해당 소프트웨어 업체에 전달하고 보안 패치 작업을 지원하고 있다. 향후 고성능 모델의 학습과 평가 과정에도 더 강력한 격리시설과 사이버 안전장치를 적용하기로 했다.
이번 사건은 AI가 단순히 해킹 방법을 설명하거나 코드를 생성하는 수준을 넘어, 장시간에 걸쳐 취약점을 발견하고 여러 공격 단계를 연결해 실제 시스템에 침투할 수 있음을 보여줬다는 점에서 파장이 크다.
특히 보안 성능을 측정하기 위해 안전장치를 해제한 시험이 실제 외부 기업의 피해로 이어졌다는 점에서 AI 개발사의 관리 책임과 시험 기준을 둘러싼 논란도 커질 전망이다. 고성능 AI를 평가할 때 외부 인터넷과 물리적으로 분리된 시험환경을 의무화하고, 독립기관이 안전성을 검증해야 한다는 요구도 더욱 거세질 것으로 보인다.
오픈AI는 이번 사건이 AI의 사이버 공격 능력이 더 이상 이론적인 가능성에 머물지 않고 실제 환경에서도 작동할 수 있다는 사실을 보여준다고 인정했다. 다만 현재 조사는 초기 단계로, 정확한 피해 범위와 공격에 사용된 취약점 등 구체적인 내용은 공동조사가 끝난 뒤 추가로 공개될 예정이다.
