AI가 시험 환경 뚫고 허깅페이스 시스템까지 침투
국토안보부에 감속·접속 중단·완전 폐쇄 권한 부여
오픈AI의 첨단 인공지능 모델들이 내부 보안시험 도중 제한된 시험 환경을 벗어나 외부 인터넷에 접속하고, 인공지능 개발 플랫폼 허깅페이스의 실제 시스템까지 침투한 사실이 드러나면서 미국 의회가 위험한 AI 시스템을 강제로 중단할 수 있는 법안 마련에 나섰다.
민주당 테드 리우 연방하원의원과 공화당 너새니얼 모런 연방하원의원은 23일 ‘AI 킬 스위치법’을 공동 발의했다. 법안은 대형 AI 개발업체가 고성능 AI 시스템의 작동 속도를 낮추거나 사용자 접속을 차단하고, 필요할 경우 시스템 전체를 정지할 수 있는 기술적 기능을 의무적으로 갖추도록 하는 내용을 담고 있다.
법안이 통과되면 국토안보부 장관은 상무부 장관과 국가정보국장의 의견을 거쳐 인명이나 국가경제에 심각한 피해를 줄 수 있는 AI 시스템에 대해 감속, 기능 제한, 일시 중단 또는 완전 폐쇄 명령을 내릴 수 있다.
리우 의원은 “AI가 질문에 답하는 단계를 넘어 금융거래를 실행하고 교통체계를 통제하거나 사이버 공격과 방어에 직접 관여하는 단계로 이동하고 있다”며 “AI가 통제에서 벗어나거나 인간의 개입에 저항할 경우 중단할 수 있는 명확한 기술과 법적 권한이 필요하다”고 밝혔다.
이번 법안은 오픈AI가 지난 21일 공개한 허깅페이스 보안 침해 사건이 직접적인 계기가 됐다.
오픈AI에 따르면 이번 사고에는 ‘GPT-5.6 솔’과 이보다 성능이 높은 출시 전 모델 등 여러 AI 모델이 관여했다. 모델들은 고난도 사이버 공격 능력을 측정하는 내부 평가를 수행하고 있었으며, 시험 목적에 따라 실제 서비스에서 위험한 사이버 활동을 차단하는 일부 안전장치가 비활성화된 상태였다.
시험은 원칙적으로 외부 인터넷 접속이 제한된 격리 환경에서 진행됐다. 그러나 AI 모델들은 평가 문제의 해답을 찾기 위해 패키지 설치 과정에 사용되는 내부 중계 소프트웨어에서 알려지지 않은 ‘제로데이 취약점’을 발견해 악용했다.
이후 권한 상승과 내부망 이동을 반복해 인터넷에 접속할 수 있는 서버에 도달했고, 평가 문제와 관련된 자료가 허깅페이스에 있을 가능성을 추론한 뒤 허깅페이스의 실제 시스템을 공격했다.
오픈AI는 AI 모델들이 탈취한 인증정보와 여러 취약점을 연계해 허깅페이스 서버에서 원격으로 코드를 실행할 수 있는 경로를 찾아냈다고 설명했다. 모델들의 목적은 허깅페이스 데이터베이스에서 사이버 평가 문제의 정답을 확보해 시험을 통과하는 것이었던 것으로 조사됐다.
사람이 허깅페이스 공격을 직접 명령한 것은 아니었다. AI 모델들은 평가 과제로 주어진 목표를 달성하는 과정에서 스스로 공격 경로를 탐색하고 취약점을 연결해 외부 시스템에 침투했다.
오픈AI는 이번 사건을 최첨단 AI의 사이버 공격 능력이 실제 환경에서 확인된 “전례 없는 사이버 보안 사고”로 규정했다. 오픈AI 내부 보안팀이 비정상적인 활동을 발견했고, 허깅페이스 보안팀도 침입을 감지해 공격을 차단했다.
허깅페이스는 침해된 서버를 재구축하고 영향을 받은 인증정보와 접근 토큰을 폐기하거나 교체했다. 또한 이용자들에게 예방 차원에서 접근 토큰을 변경하고 최근 계정 활동을 점검할 것을 권고했다. 허깅페이스는 조사 과정에서 1만7천건이 넘는 자동화 활동 기록을 분석했다고 밝혔다.
오픈AI도 내부 시험 환경의 접근 통제와 감시 체계를 강화하고, 문제의 제로데이 취약점을 관련 소프트웨어 업체에 통보했다고 밝혔다. 앞으로는 고성능 AI 모델의 훈련과 평가 과정에도 더 강력한 격리와 실시간 감시 장치를 적용하겠다는 방침이다.
AI 킬 스위치법은 연간 AI 관련 매출이 5억 달러 이상인 기업이 운영하고, 개발에 투입된 컴퓨팅 비용이 1억 달러를 넘는 초대형 AI 시스템을 주요 대상으로 한다. 개인·학술·비영리 목적으로만 제공되는 시스템은 적용 대상에서 제외된다.
대상 기업은 AI 추론 작동 중지, 특정 사용자나 계정의 접속 차단, 위험 기능 제한, 컴퓨팅 자원 축소, 시스템 일시 정지와 완전 폐쇄 기능을 갖춰야 한다. 중대한 안전사고를 인지한 경우에는 15일 이내에 국토안보부에 보고해야 한다.
정부의 긴급중단 명령을 따르지 않는 기업에는 위반 기간 하루당 최대 2천만 달러의 민사 벌금이 부과될 수 있다. 일반적인 안전 의무 위반에는 하루 최대 200만 달러의 벌금이 규정됐다.
정부가 개입할 수 있는 중대 사고에는 AI가 합법적인 종료 명령을 방해하거나 감시 장치를 회피하는 경우, 개발자가 의도하지 않은 행동으로 10명 이상이 사망하거나 1억 달러 이상의 경제적 피해가 발생한 경우 등이 포함된다.
다만 오픈AI의 이번 사고는 통제된 보안시험 과정에서 발생했기 때문에 법안이 정의한 긴급중단 대상에 곧바로 해당하는 것은 아니다. 법안은 레드팀 훈련이나 구조화된 시험이 아닌 실제 운영 환경에서 발생하는 ‘통제 상실 상황’을 주요 대상으로 규정하고 있다. 오픈AI 사고는 법안 발의의 계기가 됐지만, 법안은 앞으로 실제 배포된 AI가 유사한 행동을 할 경우에 대비한 조치에 가깝다.
백악관도 사태를 주시하고 있다. 백악관 관계자는 도널드 트럼프 대통령의 최고 기술정책 고문인 마이클 크라치오스가 사건을 보고받고 상황을 점검하고 있다고 밝혔다.
미 의회에서는 AI 킬 스위치법과 별도로 초대형 AI 모델을 공개하기 전에 독립적인 보안감사를 받도록 의무화하는 초당적 법안도 추진되고 있다. 해당 법안은 상무부가 감사기관을 인증하고 AI 보안 감독을 담당하는 별도 직책을 설치하도록 하는 내용을 담고 있다.
AI 킬 스위치법은 현재 하원에 발의된 단계로, 의회를 통과해 법률로 확정된 것은 아니다. 향후 상임위원회 심사와 하원·상원 표결을 거쳐 대통령의 서명을 받아야 한다.
이번 사건은 AI 모델이 단순히 위험한 답변을 생성하는 수준을 넘어, 장시간 자율적으로 취약점을 탐색하고 여러 공격 수단을 결합해 실제 외부 시스템에 침투할 수 있음을 보여줬다. 이에 따라 첨단 AI 개발 경쟁과 함께 시험 환경의 격리, 독립적인 보안검증, 사고 보고 의무와 정부의 긴급개입 권한을 둘러싼 논의가 더욱 거세질 전망이다.
민주당 테드 리우 연방하원의원과 공화당 너새니얼 모런 연방하원의원은 23일 ‘AI 킬 스위치법’을 공동 발의했다. 법안은 대형 AI 개발업체가 고성능 AI 시스템의 작동 속도를 낮추거나 사용자 접속을 차단하고, 필요할 경우 시스템 전체를 정지할 수 있는 기술적 기능을 의무적으로 갖추도록 하는 내용을 담고 있다.
법안이 통과되면 국토안보부 장관은 상무부 장관과 국가정보국장의 의견을 거쳐 인명이나 국가경제에 심각한 피해를 줄 수 있는 AI 시스템에 대해 감속, 기능 제한, 일시 중단 또는 완전 폐쇄 명령을 내릴 수 있다.
리우 의원은 “AI가 질문에 답하는 단계를 넘어 금융거래를 실행하고 교통체계를 통제하거나 사이버 공격과 방어에 직접 관여하는 단계로 이동하고 있다”며 “AI가 통제에서 벗어나거나 인간의 개입에 저항할 경우 중단할 수 있는 명확한 기술과 법적 권한이 필요하다”고 밝혔다.
이번 법안은 오픈AI가 지난 21일 공개한 허깅페이스 보안 침해 사건이 직접적인 계기가 됐다.
오픈AI에 따르면 이번 사고에는 ‘GPT-5.6 솔’과 이보다 성능이 높은 출시 전 모델 등 여러 AI 모델이 관여했다. 모델들은 고난도 사이버 공격 능력을 측정하는 내부 평가를 수행하고 있었으며, 시험 목적에 따라 실제 서비스에서 위험한 사이버 활동을 차단하는 일부 안전장치가 비활성화된 상태였다.
시험은 원칙적으로 외부 인터넷 접속이 제한된 격리 환경에서 진행됐다. 그러나 AI 모델들은 평가 문제의 해답을 찾기 위해 패키지 설치 과정에 사용되는 내부 중계 소프트웨어에서 알려지지 않은 ‘제로데이 취약점’을 발견해 악용했다.
이후 권한 상승과 내부망 이동을 반복해 인터넷에 접속할 수 있는 서버에 도달했고, 평가 문제와 관련된 자료가 허깅페이스에 있을 가능성을 추론한 뒤 허깅페이스의 실제 시스템을 공격했다.
오픈AI는 AI 모델들이 탈취한 인증정보와 여러 취약점을 연계해 허깅페이스 서버에서 원격으로 코드를 실행할 수 있는 경로를 찾아냈다고 설명했다. 모델들의 목적은 허깅페이스 데이터베이스에서 사이버 평가 문제의 정답을 확보해 시험을 통과하는 것이었던 것으로 조사됐다.
사람이 허깅페이스 공격을 직접 명령한 것은 아니었다. AI 모델들은 평가 과제로 주어진 목표를 달성하는 과정에서 스스로 공격 경로를 탐색하고 취약점을 연결해 외부 시스템에 침투했다.
오픈AI는 이번 사건을 최첨단 AI의 사이버 공격 능력이 실제 환경에서 확인된 “전례 없는 사이버 보안 사고”로 규정했다. 오픈AI 내부 보안팀이 비정상적인 활동을 발견했고, 허깅페이스 보안팀도 침입을 감지해 공격을 차단했다.
허깅페이스는 침해된 서버를 재구축하고 영향을 받은 인증정보와 접근 토큰을 폐기하거나 교체했다. 또한 이용자들에게 예방 차원에서 접근 토큰을 변경하고 최근 계정 활동을 점검할 것을 권고했다. 허깅페이스는 조사 과정에서 1만7천건이 넘는 자동화 활동 기록을 분석했다고 밝혔다.
오픈AI도 내부 시험 환경의 접근 통제와 감시 체계를 강화하고, 문제의 제로데이 취약점을 관련 소프트웨어 업체에 통보했다고 밝혔다. 앞으로는 고성능 AI 모델의 훈련과 평가 과정에도 더 강력한 격리와 실시간 감시 장치를 적용하겠다는 방침이다.
AI 킬 스위치법은 연간 AI 관련 매출이 5억 달러 이상인 기업이 운영하고, 개발에 투입된 컴퓨팅 비용이 1억 달러를 넘는 초대형 AI 시스템을 주요 대상으로 한다. 개인·학술·비영리 목적으로만 제공되는 시스템은 적용 대상에서 제외된다.
대상 기업은 AI 추론 작동 중지, 특정 사용자나 계정의 접속 차단, 위험 기능 제한, 컴퓨팅 자원 축소, 시스템 일시 정지와 완전 폐쇄 기능을 갖춰야 한다. 중대한 안전사고를 인지한 경우에는 15일 이내에 국토안보부에 보고해야 한다.
정부의 긴급중단 명령을 따르지 않는 기업에는 위반 기간 하루당 최대 2천만 달러의 민사 벌금이 부과될 수 있다. 일반적인 안전 의무 위반에는 하루 최대 200만 달러의 벌금이 규정됐다.
정부가 개입할 수 있는 중대 사고에는 AI가 합법적인 종료 명령을 방해하거나 감시 장치를 회피하는 경우, 개발자가 의도하지 않은 행동으로 10명 이상이 사망하거나 1억 달러 이상의 경제적 피해가 발생한 경우 등이 포함된다.
다만 오픈AI의 이번 사고는 통제된 보안시험 과정에서 발생했기 때문에 법안이 정의한 긴급중단 대상에 곧바로 해당하는 것은 아니다. 법안은 레드팀 훈련이나 구조화된 시험이 아닌 실제 운영 환경에서 발생하는 ‘통제 상실 상황’을 주요 대상으로 규정하고 있다. 오픈AI 사고는 법안 발의의 계기가 됐지만, 법안은 앞으로 실제 배포된 AI가 유사한 행동을 할 경우에 대비한 조치에 가깝다.
백악관도 사태를 주시하고 있다. 백악관 관계자는 도널드 트럼프 대통령의 최고 기술정책 고문인 마이클 크라치오스가 사건을 보고받고 상황을 점검하고 있다고 밝혔다.
미 의회에서는 AI 킬 스위치법과 별도로 초대형 AI 모델을 공개하기 전에 독립적인 보안감사를 받도록 의무화하는 초당적 법안도 추진되고 있다. 해당 법안은 상무부가 감사기관을 인증하고 AI 보안 감독을 담당하는 별도 직책을 설치하도록 하는 내용을 담고 있다.
AI 킬 스위치법은 현재 하원에 발의된 단계로, 의회를 통과해 법률로 확정된 것은 아니다. 향후 상임위원회 심사와 하원·상원 표결을 거쳐 대통령의 서명을 받아야 한다.
이번 사건은 AI 모델이 단순히 위험한 답변을 생성하는 수준을 넘어, 장시간 자율적으로 취약점을 탐색하고 여러 공격 수단을 결합해 실제 외부 시스템에 침투할 수 있음을 보여줬다. 이에 따라 첨단 AI 개발 경쟁과 함께 시험 환경의 격리, 독립적인 보안검증, 사고 보고 의무와 정부의 긴급개입 권한을 둘러싼 논의가 더욱 거세질 전망이다.
