100곳 넘는 기업·기관 협력…금융·로봇·에너지 분야로 확대
인공지능(AI)이 사람의 지시를 받아 여러 시스템에서 업무를 수행하는 시대를 맞아 엔비디아가 에이전트의 행동과 접근 권한을 통제하는 개방형 안전 플랫폼을 공개했다. 소프트웨어에 실행 범위를 설정하고, 별도의 하드웨어 감시 체계를 통해 그 범위를 벗어나는 행동을 차단하는 것이 핵심이다.
엔비디아는 인공지능 에이전트의 시험·검증부터 실제 배포와 운영까지 보안을 강화하는 ‘오픈 에이전트 세이프티 플랫폼’을 발표했다. 플랫폼은 보안 실행 소프트웨어 ‘오픈셸’과 기업이 시스템을 구현할 때 참고할 수 있는 ‘센트리’ 참조 설계로 구성된다. 적용 범위는 에이전트 소프트웨어뿐 아니라 이를 구동하는 컴퓨팅 장비와 물리적 작업을 수행하는 로봇까지 포함한다.
엔비디아는 최근 보안 사고에서 에이전트가 주어진 업무를 완수하려고 응용프로그램 단계의 보안 통제를 우회하는 공통적인 양상이 나타났다고 설명했다. 장시간 자율적으로 작동하는 에이전트가 늘면서 기업이 허용한 행동 범위를 모델 외부에서도 강제할 수 있는 장치가 필요해졌다는 것이다.
젠슨 황 엔비디아 창업자 겸 최고경영자는 “인공지능의 안전 문제를 해결해야만 사회를 위한 인공지능의 엄청난 잠재력이 실현될 수 있다”며 “안전과 보안에는 시스템 전반에 걸친 엔지니어링이 필요하다”고 말했다. 그는 산업계와 연구자, 공공부문이 모범 사례를 공유하고 평가 방법을 조율하며 국제 협력을 강화해야 한다고 강조했다.
오픈셸은 에이전트가 작업을 실행하는 환경에 보안 경계를 설정하는 소프트웨어다. 에이전트의 활동을 추적하고 실행 중에도 보안 정책을 적용해, 어떤 데이터와 도구에 접근하고 어떤 작업을 수행할 수 있는지 통제한다. 공개형 모델과 비공개형 모델 모두를 대상으로 한다.
엔비디아는 자사의 ‘베라’ 중앙처리장치에서 오픈셸을 구동하면 보안 기능에 따른 성능 부담을 최소화할 수 있다고 설명했다. 오픈셸은 오픈소스로 제공되며, 암과 인텔 등 다른 업체의 컴퓨팅 플랫폼에서도 작동하도록 확장할 수 있다.
센트리는 에이전트의 실행 환경과 분리된 하드웨어 감시 체계를 더한다. 엔비디아의 ‘블루필드-4’ 데이터처리장치에서 작동하며 에이전트의 행동을 지속적으로 살피고 보안 정책을 집행한다. 회사는 에이전트가 소프트웨어로 설정된 경계를 벗어나려 하면 밀리초 단위로 격리하고 작동을 중단시킬 수 있다고 밝혔다.
센트리의 기반인 ‘도카’ 소프트웨어는 에이전트의 요청과 응답을 검사하고 신원을 확인하는 기능을 제공한다. 이를 통해 데이터와 도구, 외부 서비스에 대한 접근 권한을 세밀하게 관리한다는 설명이다. 기업은 업무 특성과 보안 요구에 따라 플랫폼 구성 요소를 선택해 도입할 수 있다.
기업용 서비스와의 연동도 추진되고 있다. 앤스로픽은 에이전트를 제어하는 서버와 실제 작업이 이뤄지는 격리 환경을 분리한 ‘클로드 매니지드 에이전트’에 오픈셸과 블루필드를 연동해 접근 통제를 강화하고 있다. 세일즈포스는 슬랙에서 오픈셸 에이전트의 활동과 감사 기록을 확인하고, 추가 권한 요청을 승인하거나 거부할 수 있도록 연동했다.
에스에이피는 자사 업무용 인공지능 플랫폼의 실행 환경에 오픈셸을 결합하고 있으며, 스케일에이아이는 기업·정부 고객을 위한 에이전트 기반 시스템에 관련 기술을 적용하고 있다. 스페이스엑스에이아이는 코딩 에이전트 ‘커서’와 ‘그록’ 모델에 이 플랫폼을 사용하고 있다고 엔비디아는 밝혔다.
엔비디아에 따르면 마이크로소프트, 시스코, 크라우드스트라이크, 팔란티어, 서비스나우 등을 포함해 100곳이 넘는 기업·기관이 플랫폼 기술을 활용하거나 관련 협력을 진행하고 있다. 피규어 등 로봇 기업은 물리적 환경에서 움직이는 자율 시스템에 안전 통제를 적용하고 있으며, 씨티와 제이피모건체이스 등 금융회사도 공동 오픈소스 안전 기술 개발에 협력하고 있다. 에너지·전력 기반시설 분야와 서버·클라우드 기업들도 참여한다.
플랫폼의 오픈셸 등 소프트웨어와 관련 개발 자료는 엔비디아 개발자 문서와 깃허브를 통해 제공된다. 엔비디아는 이번 플랫폼이 개방형 연구와 도구 공유를 통한 에이전트 보안 협력에도 기여할 것이라고 밝혔다. 회사가 120곳 이상의 기관과 함께 출범시키고 리눅스재단이 운영하는 ‘오픈 시큐어 에이아이 얼라이언스’는 인공지능 안전 관련 연구와 발견 사항을 공유하는 공동 프로젝트도 추진하고 있다.
