“AI, 데이터센터 넘어 현실 세계와 일상 속으로 이동”
카메라·IMU 결합해 정확도·안전·배송 효율 함께 높여
아마존에서 로봇과 증강현실(AR) 기술 개발 책임자로 있는 김예린 연구원은 인공지능이 데이터센터를 벗어나 현실 세계로 진입하는 ‘피지컬 AI’ 시대에는 멀티모달 AI와 엣지 AI, 그리고 인간 중심 설계가 핵심이라고 강조했다. 김 연구원은 아마존의 가정용 로봇 ‘아스트로’와 라스트마일 배송용 AR 안경 개발 경험을 소개하며 실제 생활공간에서 AI가 작동하기 위해 해결해야 할 기술적 과제와 그 과정에서 얻은 교훈을 설명했다.
김 연구원은 기조연설에서 자신이 약 8년간 아마존에서 근무하며 컴퓨터 비전과 멀티모달 머신러닝, 로봇 인지 기술을 연구해 왔다고 소개했다. 초기 약 4년 동안은 아마존의 소비자용 로봇 프로젝트인 아스트로 개발에 참여했으며, 연구 단계부터 실제 제품 출시 과정까지 경험했다. 현재는 아마존 라스트마일 배송 조직에서 배송 기사들이 착용하는 AR 기반 스마트 안경의 AI 연구팀을 이끌고 있다고 설명했다. 그는 로봇과 AR 안경이라는 서로 다른 플랫폼을 개발했지만 실제 현실 세계에 AI를 적용하는 과정에서는 놀라울 정도로 유사한 문제가 반복됐다고 말했다.
김 연구원은 AI가 지금까지 인터넷에서 수집된 대규모 이미지와 영상, 텍스트 데이터를 중심으로 발전했다면 앞으로는 인간이 실제 세계에서 만들어내는 행동과 상호작용, 센서 정보를 이해해야 하는 단계로 이동하고 있다고 설명했다. 특히 인터넷에서 사용할 수 있는 학습 데이터가 점차 한계에 도달하면서 인간과 인간, 인간과 기계가 현실 공간에서 어떻게 움직이고 상호작용하는지를 이해하는 데이터가 더욱 중요해지고 있다고 분석했다. 여기에 현실 세계의 AI는 데이터센터와 달리 제한된 연산 능력과 통신 지연, 배터리, 발열, 무게, 개인정보 보호 등의 문제를 동시에 해결해야 하기 때문에 하드웨어와 소프트웨어를 함께 설계해야 한다고 강조했다.
그가 제시한 첫 번째 핵심 요소는 ‘멀티모달 AI’다. 하나의 카메라 영상에만 의존하지 않고 영상과 음성, 관성측정장치(IMU) 등 서로 다른 센서 정보를 결합해 주변 환경과 사용자의 행동을 파악해야 한다는 것이다. 김 연구원은 자신이 약 15년 전부터 오디오와 영상 등 서로 다른 신호를 결합해 인간의 행동과 상호작용을 이해하는 멀티모달 인지 기술을 연구해 왔다며, 현재 아마존의 로봇과 AR 안경에서도 이러한 접근 방식이 핵심 기술로 활용되고 있다고 설명했다.
두 번째 핵심은 ‘엣지 AI’다. 로봇이나 스마트 안경에는 데이터센터에서 사용하는 대형 GPU를 그대로 탑재할 수 없기 때문에 제한된 연산 능력 안에서 실시간으로 AI 모델을 작동시켜야 한다. 김 연구원은 특히 얼굴에 착용하는 AR 안경은 무게와 배터리 사용시간, 발열 등이 사용성을 결정하는 중요한 조건이라며 모든 데이터를 클라우드로 보내 처리하는 방식으로는 실제 제품을 구현하기 어렵다고 설명했다. 이에 따라 즉각적인 반응이 필요한 기능은 기기에서 처리하고, 보다 복잡한 연산이 필요한 기능만 클라우드를 활용하는 하이브리드 구조가 중요하다고 말했다.
세 번째는 ‘인간 중심 AI’다. 김 연구원은 기술적으로 높은 정확도를 달성하는 것만으로는 충분하지 않으며 실제 사용자가 자연스럽고 편리하게 사용할 수 있도록 제품을 설계해야 한다고 강조했다. 그는 아스트로와 배송용 AR 안경 모두 기술 자체에서 출발한 것이 아니라 “사용자가 실제로 무엇을 필요로 하는가”에서 출발해 역으로 기술을 설계하는 방식으로 개발됐다고 설명했다.
아마존 아스트로는 이러한 피지컬 AI의 대표적인 사례다. 김 연구원에 따르면 가정용 로봇은 공장이나 물류창고에서 반복적인 작업을 수행하는 산업용 로봇과 달리 여러 사람이 동시에 움직이고 대화를 나누는 복잡한 환경에서 특정 사용자의 의도를 이해해야 한다. 여러 사람이 한 공간에 있을 경우 누가 로봇에게 말을 건 것인지, 누구를 따라가야 하는지, 어떤 사람에게 반응해야 하는지를 실시간으로 판단해야 한다는 것이다.
이를 위해 아스트로는 카메라와 마이크 등 다양한 센서를 활용해 음성 활동과 얼굴 방향, 사용자와 로봇 사이의 거리 등을 분석한다. 김 연구원은 사람이 다른 사람과 대화할 때 매번 상대방의 이름을 부르지 않는 것처럼 사용자가 “아스트로”라는 호출어를 계속 반복하지 않아도 자연스럽게 명령할 수 있도록 만드는 것이 중요한 목표였다고 말했다. 그러나 이를 구현하려면 주변에서 발생하는 대화 가운데 어떤 발언이 로봇을 향한 것인지 정확하게 판단해야 한다.
비언어적 상호작용도 중요한 요소로 꼽았다. 사람들은 대화하면서 눈을 맞추거나 고개를 끄덕이며 상대방의 말을 듣고 있다는 신호를 보낸다. 김 연구원은 로봇 역시 사용자의 행동을 인식하고 적절한 움직임으로 반응해야 사람이 로봇이 자신을 인식하고 있다고 느끼게 되며, 이러한 과정이 인간과 로봇 사이의 신뢰를 형성하는 데 중요하다고 설명했다.
아스트로의 AI 시스템은 실시간 반응이 필요한 정보는 대부분 기기 자체에서 처리하도록 설계됐다. 김 연구원은 클라우드와 통신할 경우 약 100밀리초 수준의 지연만 발생해도 사용자가 반응이 늦다고 느낄 수 있다고 설명했다. 이에 따라 음성 활동과 얼굴 방향, 거리 등 즉각적인 판단에 필요한 정보는 경량 AI 모델을 이용해 기기에서 처리하고, 사용자가 실제로 로봇에게 말을 걸었다고 판단될 때만 필요한 음성 정보를 클라우드로 보내 음성 인식과 최종 해석을 수행하는 구조를 사용했다고 말했다. 이러한 방식은 통신 지연을 줄이는 동시에 집 안에서 발생하는 모든 대화를 클라우드로 전송하지 않아도 된다는 점에서 개인정보 보호에도 도움이 된다고 설명했다.
김 연구원은 실제 제품 개발 과정에서 AI 모델 하나의 정확도를 높이는 것보다 이미 존재하는 여러 센서와 모델의 정보를 결합하는 것이 더 효과적이었던 사례도 소개했다. 아스트로의 사람 인식 모델은 개발 초기 약 95% 수준의 정확도를 보였지만 실제 제품에 적용하기 위해서는 99.9% 수준까지 높여야 했다. 특히 TV 화면이나 사진 액자 속 사람을 실제 사람으로 잘못 인식하는 문제가 발생했다.
당시 로봇 내부에서는 이미 다수의 딥러닝 모델이 작동하고 있어 새로운 대형 모델을 추가할 연산 여유가 부족했다. 연구진은 별도의 복잡한 모델을 만드는 대신 기존에 사용 중이던 사람의 17개 신체 관절 위치를 추정하는 자세 인식 모델의 정보를 활용했다. 사람 검출 결과와 신체 관절 정보를 간단한 경량 모델로 결합한 결과 정확도를 95%에서 99.9% 수준까지 끌어올릴 수 있었다고 김 연구원은 설명했다. 그는 이를 통해 “현실 환경에서 하나의 모델이 제대로 작동하지 않을 경우 새로운 대형 모델을 추가하기보다 주변에 이미 존재하는 다른 센서 신호를 결합하는 것이 더 좋은 해결책이 될 수 있다”고 강조했다.
김 연구원은 이어 현재 개발하고 있는 아마존 라스트마일 배송용 AR 안경을 소개했다. 이 안경은 배송 기사들이 스마트폰 화면을 반복적으로 확인해야 하는 기존 업무 방식을 바꾸기 위한 것으로, 필요한 정보를 눈앞의 디스플레이에 표시해 배송 효율과 안전성을 동시에 높이는 것을 목표로 한다. 아마존 배송 기사들은 하루 평균 매우 많은 수의 소포를 배송하기 때문에 개별 배송에서 몇 초만 절약해도 전체 물류 시스템에서는 막대한 시간과 비용 절감 효과가 발생한다는 설명이다.
배송용 AR 안경은 배송 기사가 차량에서 내린 뒤 고객의 문 앞까지 이동하는 이른바 ‘라스트 100야드’ 구간에서 주로 사용된다. 기사가 차량 안에서 여러 개의 소포 가운데 다음 배송지에 해당하는 물품을 찾을 때 안경이 필요한 소포를 자동으로 알려주고, 차량에서 내린 뒤에는 증강현실 화면을 통해 이동 방향과 배송 위치를 안내한다. GPS 신호가 약해지는 아파트나 대형 건물 내부에서는 카메라 영상과 IMU 신호를 결합한 위치 추정 기술을 이용해 사용자가 어디에 있고 어느 방향을 바라보고 있는지를 판단한다.
특히 복수의 가구나 사업장이 들어선 대형 건물에서는 건물 안으로 들어간 뒤 엘리베이터가 어디에 있는지, 특정 호수를 어떻게 찾아가야 하는지를 확인하기 어렵다. 김 연구원은 이러한 실내 내비게이션 문제가 배송 현장에서 중요한 과제라며 카메라와 관성 센서를 이용한 위치 추정 및 지도 기술을 개발하고 있다고 설명했다.
‘배송 완료 사진’ 촬영 역시 AR 안경을 통해 자동화하고 있다. 미국에서 아마존 배송을 받으면 고객은 현관 앞에 놓인 소포 사진을 배송 증빙으로 받는 경우가 많은데, 기존에는 배송 기사가 여러 개의 소포를 들고 있는 상황에서도 스마트폰을 꺼내 사진을 촬영해야 했다. 김 연구원은 소포를 내려놓는 순간을 안경이 자동으로 인식해 사진을 촬영하도록 함으로써 이러한 과정을 보다 자연스럽게 만드는 것이 목표라고 설명했다.
이 기능에서도 멀티모달 AI가 결정적인 역할을 했다. 초기에는 컴퓨터 비전 모델을 이용해 화면 안의 문과 소포 등 주요 물체를 인식한 뒤 배송 완료 시점을 판단했지만, 경우에 따라 소포를 내려놓기도 전에 사진을 촬영하는 문제가 발생했다. 연구진은 이후 배송 기사가 소포를 내려놓을 때 IMU 센서에서 매우 특징적인 움직임이 나타난다는 사실을 발견했다. 걸어가거나 현관에 접근할 때와는 다른 움직임 신호였다. 이를 영상 정보와 결합하자 실제 소포를 내려놓는 순간을 훨씬 정확하게 포착할 수 있었고 배송 완료 사진의 정확도도 크게 향상됐다고 설명했다.
배송용 AR 안경 개발에서 가장 어려운 문제 가운데 하나는 무게와 배터리였다. 일반 안경은 약 20∼30그램 수준이며 70∼80그램을 넘어가면 장시간 착용하기 어렵다. 하지만 아마존 배송 기사들은 하루 8∼10시간 가까이 안경을 착용해야 할 수 있기 때문에 일반 소비자용 스마트 안경보다 훨씬 엄격한 착용성 기준이 요구된다.
아마존은 이를 해결하기 위해 안경 자체에는 카메라와 각종 센서를 배치하되 대부분의 연산 장치와 배터리는 배송 기사가 착용하는 조끼로 옮기는 구조를 채택했다. 배송 기사들이 기존에도 아마존 조끼를 착용한다는 점을 활용해 무게가 큰 컴퓨팅 장치와 배터리를 몸에 분산시킨 것이다. 교체식 배터리 구조를 통해 장시간 업무에도 대응할 수 있도록 했다.
김 연구원은 단순해 보이는 바코드 스캔 기능 하나에도 여러 단계의 기술이 필요하다고 설명했다. 카메라로 영상을 확보한 뒤 움직임으로 발생하는 흔들림을 보정하고, 왜곡과 노출을 수정하며, 어두운 배송 차량 안에서도 바코드가 인식되도록 영상을 보정해야 한다. 이후 AI 모델이 화면 속 바코드를 찾고 정보를 해독해 실제 고객 주소와 연결한 뒤 AR 화면과 음성을 통해 배송 기사에게 결과를 알려준다.
실제 현장 테스트에서는 배송 기사들이 어느 순간 “스캔 기능이 예전보다 느려진 것 같다”고 평가했고 연구팀은 전체 시스템을 다시 분석했다. 그 결과 AI 모델 자체의 문제뿐 아니라 생산공정에서 발생한 카메라 모듈의 미세한 변화, 배송 라벨 크기와 디자인 변경 등 여러 요인이 동시에 영향을 미치고 있다는 사실을 발견했다. 안경의 외관을 더 얇게 만들기 위한 제조공정의 변화가 카메라의 선명도에 영향을 주기도 했으며, 환경을 고려해 배송 라벨을 작게 변경하는 다른 프로젝트가 진행되면서 기존 학습 데이터와 실제 환경 사이에 차이가 발생하기도 했다.
김 연구원은 이러한 경험이 피지컬 AI 개발에서 중요한 교훈을 보여준다고 말했다. 연구실에서는 AI 모델의 정확도를 중심으로 평가할 수 있지만 실제 제품에서는 카메라와 센서, 제조공정, 조명, 사용자 행동, 네트워크, 배터리 등 전체 시스템이 동시에 작동해야 하기 때문에 어느 한 요소만으로 문제를 설명할 수 없다는 것이다. 그는 “AI를 실제 세계에 적용할 때는 사용자 경험에서 출발해 문제를 역으로 추적하는 접근이 필요하다”고 강조했다.
아스트로와 AR 안경 사이에는 플랫폼의 차이가 있지만 핵심 기술에는 상당한 공통점이 있다고도 설명했다. 카메라를 이용한 시각 인식, 관성 센서를 이용한 움직임 분석, 위치 추정과 지도 작성, 경로 계획 등은 두 시스템에서 모두 사용된다. 로봇에서는 이러한 AI의 결과가 로봇의 움직임이나 화면, 음성으로 표현되는 반면 AR 안경에서는 눈앞의 디스플레이와 음성, 진동 등으로 사용자에게 전달된다는 차이가 있을 뿐이라는 것이다.
김 연구원은 AR 안경을 활용한 공간 지도 제작 가능성도 강조했다. 자율주행 기업들이 도로를 달리는 차량을 통해 대규모 도로 데이터를 수집하듯 아마존은 배송 과정에서 확보되는 정보를 활용해 실내와 실외를 연결하는 공간 데이터를 구축할 수 있다고 설명했다. 아마존의 배송망과 배송 차량, 배송 기사, AR 안경을 결합하면 기존 지도 서비스가 충분히 확보하기 어려웠던 건물 내부와 고객 문 앞까지 이어지는 새로운 형태의 공간 정보를 만들 수 있다는 것이다.
연구진은 대형 AI 모델을 그대로 엣지 기기에 탑재하기 어려운 문제를 해결하기 위한 모델 경량화 연구도 진행하고 있다. 김 연구원은 한 장의 이미지만으로 사용자의 위치와 바라보는 방향을 추정하는 시각적 위치추정 기술에서 교사–학생 모델 구조를 활용해 모델 크기를 크게 줄이면서도 높은 성능을 유지하는 연구를 진행했다고 소개했다. 위성 이미지와 사용자가 직접 바라보는 1인칭 영상을 결합하거나, 영상과 IMU 데이터를 함께 이용해 사용자의 행동을 이해하는 연구도 병행하고 있다고 설명했다.
김 연구원은 아마존이 피지컬 AI를 연구하기에 독특한 환경을 갖고 있다고 평가했다. 상품이 물류센터에서 지역 배송기지를 거쳐 배송 차량과 배송 기사를 통해 고객의 문 앞까지 이동하는 전체 물류망을 운영하고 있어 현실 세계에서 발생하는 복잡한 이동과 행동 데이터를 대규모로 이해할 수 있기 때문이다. 여기에 AR 안경과 로봇 등 다양한 형태의 기기를 결합하면 현실 공간을 이해하는 AI를 실제 규모로 검증할 수 있다는 설명이다.
김 연구원은 “로봇이든 AR 안경이든 현실 세계에 AI를 적용하면 결국 비슷한 패턴의 문제를 만나게 된다”며 “카메라 하나에 의존하기보다 여러 센서를 결합하는 멀티모달 접근, 기기와 클라우드의 역할을 나누는 엣지 AI, 그리고 실제 사용자의 경험에서 출발하는 인간 중심 설계가 중요하다”고 강조했다. 그는 AI가 데이터센터 안에서만 작동하는 기술을 넘어 인간의 집과 일터, 이동 공간에서 직접 사람을 돕는 기술로 발전하면서 피지컬 AI가 앞으로 인공지능 산업의 중요한 영역으로 자리 잡을 것이라고 전망했다.
