[K-글로벌 2026] 켄 골드버그 교수 “피지컬 AI, 데이터만으로는 부족…공학과 결합해야”

일부 모델 프리 로봇 시스템의 작업 성공률이 약 80% 수준에서 정체되는 현상도 중요한 문제로 지적했다. 산업 현장에서 실제로 활용되는 로봇이라면 80% 정도의 성공률만으로는 충분하지 않으며, 공장이나 물류센터처럼 하루에도 수천 또는 수만 차례 같은 작업을 반복해야 하는 환경에서는 95%, 99% 또는 그 이상의 신뢰성이 필요하기 때문이다.

골드버그 교수는 바로 이 지점이 현재 로봇 산업이 해결해야 할 가장 큰 문제 가운데 하나라고 강조했다. 그는 “대규모 데이터가 이미지 문제를 해결했고 언어 문제도 해결했으니 로봇도 해결할 것이라는 이야기를 실리콘밸리에서 자주 듣는다”며 장기적으로는 데이터 중심 접근을 통해 로봇 기술이 크게 발전할 것이라는 점에는 자신도 동의한다고 밝혔다. 다만 문제는 “언제 가능할 것인가”라고 지적했다.

골드버그 교수는 로봇 문제가 이미지나 언어보다 훨씬 복잡한 이유를 ‘상태 공간’의 차이로 설명했다. 이미지는 기본적으로 2차원이고 언어는 단어 또는 토큰이 일렬로 이어지는 1차원적인 구조로 볼 수 있지만, 로봇은 동시에 수많은 관절과 움직임을 제어해야 한다.

사람의 손 하나만 해도 약 22개의 자유도를 가지며, 양손이면 44개가 되고 여기에 양팔과 다리, 몸통의 움직임까지 포함하면 로봇이 동시에 제어해야 하는 자유도는 50개를 훨씬 넘어간다. 이 모든 움직임이 정확한 순간에 서로 맞물려야 로봇이 안정적으로 작업할 수 있기 때문에 “로봇 문제가 언어보다 어려운 이유가 바로 여기에 있다”고 그는 설명했다.

또 다른 문제는 데이터다. 현재 대규모 언어모델을 학습시키는 데 사용되는 데이터는 사람이 모두 읽는다고 가정할 경우 약 10만 년이 걸릴 정도의 규모에 이르는 것으로 추정된다. 반면 현재 대표적인 로봇 시스템이 확보하고 있는 실제 로봇 행동 데이터는 이에 비해 극히 적다.

골드버그 교수는 일부 시스템의 데이터가 약 1년 정도에 불과하다며 언어 인공지능과 비교하면 약 10만 배에 달하는 ‘로봇 데이터 격차’가 존재한다고 설명했다. 인터넷에 축적된 텍스트와 사진, 동영상은 언어모델과 비전 모델을 학습시키는 데 활용할 수 있지만, 로봇이 물체를 잡고 움직이며 힘을 조절하는 실제 행동 데이터는 인터넷에서 그대로 구할 수 없다는 점도 중요한 차이다.

골드버그 교수는 데이터의 양만으로 성능을 설명할 수 없다는 사례로 테슬라와 웨이모의 자율주행 기술을 비교했다. 그에 따르면 테슬라는 수십억 마일 규모의 방대한 주행 데이터를 확보하고 있어 데이터 규모만 놓고 보면 웨이모를 크게 앞선다. 그러나 실제 자율주행의 안정성과 성능에서는 단순히 데이터 양과 결과가 비례하지 않는다고 그는 주장했다.

골드버그 교수는 웨이모가 대규모 데이터뿐만 아니라 모델 기반 제어이론과 전통적인 공학 기술도 적극적으로 사용한다는 점을 강조하며 “모델 프리 방식은 매우 흥미롭고 많은 경우 효과를 보이지만 때로는 모델 기반 방식이 그냥 문제를 해결한다”고 말했다. 결국 데이터와 인공지능, 기존 공학을 서로 대립되는 기술로 볼 것이 아니라 결합해야 한다는 것이다.

골드버그 교수는 자신의 대표적인 연구 분야인 로봇의 ‘물체 잡기’ 기술도 소개했다. 그는 40년 이상 사람이 물체를 잡는 방식과 로봇 그리핑 기술을 연구해왔다고 설명했다. 사람이 컵이나 신발, 박스 등 형태가 전혀 다른 물체를 별다른 고민 없이 집어 드는 행동은 매우 단순해 보이지만 로봇에게는 극도로 복잡한 문제다. 2015년 전후 컴퓨터 비전 기술이 크게 발전하면서 인공지능이 사진 속 여러 물체를 인식하기 시작하자 골드버그 교수는 이미지 인식에서 사용된 데이터 중심 방식을 로봇의 물체 잡기 문제에도 적용할 수 있는지를 연구했다.

그 결과 개발된 기술이 ‘덱스넷’이다. 연구팀은 수천 개의 3차원 물체 모델을 확보한 뒤 각각의 물체에 대해 로봇이 어떤 방식으로 잡을 수 있는지를 분석했다. 각각의 잡기 방법이 성공할 확률을 통계적으로 계산해 수백만 개에 달하는 학습 사례를 구축했고, 이 데이터를 학습한 로봇은 사전에 한 번도 보지 못했던 새로운 물체도 분석해 집어 올릴 수 있었다. 골드버그 교수는 흡착 장치와 그리퍼를 함께 사용하는 시스템을 개발했으며, 이를 통해 불규칙하게 섞여 있는 물체 가운데 적절한 물체를 선택해 집어 올리는 기술을 구현했다고 설명했다.

이 연구는 이후 아마존 창업자 제프 베이조스의 관심을 끌었다. 골드버그 교수는 연구팀이 로봇을 직접 가져가 베이조스에게 기술을 시연했던 당시의 일화도 소개했다. 연구팀은 약 300개의 물체를 준비해 로봇이 다양한 물건을 집을 수 있다는 것을 보여주고 있었는데, 시연 도중 베이조스 측에서 갑자기 자신이 신고 있던 신발을 로봇이 집을 수 있는지 시험해보자는 제안을 했다는 것이다. 연구팀은 이전에 해당 신발을 이용해 시험해본 적이 없어 매우 긴장했지만 로봇은 신발을 분석한 뒤 성공적으로 집어 올렸다. 그는 “그날 밤 아내에게 전화해 내 인생 최고의 순간이었다고 말했다”고 농담을 섞어 당시 상황을 전했다.

이 시연 이후 골드버그 교수와 연구진은 상용화 가능성을 확인하고 앰비 로보틱스를 창업했다. 앰비 로보틱스는 이후 물류 자동화 시스템을 개발해 미국 전역의 물류 현장에 공급하고 있다. 대표 시스템은 물류센터에서 다양한 크기와 형태의 패키지를 로봇이 자동으로 집어 들고 스캔한 뒤, 우편번호 등 목적지에 따라 각각 다른 공간으로 분류하는 작업을 수행한다.

골드버그 교수는 이러한 실제 산업 시스템 역시 순수한 데이터 기반 기술만으로 만들어진 것이 아니라고 강조했다. 물체를 인식하고 어떤 위치를 잡을지를 결정하는 과정에서는 AI와 대규모 데이터가 중요한 역할을 하지만, 로봇팔의 움직임과 경로 계획, 제어 시스템 등에는 기존 로봇공학과 전통적인 엔지니어링이 함께 적용된다는 것이다. 그는 “내부에서 시스템이 어떻게 만들어지는지를 알고 있기 때문에 말할 수 있다”며 “데이터가 중요한 요소이지만 많은 다른 요소들도 필요하다”고 설명했다.

실제 산업 현장에 로봇을 먼저 투입하면 새로운 데이터가 지속적으로 만들어진다는 장점도 있다. 골드버그 교수는 앰비 로보틱스가 미국 각 지역에 설치한 로봇에서 모든 물체 잡기 작업에 대한 데이터를 수집하고 있다고 설명했다. 원래는 장비 상태를 감시하고 유지보수를 지원하기 위해 만든 시스템이었지만, 실제 물류 현장에서 발생하는 막대한 데이터를 확보하면서 로봇 성능을 향상시키는 중요한 기반이 됐다.

그는 이런 구조를 ‘데이터 애벌랜치’, 즉 ‘데이터 눈사태’라고 표현했다. 제품을 먼저 현장에 배치하면 실제 작업 데이터가 쌓이고, 그 데이터를 이용해 성능을 개선하면 더 많은 제품이 판매되고 다시 더 많은 데이터가 만들어지는 선순환 구조다. 골드버그 교수는 웨이모의 자율주행 시스템 역시 실제 도로에 차량이 투입되면서 지속적으로 데이터를 확보하고 이를 이용해 다시 성능을 개선하는 유사한 구조를 갖고 있다고 설명했다.

로봇 데이터를 확보하는 방법으로는 네 가지 방식을 제시했다. 첫 번째는 시뮬레이션이다. 가상 환경에서 수많은 로봇 동작을 학습시킨 뒤 이를 실제 로봇으로 이전하는 방식으로, 골드버그 교수는 드론 비행이나 휴머노이드 로봇의 걷기와 뛰기, 각종 곡예 동작에서는 시뮬레이션 방식이 매우 효과적이라고 설명했다.