완전한 자율주행을 위한 도전, 카메라와 라이다

보통의 과학

완전한 자율주행을 위한 도전,
카메라와 라이다

1993년 6월, 차 운전석에 앉은 한민홍 고려대 교수는 잠을 제대로 못 잔 기색이 역력하다. 사고라도 나면 어쩌나 걱정한 탓이다. 그럴만한 이유가 있었다. 겉모습은 당시 아시아자동차에서 만든 ‘록스타’로 흔히 볼 수 있는 차량이었지만, 한 교수는 여기에 자율주행 기능을 넣었다. 세계 최초였다. 전례가 없는 기술이었기에 공공도로에서 첫 시험주행을 앞두고 극도에 긴장감에 시달린 것도 당연하다.

_{그림 1. 한민홍 교수가 제작한 자율주행차. 현재는 고려대학교에 전시되어 있다. © 고려대학교}

주행은 성공이었다. 자동차 전용도로에 올라서 자율주행모드를 켜자, 차량은 스스로 차선을 지키고 앞차와 거리를 유지했다. 2년 후에는 경부고속도로로 서울에서 천안까지 110km 구간을 자율주행하는 데 성공했다.

한 교수가 국제 학회에서 이 성과를 발표하자 독일의 벤츠와 폴크스바겐이 기술을 배우러 찾아올 만큼 관심을 보였다고 한다. 그러나 우리 손으로 만든 세계 최초의 자율주행 기술은 정부의 산업기술 지원 프로젝트에서 탈락하면서 산업으로 연결되지 못했다. 자율주행이 자동차산업의 총아처럼 여겨지는 지금을 생각하면 무척이나 아쉬운 일이다.

운전자의 지각을 모방하다-카메라

한 교수가 적용한 방법은 시각인지 기술이었다. 그가 이용한 장비는 도로의 상황을 인지하는 3대의 카메라와 광센서, 그리고 주행을 제어하는 386급 컴퓨터가 전부였다. 카메라는 차선과 앞의 장애물을 인식해서 이 정보를 컴퓨터로 보낸다. 컴퓨터는 이미지를 분석해 조향장치와 페달을 제어한다. 아주 단순하다. 차선이 휘어져 있으면 휘어진 만큼 조향장치를 조작하고, 앞의 장애물과 거리가 가까워지면 감속페달을 작동한다. 앞쪽 15m 이내에 차가 없으면 미리 입력한 속도에 도달할 때까지 가속한다. 보고 판단하고 조작하는, 별다른 장애물이 없는 한적한 길에서 운전자가 하는 행동과 유사하다.

한 교수의 방법론은 자율주행 기술이 상당한 수준으로 발전한 지금도 여전히 유효하다. 자율주행하려면 5가지 종류의 기술을 조합해야 한다. 환경인식, 위치인식 및 맵핑, 판단, 제어, 인터랙션이다.

여기서 가장 중요한 단계는 환경인식이다. 주변 환경을 인식해야 판단에 정보를 수집할 수 있기 때문이다. 문제는 자동차가 주변 환경을 어떻게 인식하느냐다. 열쇠는 운전자에게 있다. 운전자는 운전 중 끊임없이 외부 환경을 관찰하고 판단한다. 예외적인 경우를 제외하고는 운전자는 오직 시각에만 의존해 관찰한다. 시각정보만으로도 운전에 필요한 판단을 하는 데는 무리가 없는 셈이다.

_{그림 2. 테슬라 오토파일럿의 작동화면. 카메라에 비친 정보를 딥러닝 시스템이 분석해서 화면 속 개체를 실시간으로 분류해 추적한다. © Tesla}

한 교수가 카메라를 이용한 이유도 시각정보가 운전에 필요한 유일한 정보라는 판단에서였다. 시각정보가 입체적이지 않아 거리를 판별하기 어렵다는 문제는 카메라를 추가해서 양안시의 원리를 적용함으로써 해결했다. 두 대의 카메라를 이용해 피사체와의 거리를 판단해 자동차 주변의 상황을 3차원적으로 인식한다. 한 교수가 자율운행을 선보인 이래, 자율주행기술에는 카메라를 이용한 시각정보가 반드시 들어갔다. 현재 자율주행 기술 상용화의 선두주자인 테슬라 역시 카메라를 이용한 시각정보를 기반으로 자율주행을 구현한다.

운전자의 기억을 모방하다-라이다

정보량이 많은 도심 운전에서는 한눈팔지 않더라도 판단이 조금만 늦으면 사고로 이어지곤 한다. 그러나 운전자의 운전 경험이 쌓일수록 판단에 필요한 정보가 점점 풍부해져서 더 쉽고 정확하게 예측할 수 있다.

_{그림 3. 자율주행차에는 다양한 센서와 카메라가 활용된다. 각각은 상호 보완적인 기능을 한다. © 현대자동차}

자율주행차가 도심에서도 제대로 작동하려면 운전자들의 이러한 판단을 모방해야 한다. 기계가 사람을 흉내내려면 보이지 않는 정보, 사람이라면 직접 눈으로 보지 않아도 암묵적으로 아는 정보가 필요하다.

여기에 활용된 기술이 바로 라이다(Lidar)와 고해상도지도(HDMap)다. 두 기술은 카메라만으로는 얻을 수 없는 차량 주변의 상황을 컴퓨터에 전달한다. 라이다는 빛(Light)과 레이더(Radar)의 합성어다. 레이더는 전파가 물체에 반사돼 돌아온 시간과 방향을 이용해 물체의 위치를 실시간으로 알아내는 기술이다. 레이더는 눈으로 보이지 않을 만큼 멀리 떨어질 큰 물체를 찾을 목적으로 개발됐다. 해상도는 낮지만 적은 에너지로도 멀리까지 뻗어나가는 전파의 성질을 이용했다. 전파나 가시광선이나 파장만 다를 뿐 모두 전자기파이므로 레이더 시스템에 가시광선을 활용할 수도 있다. 가시광선은 생성하는 데 전파보다 큰 에너지가 필요하고 멀리까지 전달하기 어렵지만, 파장이 짧아서 정확성과 해상도가 매우 높다. 물체의 단면을 한층씩 스캔하는 주사식 라이더의 경우, 고성능 제품은 0.001mm 정도, 상업용으로 널리 사용되는 제품은 1mm 정도의 정밀도를 보여준다. 짧은 시간 단위로 일정 면적을 인식하는 섬광식 라이더는 이보다 정밀도가 낮지만 인식시간이 빠르다.

_{그림 4. 라이다는 주변의 사물을 인식해 객체를 지정하고 각각을 레이블링한다. 객체 데이터는 학습을 통해 습득하고 갱신된다. © Popular Science}

라이더를 차량에 장착하면 주행하는 동안 내내 실시간으로 주위 사물을 3차원으로 인식할 수 있다. 영상 정보를 분석할 필요 없이 사물의 움직임을 개별적으로 확인하고 추적할 수 있으므로 카메라만 이용할 때보다 훨씬 빠르게 정확한 상황 인식이 가능하다. 이렇게 수집된 정보는 차량 주변 상황을 가상공간에 그대로 복제한 디지털 트윈인 ‘입체 지도’를 만들어낸다.

_{그림 5. 라이다는 이처럼 빛의 점으로 이루어진 세계를 가상공간에 구현한다. 각 점으로부터 빛이 돌아오는 데 걸린 시간과 방향이 3차원 공간상의 좌표를 표현하기에 완벽한 3D 지도를 만들 수 있다. © 현대자동차}

라이더의 정보는 빛이 사물에 부딪혀 되돌아온 수백만 개의 ‘점’의 집합이다. 각각의 점은 반사되어 되돌아온 곳이 차량의 라이더 장치로부터 어느 정도 거리에 있는지에 대한 정보를 담고 있다. 수백만 개가 넘는 점 정보가 모이면 3차원 공간 좌표의 모임이 만들어져서 주변 상황을 3차원 영상으로 표현한다. 이렇게 만들어진 영상에서 운전에 필요한 정보를 각각의 객체로 추출하고 객체의 속성값을 자동차의 데이터베이스 포맷으로 변환하면 입체 지도가 만들어진다. 이를 cm 단위의 정밀도를 갖춘 고해상도 3D 지도와 대조하면 차량의 정확한 위치와 주행에 필요한 주변 정보를 충실하게 얻을 수 있다.

_{그림 6. 라이다 정보를 수집해 만든 HDMap. 일반적인 지도와 달리 1:1 축적의 가상공간이다. HDMap은 현실 도로의 디지털 트윈이라고 할 수 있다. © Deepmap}

이러한 장점 때문에 라이다는 자율주행차의 필수품으로 자리잡았다. 시험용 자율주행차량의 지붕 위에는 원반 모양의 장치가 있는데, 이것이 바로 라이다다. 구글의 자율주행 스타트업인 웨이모를 비롯하여 많은 기업은 라이다와 HDMap을 활용해 카메라의 시각정보를 보조 수단으로 활용한다. 라이다와 같은 기술이 있다면 차량을 둘러싼 360도 3차원 지도가 시각으로 얻은 정보보다 훨씬 정확하고 풍부한 정보를 제공할 것이다. 이러한 판단에 따라 현대자동차나 아우디, GM과 같은 상용차 기업도 라이다 시스템에 기반하여 자율주행 기술을 개발하고 있다.

마지막 남은 과제, 데이터

카메라와 라이다, 여기에 근접한 물체를 인식하는 초음파 센서와 중거리 레이더를 조합하면 자율주행차가 제대로 작동하는 데 필요한 데이터를 촘촘하게 수집할 수 있다. 여기에 더해 무선 네트워크 기술이 발전하면서 실시간 원격 컴퓨팅이 가능해지자 자율주행기술이 상용화에 근접한 수준으로 발전했다. 차량에는 운전자와 상호작용하고 주어진 정보를 바탕으로 순간적인 판단을 하는 데 적합한 수준의 인공지능 칩만 탑재하고 심층 분석, 규칙 생성에 필요한 복잡한 계산은 원격지의 고성능 서버에서 수행하는 방식이다. 개별 차량이 매 순간 수집한 방대한 정보는 실시간으로 원격지에 수집되며, 딥러닝 기술을 바탕으로 지도와 알고리즘을 개선하는 데 활용된다.

그러나 현시점에서 자율주행 기술을 가장 활발하게 상용화하는 테슬라는 라이다를 배제한 채 자율주행기술을 개발하고 있다. 테슬라의 CEO 일론 머스크가 보기에 라이다 시스템은 아무리 가격을 낮춘다고 하더라도 카메라보다는 비싸고, 초당 10회 이상 회전하면서 주변을 스캔해야 하기에 고장 가능성이 높을뿐 아니라, 레이더처럼 가까운 자동차에서 내보낸 신호끼리 간섭할 위험이 있다. 이러한 문제점으로 인해 머스크는 라이다 기반으로 자율주행 기술을 개발하는 회사는 실패할 수밖에 없다는 단언마저 한 바 있다.

_{그림 7. 웨이모는 미국 애리조나주 피닉스 인근에서 거의 완전한 형태의 자율주행을 선보이고 있다. 사용자가 호출하면 자율주행차가 집까지 찾아오고, 목적지를 입력하면 알아서 주행하는 방식이다. 사용자는 문제가 있을 때만 자율주행기능을 정지하면 된다. © Waymo}

현재 테슬라의 자율주행은 운전자의 적극적인 개입이 필요하다. 사실상 자율주행이라기보다 주행보조에 가깝다. 이에 비해 자율주행차 기업 중 가장 앞선 웨이모는 제한된 지역에서긴 하지만 거의 완전한 형태의 자율주행 서비스를 선보였다. 테슬라의 자율주행은 운전자가 필요할 때 켠다는 개념이지만 웨이모의 자율주행은 항상 켜두었다가 문제가 있을 때 잠시 멈춘다는 개념이다.

그러나 라이다 시스템은 3D 지도 제작과 센서에 많은 비용이 필요해 상용차로 판매하는 것은 아직 어렵다. 자율주행차가 사고를 냈을 때 책임 소재도 여전히 논란거리다. 이 때문에 라이다를 선택한 기업들은 특정 지역에서만 공유모빌리티 형태로 서비스를 제공하고 있으며, 완성차 업계에서는 고급 모델에만 제한적으로 자율주행기술을 적용한다. 현재의 자율주행 기술의 완성도를 높이는 데 가장 중요한 것이 실제 도로에 대한 데이터 축적인데, 이처럼 실제 주행하는 차량이 적어서는 시스템 개선도 지연될 수밖에 없다.

그러나 테슬라는 사정이 다르다. 테슬라는 2020년 기준 120만 대에 달하는 판매 차량으로부터 48억km에 달하는 실제 도로 데이터를 축적했고 2021년 말까지 64억km의 데이터를 축적할 예정이다. 웨이모는 1,000여 대의 자동차를 운행하여 3,200만km의 실제 도로 데이터를 축적했을 뿐이다. 그나마도 웨이모 본사가 있는 애리조나주 피닉스 근처 지역이 대부분이다. 물론 웨이모는 160억km에 달하는 시뮬레이션 데이터도 보유했지만, 테슬라가 고객들의 실제 주행으로부터 수집한 정보에 비하면 유용성에서 차이가 크다.

이는 기술의 차이보다는 전략의 차이다. 테슬라는 차량에 불완전한 상태의 자율주행 기능을 장착해 판매하고 운전자가 직접 제한적인 상황에서만 자율주행 기능을 사용하게 했다. 데이터가 축적되어 자율주행 기능의 성능이 높아지면 소프트웨어 업데이트를 통해 자율주행 기능을 개방하거나 판매하는 식이다. 이러한 전략의 차이로 테슬라는 일찍부터 실제 주행 정보를 방대하게 수집했으며 제한된 환경에서 예측하기 어려운 수많은 예외적인 상황에 대한 데이터를 얻었다. 이처럼 크라우드소싱으로 수집된 방대한 데이터는 딥러닝을 통해 자율주행기능을 더 개선하는 데 활용된다.

자율주행기술이 목표로 하는 인간 운전자보다 안전한 수준을 달성하려면 지금까지보다 훨씬 많은 데이터가 필요할 것이다. 단 하루만에 웨이모가 현재까지 주행한 거리의 데이터를 얻을 수 있는 테슬라는 출발은 늦었지만 웨이모에 비해 유리한 위치에 있는 셈이다. 실제로 테슬라는 2021년까지 완전한 자율주행 기능을 선보이겠다고 발표한 바 있다.

머스크의 자신감은 현재의 발전된 카메라 기술만 사용하고도 완전자율주행에 필요한 데이터를 충분히 얻을 수 있었다는 경험에 기반한다. 라이다에 비해 카메라는 훨씬 저렴하고 기술적 완성도가 높아 오작동의 여지가 별로 없다. 따라서 라이다를 배제하고 카메라만 갖춘 제품을 빠르게 보급함으로써 데이터를 확보하고, 이를 통해 자율주행 인공지능을 개선한다는 것이 테슬라의 전략이다.

물론 웨이모의 전략도 이유가 있다. 자율주행차가 보편화되면 사람들은 값비싼 차량을 구매하기보다 필요할 때마다 호출해 사용하려 할 것이다. 차량 공유서비스가 확대되어 운전이 중산층의 취미 정도로 남을지도 모른다고 예측하는 전문가도 있다. 이런 환경에서는 수많은 구매자가 적당한 수준의 실제 주행 데이터를 보내 데이터를 축적하는 방식으로는 자율주행 서비스를 유지하고 개선하기는 쉽지 않을 것이다. 특정 지역에 대해 정교한 데이터를 집중적으로 빠르게 얻으려면 라이다를 이용한 3D 지도가 훨신 유용할 수 있다.

자율주행 기술은 아직 완성되지 않았다. 각종 사회적, 윤리적 문제가 해결되기까지도 얼마나 걸릴지 알 수 없는 상황이다. 테슬라의 데이터 축적이 빠르다고는 하지만, 웨이모의 기술적 완성도가 높게 평가받는 것도 사실이다. 머스크의 말처럼 라이다가 불필요한 장비인지, 아니면 많은 기업이 선택한 라이다가 느리더라도 확실한 방법인지는 시간만이 평가해줄 것이다.

글/ 김택원
과학칼럼니스트

과학사를 전공하고 동아사이언스의 기자, 편집자로 활동했다. 현재는 동아사이언스의 고경력 과학기자들이 의기투합해 독립한 동아에스앤씨의 커뮤니케이션 담당 부장으로 근무하고 있다.