디지털 휴먼 사업의 난제

가상 인물을 구현하는 디지털 휴먼 기술이 영화, 게임, 광고, 방송 등 다방면에서 활용되고 있지만, 메타버스 붐과 함께 등장했던 많은 버추얼 인플루언서들은 점차 활동이 줄어들고 있다.

그 이유는 크게 두 가지다. 첫째는 ‘불쾌한 골짜기’ 문제로, 인간을 어설프게 닮은 대상에 대해서는 불쾌감이 증가한다는 이론이다. 사람의 얼굴은 익숙한 대상이어서 형태나 움직임이 조금만 어색해도 눈에 띄며, 이는 사실적인 디지털 휴먼 제작의 기술적 장벽이 된다. 둘째는 높은 제작비 문제다. 고품질 디지털 휴먼은 제작 비용뿐 아니라 실제 사람처럼 움직이게 하는 데 수많은 아티스트들의 수작업과 쉐도우 액터의 연기가 필수적이다. 결국 사람 필요 없는 디지털 휴먼을 제작했으나 더 많은 사람이 투입되는 모순에 빠지며, 현실 인플루언서와의 경쟁 속에서 상업적 성공은 더욱 어려워진다.

따라서 최근에는 사실적 디지털 휴먼보다 ‘버튜버’, ‘버추얼 아이돌’을 중심으로 성장하고 있다. 카툰 렌더링(NPR, Non-Photorealistic Rendering)은 얼굴 표현을 단순화해 불쾌한 골짜기 문제를 회피하고, 낮은 기술적 난이도로 제작비를 줄이며 매력적인 쉐도우 액터 발굴에 집중함으로써 대중의 마음을 사로잡았다.

사실적 디지털 휴먼의 활용

많은 비용을 필요로 하는 극사실적 디지털 휴먼은 영화, OTT 시리즈의 VFX 제작, AAA급 게임과 같은 대규모 프로젝트에 적합하다. 배우의 미묘한 감정 연기 전달과 관객의 몰입을 위해 높은 퀄리티가 필수이기 때문이다. 특히 실제 배우를 디지털로 재현하는 '디지털 더블'은 위험한 스턴트나 고인 배우의 젊은 시절 재현 등에 활용되며, 과거 인기 IP와 주인공을 재등장시키려는 콘텐츠 기획의 증가로 점차 그 중요성이 커지고 있다.

하지만 국내는 헐리우드 대비 디지털 더블을 제작하는 프로젝트의 제작비 규모나 기술 수준이 부족한 실정이다. 특히 페이셜 리깅(얼굴 표정 컨트롤)과 퍼포먼스 캡처(배우 연기 획득) 분야에서 뒤처져 있으며 외산 솔루션에 대한 의존도가 높다. 최근 사실적인 인물의 표정 연기를 그대로 획득할 수 있어 주목받는 다이내믹 3D 스캔 기술도 일부 연구기관에서만 보유하고 있으며, 얼굴 표정 캡처는 iOS ARKit에 의존하는 상황이어서 기술 및 장비의 개발을 위한 산학연의 긴밀한 협력이 필요하다.

AI 기술과 디지털 휴먼

AI 기술은 디지털 휴먼 제작에 큰 변혁을 가져왔다. 고비용의 디지털 휴먼 제작 없이도 촬영된 영상에 바로 얼굴 교체나 나이 변환이 가능한 AI 리에이징 기술이 등장해 제작비를 낮추고 창작자의 창의성 발현에 혁신적인 도움을 주고 있다.

하지만 영화 등 고품질 콘텐츠 적용에는 여전히 한계가 있다. 첫째, 4K 이상 고화질 이미지 제작하는 데 제약이 있다. 이는 낮은 해상도 이미지로 학습된 AI 모델의 한계로, 업계에서는 저해상도 이미지 생성 후 고해상도 업스케일링 기법으로 보완하고 있다. 둘째, 감독의 세밀한 연출 의도를 반영하기 어렵다는 점이다. 배우의 미세한 표현이 중요한 감정 전달에서 디테일한 수정 사항 반영이 어려워 AI의 압도적 생산성에도 불구하고 수정 능력에 한계를 보인다. 다만 이러한 요소들은 빠르게 발전하는 수정 가능한 AI 모델들에서 점차 개선될 것으로 보인다. 셋째, 외국인 얼굴 데이터로 학습된 모델들이 대부분이어서 한국인에게 적용하면 낯선 얼굴이 만들어진다. 이를 개선하려면 한국인 얼굴 데이터셋 구축과 자체 AI 모델 개발을 위한 학계, 업계, 정부의 협력과 투자가 필요한 시점이다.