영화관에서 영화를 정면 스크린으로만 본다는 건 옛말이다. 삼면에 걸쳐 영상을 펼쳐 보이는 파노라마 영상 기술의 하나인 스크린X(Screen Experience)가 그것을 가능하게 했다. 세계 최초로 스크린X 기술을 개발한 연구진 가운데 노준용 박사가 있다. 그는 현재 카이스트 문화기술대학원 소속 교수로 재직하며 컴퓨터 사이언스, 그중에서도 컴퓨터 그래픽스 관련 연구자다. 컴퓨터 그래픽스 내에서도 그가 특별히 관심을 기울이는 연구 분야는 애니메이션의 캐릭터 구현을 포함하여 극영화에서의 CG 작업을 가능하게 하는 프로그램을 만드는 일이다. 영화광이었던 공학자 노준용 박사로서는 더없이 흥미로운 작업들일 것이라 짐작된다. 그가 영화와 본격적으로 인연을 맺은 건 서던캘리포니아대학교(USC) 대학원을 졸업한 2000년대 초반 할리우드의 대표적인 시각특수효과 전문 제작사인 리듬 앤드 휴즈(Rhythm&Hues Studios)에 입사하면서부터다. 그곳에서 그는 애니메이션 캐릭터들의 얼굴 움직임을 자동으로 만들어나가는 프로그램을 발전시켜 <가필드>(2004)의 고양이 가필드(빌 머레이)의 움직임을 탄생시켰다. 이후 <80일간의 세계 일주>(2004), <나니아 연대기: 사자, 마녀 그리고 옷장>(2005), <수퍼맨 리턴즈>(2006) 등에서 군중 움직임, 3차원 배경 지형 생성 등을 구현하는 프로그래밍 작업에 참여했다. 2006년 가을 카이스트에 부임한 이후로는 학교의 비주얼 미디어랩을 총괄하며 캐릭터 애니메이션, 입체 영상 생성화를 비롯해 현실감을 극대화할 수 있는 시각적 콘텐츠 개발에 몰두 중이다. 할리우드 작품뿐 아니라 <7광구>(2011), <점박이: 한반도의 공룡 3D>(2011) 등의 CG 프로그래밍에도 참여한 바 있다. 최근 들어서는 세계 최초로 스크린X 기술력을 구현하며 <더 엑스>(2013)를 시작으로 <차이나타운>(2014), <검은 사제들>(2015), <히말라야>(2015)의 스크린X 상영을 이끌었다. 그는 “이론이 이론으로서만 그치지 않고 시각적 이미지로 구현된 이론의 매력”에 매료된 공학자다. 카이스트 연구실로 그를 찾아갔다. “카이스트에 온 지 10년째다. 누군가를 가르친다는 것보다 뛰어난 인재들과 함께 연구해 결과물을 만들어내는 과정 자체가 행복하다”는 그에게 최근의 연구 성과와 관심사에 대해 물었다.

-컴퓨터 그래픽스를 공부하는 그래픽스 사이언티스트라고 말했다. 어떤 연구를 하는지 설명을 부탁한다.

=목수가 뭔가를 만들려면 못, 망치, 드라이버 등이 필요하듯 CG 작업을 하는 아티스트들에게도 일종의 작업의 툴(장치)이 있어야 한다. 그걸 만들어주는 사람이라고 보면 된다. 수학적 계산과 코딩 작업을 거쳐 유저 인터페이스(user interface)까지 가능하도록 한다. 만약 이런 툴이 없다면 애니메이션 후반 공정에 참여하는 아티스트는 캐릭터의 움직임을 만들기 위해 프레임 하나하나를 다 수작업으로 해야 한다. 엄청난 시간이 들 수밖에. 근데 컴퓨터 사이언티스트가 캐릭터의 움직임을 수치화해 프로그램화하면 버튼 하나로 캐릭터의 다음 움직임을 만들 수 있게 되는 셈이다.

-공학의 여러 분야 중에서도 컴퓨터 그래픽스에 관심을 갖게 된 이유가 궁금하다.

=뭔가를 만드는 일 자체가 좋았다. 특히나 공학은 이론을 이해하고 그걸 적용해 제3의 것을 만들어내는 과정이다. 영화 작업에 참여하게 된 건 순전히 영화를 좋아해서이기도 하고 결과물에 대한 놀라움 때문이기도 하다. 전자공학의 경우 이론 그대로 적용해서 만드는 것이 컴퓨터나 무선 통신기기 등이다. 하지만 영화에서는 그 복잡했던 수식이 아름다운 영상과 이미지로 바뀌는 것이잖나. 리듬 앤드 휴즈에 입사했을 때 엄청나게 길고 복잡한 수식을 풀어 프로그래밍을 해놓으면 CG 아티스트들이 그걸 사용해 영화의 한 장면을 구현해내는 걸 보는데 어찌나 놀랍던지. (웃음) 게다가 그 영상을 본 누군가는 감동까지 받게 되니 말이다.

-컴퓨터 사이언티스트에게는 필수적으로 수학적 재능이 요구될 것이다. 영화 작업을 하면서 이학적 사고 외에 필요하다고 판단되는 능력이 있을까.

=다른 어떤 분야보다도 수학을 많이 활용하는 학문이다보니 컴퓨터 그래픽스쪽 논문에는 수식이 난무한다. 수학적으로 봤을 때 최적화된 상태를 찾는 과정이니까. 하지만 이 수치들을 적용해 영화쪽에서 요구하는 프로그램을 만들 때는 예술적인 감각이 꼭 필요하다. 모션 캡처 기술을 생각해보자. 배우의 얼굴에 마커를 붙이고 배우의 3차원적인 위치 추적을 해 그걸로 애니메이션화를 한다. 근데 얼굴은 사람마다 다 다르기에 얼굴형에 따라 변형이 가능해야 한다. CG 작업을 하는 아티스트들 역시 수학적으로 최적화된 결과물을 원치 않는다. 그들이 작업을 하면서 얼굴을 변형시킬 수 있는 여지를 기술적으로 남겨둬야 한다. 기술을 쓰는 아티스트가 그 기술을 어떻게 쓸지 모르는 상태에서 기술만 만들어놓는 경우가 많은데 그럼 쓸모없는 기술이 될 뿐이다. 컴퓨터 사이언티스트에게도 예술적 감각이 필요하다는 말이다. 물론 그 반대도 마찬가지다. CG 아티스트들도 기술에 대한 이해도가 높아야 작업 완성도를 높일 수 있다. 프로그램에 결국 어떤 조건을 줄지는 아티스트의 판단에 따르는 만큼 기술 활용에 대한 이해도가 요구된다. 실제로 할리우드의 유능한 CG 아티스트들은 예술감뿐 아니라 기술 응용력을 높일 수 있는 공부를 꾸준히 한다.

-스크린X는 어떻게 개발하게 된 건가.

=아이디어 자체는 CJ CGV 신사업개발팀에 입사했던 카이스트 졸업생들에게서 나왔다. 그들은 어떻게 하면 3D 입체영화 기술의 단점은 보완하면서 관객에게 새로운 볼거리를 제공할까를 고민했다. 그러면서 중앙 프로젝터로 정면에 영상을 쏘는 방식에서 벗어나 극장의 양 옆면까지 영상을 투사해보자는 획기적인 아이디어를 낸 것이다. 그리고 그걸 실현할 수 있는 데가 내가 있는 카이스트 문화기술대학원이라고 생각해 2012년 여름께 연구실로 찾아왔다. 이미 과학 엑스포나 전시장에서는 멀티 프로젝터를 이용한 상영이 진행 중이었기에 스크린X의 실현 자체는 어렵지 않아 보였다. 다만 장기적인 관점에서 스크린X의 대량 생산이 가능할지가 관건이었다.

-김지운 감독의 <더 엑스>로 스크린X 기술이 처음 시도됐다. 이후 <차이나타운> <검은 사제들> <히말라야>까지 작업하면서 기술적으로 향상된 부분이 있나.

=큰 변화는 없다. 스크린X 상영관이 많아지려면 일단 스크린X로 상영 가능한 콘텐츠가 많이 만들어져야 한다. 콘텐츠를 많이 만들려면 상영관이 확보돼야 하고. 닭이 먼저냐, 달걀이 먼저냐인데 일단 콘텐츠부터 만들기 시작한 거다. 물론 콘텐츠의 효율적 생산을 위한 스크린X의 기술적 개발이 뒤따라야 하는 건 맞다. 올해부터 미래창조과학부가 다면 영상 지원책을 내놓기도 했으니 이후 개발에 박차를 가할 수 있지 않을까 싶다.

인간에 대한 고민은 이어진다

노준용 박사의 서가에는 어떤 책들이 꽂혀 있을까. “‘나는 왜 살아가나, 왜 이 연구를 하고 있는가’와 같은 근본적인 질문들을 던질 때가 있다. 개인의 성공을 위해서? 과학을 통한 국가와 인류의 발전을 위해서? 이런 게 나름 이유가 돼주기도 하지만 그보다 먼저 내가 살아가야 하는 이유를 묻고 싶었다.” 그에게 잠정적인 해답을 찾게 해준 대표적인 책들이다. <예수는 없다: 기독교 뒤집어 읽기> <이기적 유전자> <누가 정상이고 누가 비정상인가>. 신의 존재, 인간의 진화 혹은 진화하는 인간, 사회적 관계 속에 있는 인간에 대한 그의 고민의 흔적들이다.

VR, 과학계 핫이슈!

“VR(가상현실)에 대한 관심이다. HMD(Head Mount Display, 머리 부분 탑재형 디스플레이)를 쓰고 3D 입체 영상을 보는 것으로 스크린X처럼 파노라마 콘텐츠들을 소비하는 플랫폼 중 하나다. 현재 HMD가 무겁기도 하고 어지럼증을 유발하며 해상도에 문제가 있기도 하다. 또 이 장치로 얻는 경험은 철저히 그걸 착용한 개인만의 것이라 옆사람과 상호 교류는 어렵다. 만약 방 안처럼 작은 공간에서도 스크린X를 즐길 수 있는 기술적 접근이 이뤄진다면 어떨까. 그럼 소규모 인원간의 인터랙션까지 가능해질 것이다. 자동차가 알아서 도로를 질주하는 자율주행 자동차도 관심 있게 본다. 라이다(Lidar)라는 일종의 레이저를 쏴 주변을 맞추고 돌아오는 시간을 측정하고 그 레이저의 속도까지 알고 있으니 주변까지의 거리 계산이 가능하다. 이로써 3차원 영상을 그려서 주행 환경을 설계하고 인공지능에 의한 딥 러닝(deep learning, 컴퓨터가 사람처럼 수많은 데이터를 분석하고 패턴화해 그걸 바탕으로 생각하고 배울 수 있도록 하는 인공지능 기술)으로 주행이 가능해진다.”

Fiction vs Fact

<나니아 연대기>

Fiction

제2차 세계대전 중 전쟁을 피해 시골 대저택으로 간 네 남매. 이들 앞에 놀라운 환상의 세계가 펼쳐진다. 아이들은 하얀 마녀(틸다 스윈튼)의 저주로 겨울만 계속되는 나니아를 발견한다. 이 지독한 저주를 깰 수 있는 유일한 존재인 사자 아슬란(목소리 출연 리암 니슨)과 함께 남매는 나니아의 봄을 위해 싸운다. 이 환상의 세계는 어떻게 구현 가능했을까. 캐릭터들은 어떻게 이 환상의 세계에서 자유롭게 움직이게 된 걸까.

Fact

노준용 박사는 지형자동생성기술을 개발해 적용했다. “실제 배경 영상은 뉴질랜드에서 항공촬영을 한 2D 영상이고 CG로 만든 캐릭터들은 3D로 모델링했다. 서로 다른 차원의 두 요소를 합성할 때 오차가 생긴다. 잘못하면 3D 캐릭터의 발이 2D 이미지의 땅속으로 들어가거나 캐릭터가 내달리면서 앞에 놓인 장애물을 그냥 뚫고 지나치게 된다. 디지털 아티스트들은 촬영된 2D 배경에 맞춰 3차원 지형을 일일이 손으로 만들어야 한다. 3~5초 정도 되는 배경 지형의 이미지 컷 하나를 3차원 지형으로 바꾸는 데 꼬박 8시간이 걸린다. 뉴럴 네트워크(Neural Network), 주성분 분석(Principal Component Analysis), 가우시안 혼합 모델(Gaussian Mixture Model) 등의 수학적 개념을 적용해 프로그래밍을 했다. 버튼만 누르면 3~4분 뒤에 3D 지형이 만들어진다.”

<더 엑스>의 스크린X 상영

Fiction vs Fact

스크린X

Fiction

<더 엑스>의 스크린X 상영 장면이다. 현 단계에서의 스크린X 기술의 한계와 가능성은 무엇일까.

Fact

“스크린X는 시작 단계부터 제약이 있었다. 극장이라는 고유의 분위기를 해칠 수 있으니 중앙 스크린을 제외하고는 양 옆면에 스크린 설치를 할 수 없다, 정면 스크린에 쏘는 프로젝터가 1억원대라면 옆면 투사의 그것은 그보다 훨씬 저렴한 몇 백만원짜리로 가자, 옆면에 비상구가 있으면 있는 대로 영상을 투사하자, 그럼에도 삼면의 영상은 균일한 색감이 나와야 한다 등이다. 설치 비용도 만만치 않다. 그럼에도 스크린X는 전례 없던 새로운 방식의 연출적 접근을 가능하게 한다. 공포영화에서 귀신이 관객의 옆쪽 시야각에서 나타나고 광활한 대자연이나 자동차 추격 신을 광대하게 펼쳐서 보여줄 수 있다. 관객의 몰입도를 방해한다는 평도 있지만 스크린X로 보여줬을 때 효과적인 장르, 장면이 분명히 있다. <그래비티>(2013)의 캄캄한 우주를 스크린X로 보여줬으면 어땠을까. 러닝타임 내내가 아닌 특정 장면에만 국한해 쓸 수도 있으니까. 연출자들에게는 풍성한 스토리텔링을 위한 도구 하나가 더 생긴 거다. 스크린X를 어떻게 쓸 것인가는 기술 개발자가 아니라 연출자들의 몫이다.”

Fiction vs Fact

영화 속 기체와 액체의 움직임

Fiction

노준용 박사는 <수퍼맨 리턴즈> <점박이: 한반도의 공룡 3D> 등에 유체 시뮬레이션 기술을 적용했다. 폭풍우가 치는 바다, 화산 폭발, 연기, 구름, 물의 출렁임 등 기체와 액체의 움직임을 컴퓨터로 재현해내는 것이다. 실사 촬영의 한계를 돌파하게 한다. 그렇다면 이런 기술이 실제 재난 상황이나 사고 현장에서 인간의 몸의 움직임을 연구해 사고 현장 복원용, 수사 자료 등으로 쓰일 수도 있지 않을까.

Fact

결론부터 말하자면 그렇기도 하고 아니기도 하다는 게 노준용 박사의 설명이다. “기계과에서 쓰는 계산 유체 동역학(Computational Fluid Dynamics, 액체나 기체 같은 움직이는 유체의 움직임을 다룬다)에 자주 등장하는 나비에스토크스 방정식(Navier-Stokes Equations, 점성을 가진 유체에 대한 운동방정식이다. 이를 통해 점성이 전혀 없는 경우부터 난류 발생 현상까지 설명해낼 수 있다)으로 압축되거나 팽창되지 않는 유체가 중력이나 바람 등 외부에서 가해지는 힘에 의해서 어떻게 움직이는가를 도출한다. 두줄짜리 식이 아티스트가 사용하기 편한 유저 인터페이스까지 포함해 몇 만줄의 방대한 코딩으로 만들어진다. 물론 이대로 실제 재난 상황에 적용할 수 있다. 하지만 종종 영화 작업을 위한 프로그램을 개발할 때 ‘시각적으로 이상하지 않으면 오케이’라고 판단하고 가는 경우가 있다. 예컨대 <트랜스포머> 속 로봇이 자동차로 변신할 때, 정면에서 보면 큐브가 딱딱 들어맞지만 카메라 각을 조금만 틀어보면 절대로 불가능한 장면이다. 실제로는 불가능하더라도 눈앞에서 봤을 때 괜찮다고 판단된 경우다.” 일종의 그럴듯한 과학의 눈속임, 거짓말이라는 게 노준용 박사의 설명이다.

사진 출처: <틀을 깨려는 용기가 필요해>

과학자의 솔직한 고백

“영화에서 사실적인 색감 표현을 위해 빛 등 주변 환경의 변화를 수치화하는 렌더링(rendering) 기술을 사용한다. 컴퓨터 프로그램에 의해 결과치가 딱딱 나온다고 생각할 수 있지만 대부분의 경우는 CG 아티스트들의 손에 의존한다. 모션 캡처도 여전히 수작업으로 키 프레이밍(key framing, 단일 동작의 시작 프레임부터 다음 단계의 프레임을 다시 지정해 프레임 사이에 화면 이동이 자연스럽게 생성되도록 한다)에 의존한다. 홍보를 위해 기술력을 부각시키지만 작업의 완성도는 여전히 인간의 손에 달렸다. 근육이나 뼈를 정의해 캐릭터의 움직임이 일어나게 하는 리깅(Rigging) 작업도 마찬가지다. CG 캐릭터에도 근육과 뼈를 심는다. 이때 뼈는 실제 사람의 그것과 흡사하나 근육은 훨씬 단순화시켜 시뮬레이션을 한다. 근육이 많으면 작업 속도가 느려지기 때문이다. 그러면서도 ‘우리는 근육 시뮬레이션을 한다’고 말하기도 한다. 눈으로 봤을 때 문제가 없으면 그냥 넘어가곤 하는 경우다.”