올해 선댄스영화제의 뉴프런티어 섹션에는 지난해에 이어 VR 관련 작품이 대거 출품됐다. 게임, 의료산업뿐만 아니라 영화계에서도 뜨거운 호응을 얻고 있는 VR은 미래의 영화, 그리고 미래의 극장 관람 형태에 어떤 영향을 끼치게 될까. 지금 국내에서 가장 활발하게 연구 개발, 사업을 확장 중인 4명의 VR 전문가에게 지금 영화계가 주목해야 할 VR 영상의 특징이 무엇인지, 그리고 나아가 미래의 영화는 어떻게 변해갈 것인지를 물었다. 당장 모든 것이 뒤바뀔 일은 없겠지만, 누구보다 먼저 미래의 변화를 기대하는 이들의 설렘 가득한 이야기를 들어보자.

최민혁

CGV 스크린X팀 PD. 다면 영상에 대한 관심이 자연스레 3차원 스크린의 일종인 VR로 옮겨갔다. 지인들과 ‘VR스토리 워크샵’이란 소모임을 만들어 토론도 하고 간단히 영상도 찍어보며 입문했다. 스크린X와 VR을 접목시킬 방법을 연구 중이다.

전우열

영화, 방송 타이틀을 제작하는 1인 기업을 운영하다가 3D 슈퍼바이저를 거쳐 현재 VR 영상 전문 제작사인 ‘벤타VR’을 설립, 대표직을 맡고 있다. 국내 VR 관련 스타트업 가운데 비교적 빨리 시작한 셈이다. 덕분에 VR 포럼이나 강연이 열리면 초청 연사 섭외 1순위다.

조성호

VFX 회사 ‘매크로그래프’에서 VR 본부장을 맡고 있다. 게임 업계에서 일하다가 2년 전부터 VR을 시작하게 됐다. 사실 그는 20여년 전, 첫 직장에서 이미 VR 관련 업무를 한 적 있다고. 이제야 본격적으로 VR 제작을 담당하게 된 셈이다.

윤승훈

대구디지털산업진흥원에서 7년 동안 근무하다가 큰 뜻을 품고 과감히 VR에 뛰어들었다. 모바일 기반의 VR 게임을 만들어보려다가 여러 현실적인 제약에 부딪힌 적이 있다. 지금은 VR 버전의 넷플릭스를 꿈꾸며 VR 전용 콘텐츠 플랫폼 ‘자몽’을 운영 중이다.

씨네21_현업에 종사하는 전문가 네분을 모시고 영화와 VR의 미래에 대한 다양한 의견을 들어보려고 한다. 왜 지금 VR에 주목하는지 간단하게 소개해달라.

최민혁_2015년 선댄스영화제 뉴프런티어 부문에 처음으로 VR 작품이 출품됐다는 소식을 듣고 너무 궁금해서 회사에 휴가를 내고 직접 찾아갔다. 그곳에서 펠릭스앤드폴(Felix & Paul) 스튜디오에서 제작한 <와일드> VR 영상을 처음 봤다. 극중 셰릴(리즈 위더스푼)이 바위에 앉아서 죽은 엄마의 환영과 대화하는 3분가량의 장면이었다. 사용자가 HMD를 쓰면 엄마와 딸 사이에 앉아서 둘의 대화를 듣는 체험을 하게끔 디자인된 영상이었다. 정말로 영화 속 인물들이 내게 말을 거는 느낌이었고, 대단히 영화적인 경험이었다. 그 이후 VR을 영화와 어떻게 접목시키면 좋을지를 고민했다.

조성호_뉴스에서 VR이라는 단어를 처음 들었던 때가 1996년이었다. 그때의 VR은 지금보다 훨씬 아카데믹한 첨단기술이었다. 지금은 디스플레이, 통신기술 발전과 맞물려 대중적 인지도가 올라갔다. 다시 말해 과거의 신기한 기술에서 신나는 기술로 점점 산업화되어가고 있다. 영화나 VFX(시각적 특수효과) 분야 모두 기술을 이용해 환상을 채워주는 작업이라면 그 연장선상에 VR이 있다.

윤승훈_HMD인 오큘러스 DK1을 처음 시연해보고는 VR 분야에서라면 해볼 만한 일이 있을 것 같았다. 그래서 떠올린 것이 전용 콘텐츠 플랫폼 ‘자몽’이었다. ‘자몽’에서 성인용 콘텐츠 외에 유료화 콘텐츠가 대중화되면 다양한 장르의 콘텐츠를 서비스할 수 있을 것이다.

전우열_3D 영상 작업을 하면서 더 입체적인 것을 개발할 수 없을까 고민하던 차에 역시 오큘러스 DK1을 접했다. VR의 사실적인 입체감을 영상화하고 싶어졌다. 영상 촬영의 전체 워크플로도 살펴볼 겸 지난해 <타임 패러독스>라는 VR 단편영화를 찍었다.

영화와 VR의 접점은 어디?

씨네21_쉽게 말해 VR 영상은 360도로 사방을 볼 수 있는 몰입감이 뛰어난 영상을 말한다. 물론 게임 분야가 가장 밀접하다고 말할 수 있겠지만 영상 매체의 대표주자인 영화와는 어떤 연관성을 맺고 있는지, 그리고 기술적으로 무엇이 다른지 궁금하다.

최민혁_영화는 사각의 고정 프레임 안에서 한명의 시점을 전제로 고정되어 있다. 그런데 VR 영상은 관객이 시점을 언제든 바꿀 수 있고, 또 바뀐 시점에 따라 다른 영상을 볼 수도 있다. 영화 역시 가상의 현실을 재현할 수 있는 형식이라고 한다면, VR은 새로운 형태의 가상을 경험하게 해준다. 이같은 프레임의 변화는 모든 스크린 미디어가 가지고 있는 기본 경험을 뒤흔드는 것이다. <와일드>의 VR 영상에서 재미있었던 것은 내가 누구와 이야기를 나눌지 선택할 수 있다는 거였다. 또한 영화에서는 느낄 수 없었던 배우와의 시선 교환도 느낄 수 있어서 흥미로웠다.

씨네21_게다가 VR 영상은 관객이 직접 몸을 움직이며 경험에 개입할 수도 있지 않나.

최민혁_그렇다. VR에서는 쌍방향성이 중요한 개념이다. 사람들은 HMD를 쓰고 고개를 이쪽저쪽으로 돌리거나 혹은 걸어다니면서 영상을 볼 수 있다. 여기서 고개를 돌려볼 수 있다는 점이 가장 중요하다. 그것은 그 자체로 내가 실제로 거기 있다는 느낌을 자연스럽게 받아들이게 해주기 때문이다.

전우열_바로 그러한 몰입감에 있어서 3D영화와 VR 영상을 비교해볼 수 있다. 3D는 가상의 환경에서 몰입감을 주는 연출자의 의도를 관객에게 전달하는 데 용이한 기술이다. 그런데 극장의 스크린 크기 혹은 관객과 스크린 사이의 거리에 따라서 3D 효과가 실제 사이즈보다 작거나 혹은 커 보이는 등의 난제가 있었다. 하지만 VR 영상은 누가 어디에서 보든 촬영 환경과 동일한 효과를 느낄 수 있다. 상영 환경의 차이, 프레임의 제약이 없어지기 때문에 3D 영상의 몰입감은 기존 극장이나 TV를 통해 볼 때의 몰입감과는 차원이 다를 정도로 좋다.

씨네21_그런데 VR 영상의 몰입감은 종종 멀미를 유발하기도 한다.

전우열_VR 영상을 보는 관객이 가만히 앉아 있는데 카메라가 과도하게 움직이면 부조화가 일어나 멀미를 유발하게 된다. 자동차를 타거나 놀이기구를 탑승한 채 찍은 영상은 카메라가 고정되어 있기 때문에 사실적인 몰입감을 느낄 수 있지만 카메라가 움직이면 1인칭 시점의 내가 어떤 방향으로, 어떤 속도로 움직일 것인지를 미리 인지하지 못하기 때문에 멀미가 나는 것이다.

최민혁_그리고 흔히 VR 영상은 1인칭 시점의 영상뿐이라고 생각하는데 3인칭 시점도 가능하다. VR의 3인칭 효과를 <사랑과 영혼>의 스웨이지 효과라고 부른다. 이름만 들어도 그 효과가 어떤 의미인지 알 수 있을 것이다.

조성호_3D 게임 작업을 할 때도 비슷한 시점 문제가 개입하는데 내가 어딘가로 끌려가는 느낌을 주는 카메라 시선을 고려장 카메라라고 부른다. 3D로 표현할 수 있는 가장 적절한 시점이라고 보는데 멀미 유발 방지를 위해 종종 시점을 바꿔주면서 사용자를 안심시키는 방법으로 시점을 운용한다.

최민혁_그래서 많은 감독들이 알렉산더 소쿠로프 감독의 <러시아 방주>(2002)와 같은 일종의 유령 카메라가 VR 영상 문법과 잘 어울린다는 이야기를 하곤 한다.

씨네21_촬영현장의 풍경도 VR 영상과 영화 촬영이 다를 것이다.

전우열_3D 촬영과 비교해보면 이해하기 쉽다. 3D 촬영현장은 복잡하다. 장비도 크고 인력도 많이 필요하다. 예를 들면 프레임 사이즈나 인물의 위치에 따라 카메라 사이의 간격, 입체값을 조율해주는 작업이 복잡하다. 사람의 눈과 메커니즘을 달리하는, 즉 화각(카메라로 포착하는 장면의 시야)을 자유롭게 조절해가면서 찍기 때문이다. 그런데 VR, 즉 360도 3D 영상 촬영은 상대적으로 간단해졌다. VR 영상은 사람이 보는 현실을 그대로 구현한다. 그래서 촬영현장에서는 카메라를 평균 6cm 정도 되는 사람의 안간 거리와 똑같이 세팅만 해주면 된다. 가까이 찍든 멀리 찍든 크게 제약을 받지 않는다. 대신 여러 대의 카메라를 동시에 관리할 수 있는 능력이 요구된다. 장비의 전원관리와 기종 선택 기준, 카메라 배치 이유 등이 중요한 현장의 덕목이다. 프레임이 없다 보니 되레 예쁘게 촬영하는 건 중요하지 않다. VR은 유명감독을 섭외해도 그림이 달라지지는 않을 것이다. 앞으로 VR 촬영감독의 영역에서는 프레임 잡는 역량이 사라지지 않을까?

최민혁_그러니까 VR 영상에서는 앵글의 미학이 사라지고 공간을 어떻게 담을 것인지가 더 중요해지는 것 같다. 보는 이의 위치가 기존 영화의 앵글보다 더 중요하다. 그러니까 기존 영화는 해당 장면을 다양한 앵글로 편집해서 새롭게 만들 수 있는데 VR은 편집 대신 전체를 볼 수 있는 위치가 중요해진다. 그 위치에서 공간을 어떻게 보이게 할 것이며, 깊이감은 어떻게 줄 것인지, 전체적인 공간 디자인은 어떻게 할 것인지가 현장에서 중요해질 것이다.

영화인가, 게임인가?

씨네21_VR 영상은 스크린의 확장, 쌍방향성 등 기존 영화에서는 접할 수 없었던 경험을 안겨준다. 프레임도 사라진다. 그렇다면 과연 VR 영상에서는 어떤 지점이 가장 연출자의 역량을 요구하게 될까.

조성호_과연 어떻게 사람의 시선을 통제할 것인지가 현재 VR 영상 기술자들의 가장 큰 화두다. 스토리텔링과도 밀접한 연관성을 지닌 문제인데 지금까지는 이야기의 진행을 위해서 자연스럽게 시선 이동을 유도하거나 혹은 소리로 시선을 유도했다. 그런데 관객은 그것마저 귀찮게 여길 수도 있다. 그들은 재미있는 영화를 보고 싶은 것이지 시키는 대로 행동하고 싶어 하지는 않을 테니까. 그런 의미에서 VR 영상의 핵심은 360도 영상이 아니라고 생각한다. 모든 정보와 결론은 220도 안에서 결정될 것이다. 그래서 앞으로의 VR 연출은 얼마나 고개를 두리번거리게 만들 것이냐가 아니라 어디에 얼마나 시선을 붙잡아놓을 것이냐의 문제를 더 고민하게 될 것 같다.

최민혁_지금의 스크린X 영상도 사실 주변시, 즉 엠비언스를 제공하는 것에 가깝다. 몸은 여전히 묶여 있고 고개를 돌릴 수 있을 것 같지만 스크린X를 VR과 스크린의 중간단계라고 보면 된다.

윤승훈_그래서 ‘자몽’ 론칭할 때 콘텐츠별로 누가 어떤 장면에서 어떤 곳에 주로 시선을 뒀는지를 데이터화하는 기능을 넣었다. 영화의 관객점유율, 방송 프로그램의 시청률처럼 초분 단위로 수치 환산이 가능하다. 뿐만 아니라 시선을 잡아끄는 다양한 연출 기법도 등장할 수 있다. 예를 들면 특정 장면의 시간을 의도적으로 늘린다든지.

조성호_3D 게임 업계에서는 자주 쓰는 기법이다. 잘 만든 3D 콘텐츠는 항상 시간을 끄는 장면이 나온다. 그럼 중간에 멈춰 서게 되는데 모든 게 느려지는 그 순간에 입체감을 즐길 수 있게 여유를 주는 것이다. 직진성을 우선시하는 디자인의 게임은 시선을 분산시킬 여유가 없기 때문이다.

전우열_그것은 3D영화도 마찬가지다. 예를 들면 입체감을 제일 많이 주는 키샷의 경우에 고속기법을 사용해서 공간을 멈춰놓고 거리를 훑게 만든다. 앞으로 VR 영상은 일차적으로 360도 단편 영상으로 접근했다가 3D 360도 단편 영상, 그리고 조금 더 길게 호흡을 간다면 일반 극장에서 기존의 프레임으로 영화를 보다가 도중에 연출상으로 360도 공간으로 바뀌었다가 다시 원래 프레임으로 돌아오는 식으로 섞어 쓰게 될 것 같다. 그리고 종국에는 어디든 내가 직접 돌아다니는 영화가 될 것 같다. 그리고 최종적으로 영화의 프레임이 사라지게 된다면 동영상 스캔 기법을 이용해 시간의 확장성을 자유자재로 조정할 수 있을 것이다. 동영상 스캔을 이용해 게임엔진상에서 동작을 구현하면 사용자가 그 공간 안에서 걸어다닐 수도 있고 상대가 이야기를 할 때 뒤도 돌아볼 수 있게 된다. 무한한 이야기의 확장성을 획득하게 된다.

윤승훈_그럼 그것은 영화인가? 게임인가?

전우열_이런 논의, 개념 자체가 모호해질 것 같다.

씨네21_3D영화의 입체화가 극대화된 것이 VR 영상이라고 볼 수는 없을까. 영화의 역사와 함께 시작됐던 3D의 역사도 시대마다 부침이 있었던 것처럼 VR 역시 한때의 유행에 불과한 것 아니냐는 우려의 시선도 있을 수 있다.

윤승훈_둘은 엄연히 다르다. 3D는 영화를 보는 하나의 방법으로 존재했지만 VR은 그렇지 않다. 보는 방식도 즐기는 지점도 3D와 다르기 때문에 비교 대상으로 보긴 어렵다.

최민혁_같은 맥락에서 극장 환경도 VR 때문에 직접적인 영향을 받지는 않을 것이다. 오히려 개인 미디어로 발전할 것이다. 각각의 개인들이 경험하는 가상의 미디어가 연결되어 새로운 가상공간을 탄생시키지 않을까. 마치 곤 사토시 감독의 <파프리카>(2006)에서 개인의 꿈이 연결되듯 그런 공간이 탄생할 것이다. 지금이야 현실 공간이 지배하는 시대지만 이 새로운 가상공간이 완벽한 재현 기술을 얻게 되고 네트워크화되면 엄청날 것이다. 그러면 사람들은 그곳에서 시간을 보내고 콘텐츠를 소비하게 된다. 단지 360도 영상이라는 포맷 변화 이상의 엄청난 변화가 기대된다. 그래서 사람들이 VR에 끌리는 것 같다.

조성호_최근 인터넷에서 본 VR 관련 사진 중에 가장 웃긴 사진은 극장에 앉아 HMD를 쓰고 있는 사진이었다. VR을 잘못 오해한 대표적인 사례다. VR은 극장과 관객의 문제가 아니라 개인과 영화 사이의 문제로 심화될 것 같다.

윤승훈_그래서 나는 가상현실의 두 가지 시장성에 주목한다. 첫째는 VR 콘텐츠 자체를 즐기는 것, 그리고 둘째는 기존 영화를 가상공간에서 즐기는 새로운 방법이다. 과거에는 나만의 극장을 만들어주는 것은 홈시어터였다. 그런데 프로젝터, TV, 스피커 등등을 갖춰야 하니 접근이 어려웠다. 하지만 가상현실을 응용하면 HMD 기기 하나만 구매하면 훌륭한 몰입감과 효과를 즐길 수 있다. 물론 지금보다 더 기술이 발전되어야겠지만 말이다. 게다가 전용 플랫폼을 이용해 크고 나은 스크린 환경을 적용할 수 있다면 그리고 최종적으로는 네트워크를 구축해 친구들과 대화하면서 각자의 방에서 같은 콘텐츠를 즐길 수 있는 시스템이 주어질 것이다.

조성호_실제로 기어 VR을 처음 사용해본 사람들의 만족감이 가장 높은 콘텐츠가 바로 ‘오큘러스시네마’라는 극장 애플리케이션이다. 예를 들어 HMD를 쓰고 영화를 관람하면 훨씬 와이드한 앵글의 영화도 극장에서 보는 것보다 더 실감나게 즐길 수 있다. 현실에서 우린 더이상 <아라비아의 로렌스>(1962)를 70mm 필름 상영으로 볼 수 없다. 그런데 HMD를 쓰고 보면 지금과는 완전히 다른 경험을 선사할 것이다. 그럴 경우에는 굳이 360도로 고개를 돌려가며 영상을 보려고 노력할 필요가 없다. 그러니까 실제 해외에서도 360도 영상 전체를 커버하기보다 특정 프레임의 장점을 살리는 쪽으로 연구하고 있는 거다.

최민혁_그렇다. 사람들이 생각보다 그렇게 많은 상호작용을 원하지 않는다는 게 재미있다. 그렇다면 영화에서의 상호작용은 고개를 양옆으로 약간 돌려보는 수준이면 충분하지 않을까? 영화는 시각 중심의 매체니까 돌려볼 수 있다는 것만으로도 굉장히 큰 변화일 거다.

윤승훈_그렇다면 스크린X 영화도 가상영화관에서 충분히 즐길 수 있다. VR 산업이 영화를 대체할 거라고 보긴 어렵지만 결국 VR 플랫폼에서는 다양한 서비스가 작동될 것 같다.

최민혁_그래서 넷플릭스나 훌루 등의 해외 플랫폼도 VR 영화관 서비스 등을 준비 중인 것으로 알고 있다.

씨네21_최근 매크로그래프는 중국 시장 진출을 활발하게 꾀하고 있다고 들었다.

조성호_올해 개봉하게 될 송승헌, 브루스 윌리스 주연 <대폭격>의 전체 VFX 작업을 맡아서 하고 있고, VR 버전의 <대폭격> 프로모션 기획도 함께 진행 중이다. VFX 작업 중에 사무실을 찾아온 샤오펑 감독에게 이인호 대표가 VR 영상을 보여주고는 영화 속 주요 장면들이 VR과 컨셉이 잘 맞아떨어진다고 하자 제작자와 고민해보더니 바로 추진하자고 하더라. 영화 속 주요 장면들을 VR 영상화해서 영화의 감동도 재현하고 게임도 즐기는 형태의 시뮬레이션 프로그램을 제작 중이다.

최민혁_정말 좋은 기획이다. 영화와 VR이 적절하게 영역 구분을 나눈 듯한 모습이다.

조성호_현재 중국은 지자체 단위로 VR 산업을 추진 중인데 조 단위의 돈이 움직인다. 장이머우 감독은 ‘서리얼’이라는 VR 제작사를 차렸다. <대폭격>에 이어 매크로그래프에서 VFX 작업 중인 영화 <삼체>는 중국인 최초로 휴고상을 수상한 유자흔 작가의 소설을 원작으로 하는 삼부작 스페이스 오페라다. 주인공이 우주의 비밀을 캐기 위해 HMD를 쓰고 다른 공간으로 들어가는 장면이 영화에 등장한다. 그 자체로 그냥 VR의 설정인 것이다. 따로 장면을 만들 필요도 없이 VR 영상 기획을 진행할 수 있다. 게다가 <삼체>는 테마파크도 조성할 계획이라 VR이 유용하게 쓰일 것 같다.

과열 경쟁이다 vs 새로운 시장 형성이다

씨네21_정리하자면, VR이 영화를 대체할 수는 없어도 새로운 관람 경험을 안겨줄 것이라는 데는 대체적으로 의견이 모아졌다. 그런데 아직 국내에는 이렇다 할 가능성을 뚜렷하게 제시할 콘텐츠도 없다.

윤승훈_기술이 발전을 거듭하다 보면 어느 순간 한계가 찾아온다. 투자는 이뤄지지만 3D처럼 킬러 콘텐츠가 없어서 사장되는 경우도 이미 경험했다. 영상 분야에서 이미 4K급 화질의 영상을 스트리밍으로도 볼 수 있는 세상인데 더이상 하드웨어가 발전해야 할 이유가 없었다. 지금도 웬만한 게임은 잘 구동되는데 왜 5G가 필요한가. 그런데 VR 영상을 구동하려면 뭐든지 2~3배 이상의 하드웨어 스펙이 요구된다. 그래서일지는 모르겠으나 통신사와 하드웨어 업체가 앞다투어 투자하고 있는 상황에는 이런 이유도 있을 것이다.

최민혁_영화의 입장에서는 연기를 잘하는 배우가 등장하는 영상이 없는 것도 이유인 것 같다. 배우의 연기 때문에 몰입하는 경우도 큰데 연기 잘하는 배우를 VR 프로젝트에 데려오기가 쉽지 않기 때문이다. 조성호 본부장의 말처럼 가까운 미래의 영화란 메인 스테이지의 범위를 제한해놓고 그 안에서 소극적인 상호작용을 허용하면서 만들어가는, 그것 자체가 연출의 영역에 포함되는 것이 가까운 VR영화의 미래가 아닐까 싶다. 물론 지금보다 더 시간이 걸릴 것 같지만 말이다.

조성호_VR과 영화를 단순 비교하는 것은 무리지만 앞으로도 굳이 영화를 따라잡을 생각을 할 것이 아니라 영화에서 못하는 것을 VR과 접목하는 쪽으로 풀어가면 되지 않을까 싶다.

전우열_VR의 3D 영상 몰입감에 만족한다면, 그래서 만약 가상시네마 환경이 부상한다면 오히려 3D 시장이 다시 회생할 수 있을지도 모른다. 그래서 3D의 입지도 함께 커질 수 있기를 바란다.