"예술의 주체는 결국 인간이다"
스튜디오프리윌루전 권한슬 대표·감독
최근 OpenAI가 공개한 텍스트-투-비디오 생성형 AI 'Sora'의 압도적인 성능은 영화제작의 전통적 관성에 파문을 일으키기에 충분했다. 하지만 그보다 한발 앞서 새로운 시대의 소식을 한국영화계에 전해온 사람이 있다. 바로 지난 2월 제1회 두바이 국제 AI 영화제에서 대상과 관객상을 거머쥔 AI 단편영화 <One More Pumpkin>의 권한슬 감독이다. 그는 올해 제28회 부천국제판타스틱영화제(BIFAN)의 ID FILM을 제작한 콘텐츠 제작사이자 AI 테크 스타트업인 스튜디오프리윌루전의 대표이기도 하다. 가장 생소한 도구를 손에 쥔 예술가에게서 마찬가지로 전위적인 예술관을 기대하기 쉽다. 하지만 그의 창작관의 근간은 신기술이 불러올 총천연색 미래의 예감보다는 그저 흥미로운 이야기를 들려주고 싶다는 영화의 가장 근본적인 욕망이다. 영화가 결코 예술의 주체인 인간을 배반할 수 없다는 확신을 말하는 권한슬 감독과 생성형 AI를 활용한 영화제작의 현재와 미래에 대해 나눈 이야기를 전한다.
-처음 생성형 AI를 사용한 영화 제작에 관심을 갖게 된 계기는 무엇인가.
=2022년 BIFAN 창작지원사업 '괴담 캠퍼스' 공모에서 <마법소녀 신나라>라는 판타지 드라마 시나리오로 2등상을 받았다. 하지만 이후 여러 비즈니스 미팅에서 돌아온 답변은 높은 제작비의 판타지 연출을 신인에게 맡기기는 어렵다며 대신 IP를 팔라는 제안이었다. 내 아이디어를 스스로 현실화할 방법을 고민하던 중 작년 4월 우연히 AI로 비디오를 생성하는 기술을 접했다. 머지않아 1인 크리에이터가 AI 기술만으로 영화를 만드는 시대가 올 것이라는 직감이 왔다. 이후 1년간 150개가 넘는 생성형 AI 모델로 10만 개 이상의 소스를 생성해 보며 완벽하지는 못하더라도 분명 하나의 온전한 콘텐츠를 만들 수 있겠다는 확신을 받았다. 그 결과가 오직 AI가 생성한 샘플만 사용해 완결성 있는 서사를 풀어낸 단편영화 <One More Pumpkin>이다.
-3분여의 단편영화를 제작하는 데 단 5일이 소요되었다 들었다. 현재 AI 영화의 대략적인 제작 과정이 궁금하다.
=Stable Diffusion 같은 텍스트-투-이미지 모델을 통해 콘티와도 같은 키 이미지를 생성한 뒤, Pika Labs 같은 이미지-투-비디오 모델을 통해 영화의 컷을 구성할 4초가량의 영상 샘플을 생성한다. 이후 생성한 여러 샘플 중 가장 적합한 컷을 선택해 연결하는 편집 과정을 거쳐 영화를 완성한다. 영화에는 약 80컷이 사용됐지만, 원하는 컷을 얻을 때까지 과정을 여러 번 반복해야 하기에 실제 생성한 이미지 시안은 1천 장이 넘었다. 실사 영화의 편집 과정과 사실상 큰 차이가 없다.
-촬영 앵글, 카메라워크, 연기 지도 같은 연출적 디테일을 얼마나 구현할 수 있는지가 가장 궁금하다. 연출자의 디렉션에 AI가 얼마나 민감하게 반응하는 편인가. 좋은 프롬프트를 작성하는 당신만의 노하우에 대해서도 듣고 싶다.
=작업 때에도 실제로 카메라 렌즈의 종류, 조명의 위치와 색온도, 촬영 앵글 등을 프롬프트에 명시해 원하는 구도의 숏을 얻어냈다. 아직 오버 더 숄더 숏을 잘 이해하지 못하는 등 부족한 점은 있지만 앞으로 자연스럽게 해결될 문제다. 다만 개인적으로 이미지나 비디오 모델의 경우 프롬프트의 중요성이 ChatGPT 등의 언어 모델만큼 크지는 않은 것 같다. 시각적 결과물의 미감에 대한 정량적인 평가가 어렵기 때문이다. 오히려 AI의 매력은 세상에 존재하지 않던 예측 불가능한 비주얼을 선사할 수 있다는 점이다. 이런 예외적 요소들을 어떻게 선택하고 활용하느냐가 지금으로서는 더 중요한 스킬이 아닌가 생각한다.
-이미지 생성형 AI의 한계 중 하나가 특정한 얼굴이나 배경을 지속적으로 재현하지 못하는 일관성의 부재다. 여러 컷에 걸쳐 같은 인물이 등장해야 하는 극영화의 경우 더욱 큰 문제인데, 어떻게 대응해 나갔나.
=당시 기술로는 일관성을 유지할 수가 없었다. 때문에 <One More Pumpkin>은 일관성 문제를 우회할 수 있는 적절한 인물과 장르를 선택했다. 호박 모양의 괴물은 컷마다 조금씩 디테일이 다르더라도 무리 없이 같은 호박으로 인지할 수 있다. 또 노년의 동양인은 학습 데이터가 많지 않아서 대부분 비슷한 얼굴이 출력되었다. 위화감이 느껴질 때쯤 컷을 전환하는 빠른 템포의 편집도 도움이 되었다. 일종의 AI 연출론이다. 더불어 호러는 현재 AI 기술의 한계를 매력으로 승화시킬 수 있는 장르다. 제작 당시의 AI 모델들은 흔히 '불쾌한 골짜기'라 불리는 어색하고 기괴한 결과물을 출력하는 경우가 잦았다. 인간의 손가락 개수가 다양하게 출력되는 예시가 유명하다. 그런데 호러에 쓰기에는 이보다 좋은 이미지가 없다.
-AI 영화가 아직은 장르적 한계에 머무르더라도 머지않아 업계인들의 일자리를 위협할 것이라는 불안감이 분명 존재한다. 영화 제작에 있어 AI가 대체할 수 있는 인간의 역할은 얼마만큼일까.
=현재 AI 기술로 절대 실사 촬영의 퀄리티를 따라갈 수는 없다. 때문에 당분간 상업영화계에서는 VFX 비용이 많이 드는 몇몇 컷을 대체하는 방식으로 활용될 가능성이 크다. 사실 개인적으로는 빠르면 2년 안에 실사와 구분이 어려운 AI 영상이 등장할 것으로 예측한다. 그럼에도 영화 제작 과정 속 인간의 역할은 동일할 것이다. 촬영감독이 카메라를 드는 대신 AI 툴을 사용해 프레임을 구성하는 것처럼, 그저 사용하는 도구가 달라질 뿐이다. 무엇보다 예술의 주체는 결국 인간이다. 기획부터 편집까지 모든 프로세스가 AI에 의해 진행된 영화가 예술로 인정받기는 어렵지 않을까. 그런 작품은 오히려 AI 경진대회 같은 독자적인 신으로 분화할 것이라 본다.
스튜디오프리윌루전이 보유한 특허와 수상내역.
특허 보유 자체기술 ‘Video to Foley’는 2023년 한국소프트웨어종합학술대회에서 우수논문으로 선정되었다.
-프리윌루전은 콘텐츠 제작사이자 테크 스타트업이다. 예술가와 공학자 사이의 상호작용은 어떻게 이루어지는가.
=AI 기술을 연구하는 개발팀과 영상을 창작하는 AI 아티스트 팀으로 구성되어 있다. 아티스트들이 AI 툴을 사용하며 느꼈던 아쉬움에 대한 피드백을 제공하면 개발팀이 해당 니즈를 극복할 수 있는 기술을 연구하며 선순환을 이루는 방식이다. 일례로 특허를 보유한 자체기술인 'Video to Foley'는 영상 속 움직임을 자동으로 인식한 후 효과음을 생성 및 삽입하는 인공지능 모델로서 실무에 즉각 활용될 수 있는 실용적인 기술이다.
-프리윌루전의 역점사업인 AI를 활용한 광고영상과 프리비주얼 (previsualization) 제작에 대해 듣고 싶다.
=현재의 AI는 생성 클립 길이의 제한과 일관성 부족 등의 문제로 광고와 같은 짧은 호흡의 영상에 유리하다. 여타 AI 영상이 비주얼적 독창성을 강조하는 미디어 아트에 가깝다면 우리는 짧은 광고 속에서도 내러티브와 주제의식이 가미된 스토리텔링을 선보이려 노력한다. 최근 작업한 현대자동차 광고 영상이 좋은 예시다. 프리비주얼은 주로 판타지나 SF 등 제작비 규모가 큰 장르들의 본 제작에 앞서 예상 결과물을 시각화한 영상이다. AI를 사용했을 때의 제작 비용이 기존의 실사 데모촬영이나 CG 프리비즈 대비 약 3분의 1 수준이다. 위축된 국내 영상콘텐츠 시장을 활성화할 방안이 되지 않을까 생각한다.
스튜디오프리윌루전이 제작한 제28회 부천국제판타스틱영화제 ID FILM의 한 장면
-지난 2월 BIFAN 사무국의 초청으로 특강을 진행했고, 올해 영화제의 ID FILM 영상 제작을 프리윌루전이 맡기도 했다. BIFAN과의 인연은 어떻게 시작되었나.
=두바이 국제 AI 영화제 초청 후 BIFAN의 신철 집행위원장님이 연락을 주셨다. 안 그래도 AI 영화 부문 신설을 장기 계획으로 추진 중이셨는데, 여러 성과를 보고 올해 바로 도입하기로 하셨다더라. 오는 7월에는 AI영화 경쟁부문에 선정된 <One More Pumpkin>의 감독으로 부천을 찾을 예정이다. 미국의 AI 영화감독인 데이브 클락과의 컨퍼런스도 계획되어 있다.
-두바이 AI영화제를 개최한 아랍에미리트는 AI 기술 패권 경쟁에 공격적으로 뛰어드는 국가다. 한국의 영화제와 산업 전반이 AI 영화에 더욱 적극적으로 다가와줬으면 하는 아쉬움도 들 법한데.
=창업 직후 영화계의 여러 선배들에게 조언을 구했다. 대부분 (AI 영화는) 최소 10년 뒤에나 가능할 일이라고 부정적인 시각을 내비쳤다. 이후 <One More Pumpkin>이 좋은 성과를 내고 'Sora'의 공개가 맞물리며 여론이 조금씩 바뀌는 것을 느끼지만, 여전히 보수적인 시각이 만연한 것 같다. 무성영화에서 유성영화로, 흑백에서 컬러로, 필름에서 디지털로 이행한 흐름처럼, 영화란 결국 기술의 발전에 의해 탄생하고 변화해 온 매체다. 두려워하지 말고 조금 더 마음을 열었으면 좋겠다. 특히 우리같은 신인들에게 AI 기술은 기회의 장을 열어주는 너무나 반가운 존재다. 무엇보다 변화하는 시대에 제도적으로 빠르게 대응해야만 AI를 더욱 안전하고 효율적으로 사용할 수 있는 장이 마련될 것이다.
권한슬 대표·감독(앞), 구도형 부대표·프로듀서(좌)를 비롯한 스튜디오프리윌루전의 AI 아티스트 팀
글 박수용, 사진 오계옥
