몇 시간 만에 립싱크 딥 페이크 만드는 법

"나는 단 몇 시간 만에 립싱크 딥 페이크를 만드는 법을 배웠습니다"

 

 

 

안녕하세요. 비가 온 이후로 날씨가 정말 추워졌습니다. 

영하의 온도에 감기 걸리지 않게 따듯하게 옷을 입고 다녀야겠습니다.

 

이번 글은 딥페이크에 관한 글을 써보겠습니다. 

딥페이크는 영상의 얼굴에 다른 사람의 얼굴을 입히는 기술입니다. 

---

정말 딥 페이크를 만드는 것이 쉬울까요? 지난 몇 년 동안, AI가 만들어

내는 딥 페이크를 점점 더 진짜 같이 만들어 주는 새로운 방법과 알고리즘이 꾸준히 생겨나고 있습니다. 심지어 여러분은 지금도 몇 개의 앱에서 기본적인 얼굴 바꾸기를 할 수 있습니다. 하지만 온라인에서 발견한 무작위 코드를 진짜 딥 페이크로 바꾸려면 무엇이 필요할까요? 이제 개인적은 경험으로 말씀드리겠습니다. 여러분은 시간과 인내라는 두 가지가 필요합니다. 

 

몇 년 동안 딥페이크에 대해 글을 썼지만, 저는 간단한 딥페이크 앱만 사용해 봤습니다. 하지만 빠른 립싱크 딥페이크를 순식간에 만들어내는 쉬운 방법을 찾았고 내가 앱을 만들어 봐야겠다고 결심했습니다.

 

기본적인 메커니즘은 정말 간단합니다. 여러분이 필요한 것은 여러분의 주제에 대한 비디오와 거기에 입힐 오디오 클립입니다. 코드를 이용해서 그 두 가지를 함께 으깨고 섞어서 만들면 됩니다. 저는 전문지식이 없어요.

 

필요한 알고리즘을 찾습니다.

트위터에서 유명한 퀸 X 퀸 딥페이크를 만든 아일랜드 디자이너 제임스 켈러가 트위터에서 지적했듯이, 그가 이 비디오를 만드는 데 사용한 방법은 일부 AI 연구원들에 의해 온라인에서 공유되었습니다. 문제의 논문은 몇 주 전에 게시되었고, 누구나 시도할 수 있는 데모 파일도 같이 있습니다. 데모는 원래 자유롭게 접근할 수 있었지만 지금은 사용하려면 사용자 등록을 해야 합니다. 이 작품의 저자 중 한 명인 IIIT 하이데라바드의 KR 프라즈왈은 베르주에게 "사용자 등록을 해도 일부 프로그래머들은 심각한 범죄를 저지를 것"이라고 인정했지만, 이것은 악의적인 사용을 만류하기 위한 것이라고 말했습니다.

 

프라즈왈은 "우리는 사람들이 이러한 도구를 자유롭게 사용할 수 있다는 우려를 분명히 인정하고 있으며, 따라서 우리는 이 비디오를 합성물로 명확하게 제시하기 위해 고드와 웹사이트의 사용자들에게 강력히 제안한다"라고 말했습니다. 그와 그의 동료 연구원들은 이 프로그램이 애니메이션이나 더빙 비디오와 같은 많은 유익한 목적으로도 사용될 수 있다고 지적합니다. 프라지왈은 이 코드를 사용할 수 있게 하는 것이 "오용과 효과적으로 싸울 수 있는 시스템에 대한 유익한 연구를 장려할 것"이라고 덧붙였습니다.

 

많이 실패해 봅니다.

 

저는 원래 앞에서 말한 온라인 데모를 사용하여 딥페이크를 만들려고 했습니다. 저는 팀 쿡의 비디오와 그 비디오에 사용할 오디오를 찾았습니다. 저는 퀴타임의 화면 기록 기능과 피에조라는 편리한 앱을 이용해 오디오를 이용해 비디오 영상을 다운로드했습니다. 그리고 두 파일을 모두 가져와 사이트에 입력하고 기다렸습니다. 계속 기다렸습니다. 그리고 아무 일도 일어나지 않았습니다.

 

무슨 이유에서인지 데모는 저의 동영상을 만들어 주지 않았습니다. 저는 새로운 것을 만들고 그들의 결심을 줄이려고 했지만, 별 차이가 없었습니다. 이런 오류가 나타나도 저는 분석할 기술적인 지식이 없습니다. 결국 저는 포기하고 켈러에게 도움을 청했습니다. 그는 제가 저장한 파일 이름을 바꾸자고 제안했습니다.  저는 시키는 데로 이름을 바꾸었고 무슨 이유에서 인지 효과가 있었습니다. 저는 이제 팀 쿡이 레몬 스니켓의 A Series of Unfortunate Events에서 짐 캐리의 스크린 테스트에 따라 흉내를 내는 동영상을 보았습니다. 정말 끔찍했습니다. 사실 사실성과 유머 면에서는 정말 믿을 수 없을 정도로 엉성했지만, 개인적인 성취는 만족했습니다. 

 

 

반면에, 저에게 깊은 인상을 준 것은 이 기술이 얼마나 빨리 퍼지는가 하는 것입니다. 이 특별한 립싱크 알고리즘인 Wav2Lip은 인도와 영국의 대학과 제휴한 국제 연구팀에 의해 만들어졌습니다. 그들은 8월 말에 온라인에서 그들의 작품을 공유했고, 그 후 트위터와 AI 뉴스레터에 의해 픽업되었습니다. 연구자들은 코드를 접근 가능하게 하고 심지어 공개 데모를 만들었는데, 몇 주 만에 전 세계 사람들이 그것을 실험하기 시작했고, 재미와 콘텐츠를 위해 그들만의 딥페이크 영상을 만들었습니다. 유튜브에서  'Wav2Lip'을 검색하면 튜토리얼, 데모, 그리고 더 많은 잘 만든 딥페이크를 찾을 수 있습니다.

 

---

딥페이크를 만드는 간단한 방법인 Wav2Lip을 활용하여 나만의 재미있는 립싱크 영상을 만들 수 있습니다. 유튜브에도 따라 하기 영상과, 튜토리얼 영상이 많이 있고 데모 사용법까지 올라와 있으니 해보고 싶으신 분들은 재미있게 따라 해 보시면 될 것 같습니다. 

 

오늘도 긴 글 읽어 주셔서 감사합니다.