텔레그램의 딥 페이크 AI를 사용하면 가짜 누드사진을 위험할 정도로 쉽게 만들 수 있습니다.

딥 페이크 AI의 무서움.

안녕하세요. 오늘은 비가 오면서도 따듯한 날이었는데요. 그동안의 미세먼지가 빗물에 씻겨 내려가 공기는 좋았다고 생각합니다. 이제는 11월에도 미세먼지가 뿌옇게 있네요. 

이번 포스팅에서는 딥페이크 AI의 나쁜 면을 공유드립니다. 

 

---

연구원들은 신고를 받아 조사를 해보니, 가짜 누드사진을 만들어내는 AI를 중심으로 메시지 앱 텔레그램에서 "딥 페이크 생태계"를 발견했습니다. 이러한 봇과 상호 작용하는 사용자는 주로 소셜 미디어에서 가져온 이미지를 사용하여 알고 있는 여성의 누드를 만들고 있으며, 이를 다양한 텔레그램 채널에서 서로 공유하고 거래한다고 밝혔습니다. 

 

조사는 보안회사인 '센시티'에서 나왔는데, 이 회사는 "시각적 위협 인텔리전스", 특히 딥페이크 확산에 초점을 맞추고 있는 회사입니다. 센시티의 연구원들은 2020년 7월까지 공개된 텔레그램 채널에서 100,000개 이상의 이미지가 생성 및 공유되었음을 발견했습니다. (공유되지 않은 이미지와 7월 이후 생성된 이미지를 포함하여 생성된 이미지의 총 수가 훨씬 더 많음을 의미함). 센시티는 이러한 채널의 사용자 대부분(약 70%)이 러시아 및 주변 국가에서 거주 중이라고 합니다. '벌지'는 회사에서 조사한 많은 채널이 여전히 활성 상태임을 확인할 수 있었습니다. 

 

딥 페이크 AI는 무료로 사용할 수 있지만 워터마크가 있거나 부분적인 누드만 있는 가짜 누드를 생성합니다. 사용자는 사진을 완전한 누드로 만들기 위해 몇 센트에 해당하는 수수료를 지불해야 합니다. "초보자 요금"은 사용자에게 7일 동안 워터마크가 없는 가짜 누드 100개를 생성하는데 1.28달러를 부과합니다. 센시티는 봇이 생성한 이미지의 "제한된 수"는 "미성년자인 것처럼 보이는" 표적을 특징으로 합니다. 

벌지와 센시티는 모두 텔레그램에 연락하여 왜 그들의 앱에서 이러한 콘텐츠를 허용하는지 물었지만 아직 회신을 받지 못한 상태입니다. 또한 센시티는 관련 법 집행 당국에게 알렸다고 말했습니다. 

 

이러한 이미지를 생성하는데 사용되는 소프트웨어를 딥 누드라고 합니다. 지난 6월 웹에 처음 등장했지만, 제작자가 "사람들이 오용할 가능성이 너무 높다"며 주류 언론 보도를 받은 후 몇 시간 동안 웹사이트를 중단했습니다. 그러나 소프트웨어는 Back 채널을 통해 계속 퍼져나갔고, 센시티는 딥 누드가 "역설계되어 오픈 소스 저장소와 급류 웹사이트에서 향상된 형태로 발견되었다"라고 합니다. 제작자의 수익을 창출하기 위해 자동으로 지불을 처리를 하여 텔레그램 봇을 구동하는 데 사용되고 있습니다. 

 

딥 누드는 생성적의 네트워크 또는 GAN으로 알려진 AI 기술을 사용하여 가짜 누드를 생성하며 결과 이미지는 품질이 다양합니다. 대부분은 분명히 가짜인데, 얼룩지거나 픽셀화 된 살이 있지만, 어떤 것들은 쉽게 실제 사진으로 오인될 만큼 정교합니다.

 

포토샵이 생겨나기 전부터 사람들은 가짜 여성 누드사진을 만들어 왔습니다. 현재에도 AI가 아닌 도구를 사용하여 이 활동에 전념하는 많은 포럼과 웹사이트가 있으며 사용자는 유명인사와 아는 사람들의 가짜 누드사진을 공유합니다. 그러나 딥팩은 더 빠른 세대의 현실적인 이미지로 이어졌습니다. 이제, 텔레그램 보트를 통해 이 과정을 자동화하면 사진을 보내고 받는 것만큼 가짜 누드사진을 쉽게 만들 수 있습니다.

조르지오 파트리니 센시티의 CEO 겸 공동저자는 "이 기술의 접근성이 가장 중요하다"고 말했습니다. "이 로봇의 AI 코어의 다른 버전인 이미지 처리 및 합성이 온라인 코드 저장소에서 자유롭게 사용할 수 있다는 것을 알아채는 것이 중요하다고 합니다. 하지만 강력한 하드웨어 외에, 프로그래머가 되어 컴퓨터 비전을 이해해야 합니다. 지금 이 모든 것은 메시징 앱에 내장된 봇에 의해 처리되기 때문에 아무 제약 없이 누구나 사용이 가능합니다. 

 

센시티의 보고서는 이 보트를 사용하는 대부분의 사람들이 "주로 가짜 포르노를 소비하는 것에 관심이 있다"고 가정하는 것은 "합리적"이라고 말한다. 그러나 이러한 이미지와 비디오는 강탈, 협박, 괴롭힘 등에도 사용될 수 있다. AI 생성 누드를 사용하여 표적이 되는 여성의 문서화된 사례가 여러 번 있었고, 텔레그램의 봇을 사용하여 누드를 만드는 사람들 중 일부는 이러한 동기를 염두에 두고 그렇게 하고 있을 가능성이 있다. 

 

파트리니는 더 버지와의 인터뷰에서 센시티의 연구진이 이 봇의 창조물이 이러한 목적으로 사용되었다는 직접적인 증거를 보지 못했지만 회사는 이런 일이 일어나고 있다고 믿는다고 말했다. 그는 딥페이크의 정치적 위협은 "잘못 계산된" 반면 ("범인의 관점에서 볼 때, 포토샵 이미지에 의존하고 덜 노력하여 잘못된 정보를 퍼뜨리는데 비슷한 영향을 받는 것이 더 쉽고 저렴하다)"고 덧붙였다.  이기술은 "개인적인 평판과 보안에 대한 일련의 위협"을 내포하고 있는 것이 분명하다.

 

---

오늘은 편리한 AI의 어두운면을 공유해봤습니다. 기술이 발전하면서 좋은 곳으로 쓰여야할 기술들이 범죄에 악용된다는 사실이 기분이 나쁩니다. 

 

오늘도 긴글 봐주셔서 감사합니다.

 

좋은 하루 되세요.