딥페이크: 작동 원리, 앱 및 몇 가지 예

딥페이크 사진과 영상이 전 세계 많은 사람들의 관심을 끌고 있으며, 연구자와 입법자들은 다음과 같은 질문을 던지고 있습니다. 다음은 무엇일까요?

딥페이크(Deepfake)라는 용어는 "딥 러닝(Deep Learning)"과 가짜(Fake)를 의미하며, 인공지능의 딥 러닝 방법을 사용하여 모든 미디어의 가짜 사본을 만드는 것을 말합니다.

많은 사람이 딥페이크 앱을 사용하여 사진과 비디오를 가짜로 만드는 것이 얼마나 쉬운지에 대해 경각심을 갖고 있는 반면, 다른 사람들은 그것을 매우 재밌게 여깁니다. 그러나 딥페이크는 하나의 일이 되었습니다.

그래서 우리는 이 기술을 자세히 살펴보고, 이 기술이 어떻게 작동하는지, 그리고 세상에 어떤 의미를 갖는지 알아보겠습니다.

딥페이크 vs 인공지능

무엇보다도 표준 AI 생성 출력과 딥페이크의 차이점을 알아두는 것이 중요합니다. AI 알고리즘은 오랜 세월에 걸쳐 다양한 유형의 미디어 출력을 만들어 왔지만, 그것을 딥페이크라고 부를 수는 없습니다.

딥페이크라는 용어는 AI가 기존 사본을 편집한 버전인 비디오, 사진 또는 기타 위조된 미디어를 의미합니다.

인공지능은 지난 10년 동안 더 저렴하고 강력한 컴퓨터와 해당 분야의 새로운 기술 발전 덕분에 엄청나게 발전했습니다.

10년 전에는 AI가 생성한 이미지를 쉽게 알아볼 수 있었지만, 지난 몇 년 동안 알고리즘이 개선되어 매우 사실적인 결과를 더 쉽게 생성할 수 있게 되었습니다. 이러한 높은 수준의 진정성 덕분에 AI가 생성한 이미지 전반, 특히 딥페이크가 매우 인상적입니다.

AI와 딥러닝

매우 사실적인 인간 얼굴을 만들기 위해 컴퓨터 알고리즘이 어떻게 발전했는지 이해하려면 생성된 사진 및 thispersondoesnotexist.com, 인공지능에 대한 기초 지식이 필요합니다.

AI에는 사용하는 방법과 달성하려는 목표에 따라 다양한 영역이 있습니다. 스팸 탐지에 사용되는 베이지안 필터와 같은 확률적 방법부터 퍼지 논리, 스스로 발전하는 진화 알고리즘, 인간의 뇌를 시뮬레이션하는 인공 신경망까지 모든 것을 찾을 수 있습니다.

신경망

인간의 뇌에 실제 뉴런이 있는 것처럼, 그들의 수상돌기와 축삭이 수백만에서 수십억 개의 뉴런에 걸쳐 있는 매우 복잡한 네트워크로 연결되어 있는 것처럼, 인공 뉴런도 연결됩니다. 하지만 그들의 수는 컴퓨팅 파워에 의해 제한됩니다.

신경망의 목표는 모든 입력에 출력이나 답을 제공하는 것입니다. 이는 먼저 아이에게 가르치듯이 신경망을 가르쳐서 달성됩니다. 그런 다음, 신경망은 이제 당신의 가르침에 따라 예측을 할 수 있습니다.

또한 네트워크에 뉴런이 많을수록 더 나은 결과를 의미하고, 더 많은 훈련 데이터가 결과를 개선한다는 점도 유의해야 합니다. 이것이 바로 인간의 뇌가 작동하는 방식입니다. 적어도 이론적으로는 그렇습니다.

딥페이킹 작동 방식

인공지능을 적용할 수 있는 것과 분야는 많습니다. 딥페이킹은 그 중 하나일 뿐이며, 신경망을 사용하여 이미지를 편집하는 것에서 발전했습니다. 초기 결과는 유망했지만, 이언 굿펠로우와 친구들이 2014년에 GAN을 내놓을 때까지는 매우 기본적이었습니다.

GAN 또는 Generative Adversarial Network는 신경망을 가르치기 위한 프레임워크입니다. 따라서 네트워크를 스스로 준비하고 가르치는 대신 다른 네트워크가 첫 번째 네트워크의 출력을 비판하여 경쟁하게 합니다. 이를 통해 모든 훈련 세트에 기반한 훌륭한 결과가 생성됩니다.

GAN 접근법의 결과는 그 당시와 마찬가지로 오늘날에도 경이로웠습니다. 또한 딥페이크를 포함한 많은 AI 솔루션과 애플리케이션의 기반이 되었습니다. 게다가 컴퓨팅 파워의 향상으로 스마트폰에서도 놀라운 일을 더 쉽게 할 수 있게 되었습니다.

가능한 딥페이크 애플리케이션

인터넷에 떠도는 인기 있는 이미지와 비디오 외에도, 딥페이크 기술은 다른 더욱 유용한 목적을 위해 사용될 수 있는 폭넓은 응용 분야가 있습니다.

딥페이크는 음성 합성을 사용하여 언어 장애가 있는 환자가 목소리를 찾는 데 도움이 될 수 있습니다. 플로리다주 세인트 피터즈버그의 달리 박물관에서 일어난 것처럼 역사적 인물이 다시 살아나는 교실에서 사용될 수 있습니다.

영화 산업도 딥페이크의 용도를 찾을 수 있는데, 영화에서 CGI(Computer Generated Imagery) 비용을 크게 줄일 수 있기 때문이다. 죽은 연예인과 배우를 부활시켜 새로운 영화에 등장시킬 수 있다.

딥페이크를 이용하면 누구나 여러 언어로 전문화된 영상을 제작할 수 있습니다. 데이비드 베컴의 "말라리아는 이제 그만" 캠페인이나 마노지 티와리가 여러 언어를 유창하게 구사하며 인도에서 실시한 정치 캠페인이 그 예입니다.

게임에서도 딥페이크 기술을 유용하게 활용할 수 있는데, 플레이어가 게임에 몰입해 더욱 깊은 가상현실을 경험할 수 있기 때문이다.

소셜 미디어 마케터조차도 전적으로 컴퓨터에서 생성되고 관리되는 컴퓨터 생성 소셜 미디어 인물에 대한 용도를 찾고 있습니다. 실제 딥페이크는 아니지만 Calvin Klein의 릴 미 클라 그녀의 3만 명의 인스타그램 팔로워는 무엇이 가능한지 보여줍니다.

일부 딥페이크 예시

이 기술과 이 기술이 지닌 잠재력을 더 잘 이해하기 위해, 지금까지 나온 가장 인상적인 딥페이크 몇 가지를 소개합니다.

• 오바마 발표 – 이것은 가장 잘 알려지고, 가장 오래되고, 가장 충격적인 딥페이크 중 하나입니다. 2018년에 공개된 이 영상은 사람들에게 이 기술의 가능성에 대해 알리기 위한 경고로 만들어졌습니다.
  
  오바마가 공익광고를 하는 모습이 나왔고, 트럼프를 "멍청이"라고 부르는 장면이 나옵니다. 제작자는 조던 필이고, 그가 사용한 도구에는 Adobe After Effects와 FaceApp이 있습니다.
  
  
• 모나리자 – 대부분의 사람들은 레오나르도 다빈치의 걸작 모나리자를 알고 있습니다. 하지만 2019년, 사람들은 삼성의 러시아 AI 연구실 덕분에 그녀가 처음으로 미소 짓고 움직이는 것을 보고 전 세계적으로 경탄했습니다.
  
  "현실적인 신경 대화 헤드"라는 라벨이 붙은 이 연구자들은 YouTube에서 수집한 7,000개의 이미지를 사용하여 이 신경망을 훈련했습니다. 그런 다음 얼굴 특징을 맞추고 얼굴을 애니메이션화하는 데 필요한 것은 단 하나의 사진뿐입니다. 그들은 또한 Albert Einstein, Marilyn Monroe, Salvador Dalí 등을 사용했습니다.
  
  
• 줌 통화 – 2020년에 두 명의 러시아 연구원이 Zoom 화상 통화의 사용자 지정 가능한 배경 기능을 사용하여 원하는 사람의 실시간 애니메이션 딥페이크를 만드는 방법을 시연했습니다. 그들은 웹 통화에서 생생하게 말하는 알베르트 아인슈타인, 모나리자, 도널드 트럼프 또는 보리스 존슨으로 나타날 수 있습니다.
  
  
• 살바도르 달리 – 2019년 플로리다주 세인트 피터즈버그의 달리 박물관은 "달리 라이브스(Dalí Lives)" 전시회를 개최했습니다. 이 전시회는 죽은 예술가의 딥페이크 버전을 선보였고, 이를 실현하기 위해 1,000시간 이상의 머신 러닝과 6,000개의 프레임이 필요했습니다.
  
  
• DeepNude – 2019년에도 개발자 팀이 DeepNude라는 인상적인 앱을 출시했습니다. 비키니를 입은 여성의 사진만 있으면 그녀를 완전히 알몸으로 벗길 수 있었습니다. 그런 다음 사진에 "가짜" 워터마크를 추가했는데, 50달러를 내면 제거할 수 있습니다.
  
  이 앱은 많은 사람들을 놀라게 하고 분노하게 했습니다. 그리고 압력이 너무 커서 개발자들은 웹에서 앱을 철수해야 했습니다. GitHub의 오픈 소스 코드도 제거되었지만 다음과 같은 웹사이트 http://deepnude.to 그리고 DeepNude가 계속된다는 텔레그램 봇 쇼가 있습니다.

주목할만한 딥페이크 앱

또한 많은 딥페이크 생성기 앱이 있으며, 어떤 앱은 다른 앱보다 더 인상적입니다. 대부분 스마트폰용이며 누구나 사진과 비디오를 빠르게 조작할 수 있도록 해줍니다.

이러한 앱에는 다음이 포함됩니다.

• DeepFaceLab – 다음에서 사용 가능 GitHub의, DeepFaceLab은 딥페이크를 만드는 선도적인 소프트웨어 솔루션입니다. 얼굴을 바꾸고 나이를 낮추고, 머리를 바꾸고, 정치인과 다른 관심 있는 사람들의 입술을 조작할 수 있습니다. 많은 YouTube 채널에서도 이를 사용합니다.
  
  
• MyHeritage – The Deep Nostalgia 제공 MyHeritage.com 오래된 가족 사진을 생생하게 재현하는 것을 쉽게 만들어줍니다. MyHeritage는 가족 계보를 발견하는 플랫폼입니다. 따라서 조상을 다시 살아나게 하는 것은 소름 돋지만 인상적인 경험이 될 수 있습니다.
  
  
• FakeApp – Reddit 사용자가 개발하고 출시한 FakeApp은 비디오에서 얼굴을 바꾸거나 무료로 플레이하는 것을 쉽게 해줍니다. Star Wars: Rogue One 프리퀄에서 어린 레이아 공주의 유명한 리마스터링을 만드는 데 사용되었습니다. 만드는 데 몇 분 밖에 걸리지 않았지만, 몇 주가 걸렸고 비용이 훨씬 더 많이 들었던 영화 원본보다 더 좋아 보였습니다.
  
  
• Reface – 또 다른 인상적이고 사용하기 즐거운 앱이 출시되었습니다. Android 및 iOS. 하지만 광고가 표시되며 월 구독으로 광고를 제거할 수 있습니다.
  
  
• Zao – 단 몇 초 만에 새로운 영상을 만들 수 있는 중국 딥페이크 앱이지만 인상적인 결과를 보여줍니다. 중국에서만 이용할 수 있습니다.
  
  
• Deepfakes Web – 웹에서 작동하는 클라우드 기반 딥페이크 앱입니다. 웹사이트에 가서 비디오를 업로드하고 버튼을 클릭하기만 하면 됩니다. 그러면 시스템이 비디오를 학습하고 새로운 비디오를 만들어줍니다. 더 나은 결과를 위해 훈련할 수도 있습니다.

맺음말

이 딥페이크 게시물을 마치면 이 기술이 지금까지 얼마나 발전했는지 분명해질 것입니다. 여기에는 도덕적, 비도덕적 접근 방식이 모두 포함됩니다. 포르노 산업은 항상 인터넷에서 혁신의 원천이었기 때문입니다.

또한 AI 딥페이크의 비용이 기존 CGI에 비해 상대적으로 저렴하다는 점을 고려하면, 영화 산업은 물론 엔터테인먼트 이외의 다른 분야에서도 딥페이크가 사용될 미래는 분명 밝을 것입니다.