최근 '딥페이크 성착취물'이 사회적 문제로 떠오른 가운데 인공지능(AI)을 활용한 각종 범죄들도 부각되고 있다.
AI를 통해 더욱 정교한 범죄가 가능해지면서 성착취뿐만 아니라 가짜뉴스 생성 등 여론 조작, 각종 사기행위 등의 도구로 활용하는 사례들이 늘어났다.
딥페이크 피해 증가세가 뚜렷한 가운데 특정 목소리를 모방하는 '딥보이스' 관련 범죄 피해 사례도 증가했다.
AI를 활용한 음성 합성 기술이 발전하면서 딥보이스도 보다 진화, 범죄에 활용되는 빈도가 늘어나는 추세다.
여기에 전화·이메일 등을 활용한 다양한 피싱(Phising) 범죄도 AI를 활용하며 고도화되는 흐름이다.
AI의 급격한 발전 속 그림자도 짙어지는 모양새다.
 
딥페이크 범죄 증가 추세는 지난해부터 가속화된 것으로 조사됐다.
2일 디지털 신원 확인 기업인 '온피도'가 지난해 말 발표한 보고서에 따르면, 2023년 딥페이크 시도 건수는 전년 대비 3000%(31배) 늘어난 것으로 나타났다.
또 다른 업체인 '섬섭' 역시 보고서를 통해 2023년 아시아·태평양 지역의 딥페이크 사건이 2022년 대비 1530%(약 16배)나 증가한 것으로 집계됐다고 밝혔다.
특히 보고서는 AI로 인해 기존보다 훨씬 딥페이크 관련 도구를 사용하기 쉬워졌다며, 이것이 딥페이크 건수가 급격하게 증가한 이유라고 짚었다.
사이먼 호스웰 온피도 시니어 매니저는 보고서에서 "그럴듯한 사기를 클릭 한 번으로 대규모로 실행하는 것이 그 어느 때보다 쉬워졌으며 이를 위해 점차 AI를 활용하고 있다"고 언급했다.
한국만 해도 이번 성착취 문제뿐 아니라, 지난해부터 방송인 송은이·황현희와 존리 전 메리츠자산운용 대표 등 유명인들의 얼굴 등이 투자 사기 광고에 도용되는 사례도 있었다.
이들은 문제가 심각해지자 지난 3월 기자회견을 열고 딥페이크로 인한 문제 해결을 촉구했다.
 생성 AI를 활용한 다양한 서비스들이 생기면서 딥페이크 관련 서비스나 앱들도 더욱 접근이 쉬워졌다.
인터넷이나 앱 마켓 등에 딥페이크 관련된 키워드들을 검색하면 다양한 종류의 딥페이크 앱이나 사이트 등을 쉽게 찾을 수 있다.
사진이나 영상에서 얼굴을 바로 바꿀 수 있는 서비스, 유명인의 얼굴로 바꾸는 서비스, 옷 입은 사진을 옷 벗은 사진으로 바꾸는 서비스, 춤을 추는 캐릭터에 사진을 활용해 해당 인물이 춤을 추는 영상을 만드는 서비스 등 다양하다.
상당수 딥페이크 관련 서비스들이 이미 오락 용도로 널리 활용되고 있는 가운데 악용 사례도 급격히 늘어나 문제가 되고 있다.
 
딥페이크가 AI로 이미지를 정교하게 합성하는 기술이라면, 딥보이스는 AI로 특정인의 목소리를 합성하는 기술이다.
AI 수준이 높아지며 모방 수준이 더욱 정교해졌고 이에 실제 보이스피싱 조직들이 딥보이스를 사기 행각에 활용하는 사례도 늘어나고 있다.
지난해 6월 중국 항저우에 근거지를 두고 보이스피싱 범죄를 저지른 '김군일파'가 대표적이다.
이들은 딥보이스 기술로 유명 검사의 목소리를 추출해 이를 범죄에 활용했다.
해외에서도 딥보이스로 인한 피해가 잇따랐다.
당장 지난 1월 미국 대통령 선거 경선 과정에서 조 바이든 대통령의 목소리를 모방해 "예비 선거에 투표하지 말라"는 전화가 기승을 부린 바 있다.
연방통신위원회(FCC)는 이를 제작한 정치 컨설턴트 스티브 크레이머에게 600만 달러(약 82억원)의 벌금을 부과했다.
2021년 아랍에미리트(UAE)의 한 은행이 평소 거래하던 대기업 임원의 목소리로 둔갑한 딥보이스에 속아 넘어가 3500만 달러(당시 기준 약 420억원)를 범죄 조직에 송금한 사례도 있다.
 
딥페이크는 사진·영상 등 인터넷상에 공개된 데이터를 활용해 손쉽게 제작할 수 있다는 점에서 문제가 된다.
딥보이스 역시 마찬가지로, 다양한 경로로 확보한 특정인의 목소리가 딥보이스 제작의 주된 데이터다.
이를 음성합성 기술을 활용해 정밀하게 복제, 보이스피싱 등에 활용할 경우 해당 인물이 하지도 않은 말을 실제로 한 것처럼 둔갑해 혼란을 키운다.
특히 약 5초 정도의 음성 데이터만 있어도 그럴듯하게 목소리를 흉내낼 수 있다는 점에서 기술만 갖춰지면 얼마든지 범죄 목표가 될 수 있는 위험이 있다.
실제 생성 AI가 대두되면서 딥보이스 제작은 더욱 쉬워졌다.
전 세계적으로 많이 활용되는 생성 AI 서비스인 '캐릭터닷AI'가 대표적 사례다.
해당 서비스에서 약 3~15초 목소리를 녹음하고 버튼 하나만 누르면 비슷한 AI 음성을 간편하게 만들 수 있다.
이를 통해 플랫폼 내에서 채팅 등 다양한 행위가 가능하다.
이외에도 AI 목소리를 만드는 다양한 앱이나 오픈소스 툴들이 성행하고 있다.
챗GPT 제작사인 오픈AI도 지난 3월 학습한 사람 목소리를 똑같이 생성하는 프로그램 '보이스엔진'을 공개했으나, 여러 부작용을 우려해 당분간 이를 공개적으로 출시하지 않을 것이라고 자사 블로그에서 밝힌 바 있다.
 
생성 AI가 실생활에서 가장 많이 쓰이는 사례 중 하나는 글쓰기다.
그러나 이것이 이메일 등을 활용한 피싱으로 악용되기도 한다.
기존에도 이메일을 통해 피싱을 시도하는 사례는 많았지만, 생성 AI로 더욱 자연스러운 글쓰기가 가능해지고 번역 역시 보다 정교해지면서 북한이나 해외 등에서 국내로 피싱을 시도하는 이들에게도 범죄 도구로 활용될 수 있다는 문제가 있다.
이 문제 역시 지난해 큰 문제로 떠올랐다.
일부 해커들이 악성 이메일을 생성하고 발송하는 것을 전문으로 하는 챗봇을 공개해 배포하는 사례가 잇따른 것이다.
웜(Worm)GPT, 프러드(Fraud)GPT 등이 대표적이다.
외부에 공개된 다양한 오픈소스 언어모델을 활용, 멀웨어나 피싱 관련 데이터를 학습해 이를 이메일·문자메시지 피싱 등에 악용한다.
영어뿐만 아니라 프랑스어, 중국어, 스페인어 등 다양한 언어로 활용이 가능해 전 세계 기업들에 비상이 걸렸다.
기업 대상 피싱 이메일은 올해 들어 더욱 기승을 부리고 있다.
글로벌 사이버 보안 솔루션 기업 바이퍼 시큐리티 그룹이 발표한 '2024년 2분기 이메일 위협 동향 보고서'에 따르면 전체 스팸메일의 49%가 비즈니스 이메일 침해(BEC) 사기와 연관돼 있으며, 이 중 40%는 AI로 생성된 것으로 집계됐다.
BEC 관련 스팸메일 자체도 올해 상반기 전년 대비 약 20% 늘어난 것으로 나타났다.
보고서는 생성 AI에 대해 "AI가 생성한 피싱 이메일은 기존 피싱 시도에서 흔히 볼 수 있었던 언어·문법적 실수를 제거해 더욱 설득력을 높인다"고 설명했다.
피싱 이메일은 기업뿐만 아니라 국가 안보 전반도 흔든다.
대표적으로 북한이 이메일을 통한 '스피어 피싱' 등 사이버 공격에 AI를 활용하는 사례가 속속 등장하고 있다.
마이크로소프트는 북한 해킹 조직 '에메랄드 슬릿(김수키)'이 피싱 이메일을 활용해 북한에 대한 전문 지식을 가진 이들로부터 각종 정보를 수집하고 해킹했다고 밝혔다.
이들은 학술기관이나 시민단체(NGO) 등을 사칭해 정부 기관, 북한 관련 싱크탱크 등에 접근해 정보를 빼내고자 했다.
마이크로소프트는 에메랄드 슬릿이 피싱 이메일을 작성하고, 북한 관련 전문가를 파악하는 데 초거대언어모델(LLM)을 활용했다고 설명했다.
 
이처럼 생성 AI를 활용한 신종 범죄가 기승을 부리면서 각국 정부는 이에 대응하기 위한 법·제도 수립에 박차를 가하고 있다.
다만 현실적으로 법·제도만으로는 즉각적인 대응이 쉽지 않은 만큼 이를 막기 위한 각종 기술들도 주목받고 있다.
여기에 AI가 적극 활용되고 있어 눈길을 끈다.
인텔과 오픈AI 등 빅테크 기업들이 딥페이크 예방·탐지를 위한 각종 기술을 내놓은 것이 대표적이다.
인텔은 지난 2022년 실시간으로 영상 내 딥페이크를 탐지할 수 있는 기술 '페이크캐처'를 출시했다.
페이크캐처는 비디오 픽셀 내 탐지되는 혈류를 잡아내 얼굴 표면에 나타나는 정맥 색의 변화를 감지한다.
이를 활용한 기술로 가짜 동영상을 96% 정확도로 탐지할 수 있다는 설명이다.
오픈AI 역시 자사 이미지 생성 AI인 '달리3'에서 생성된 이미지를 감지할 수 있는 기술을 지난 5월 개발했다.
 다수 국내 보안 기업들도 딥페이크 방지를 위한 각종 기술을 개발하고 있다.
대표적으로 라온시큐어는 하반기 중으로 자체 개발한 '딥페이크 감지 안면인식 기술'과 'AI가 생성한 콘텐츠 탐지 기술'을 자사 소비자용 모바일 백신 애플리케이션에 탑재할 예정이라고 밝혔다.
이 중 딥페이크 감지 안면인식 기술은 정상 얼굴과 합성된 얼굴을 각각 학습해 AI가 이를 분류할 수 있도록 하고 합성된 얼굴은 걸러내는 기술이다.
 
샌즈랩은 현재 '생성 AI 역기능 탐지 대응 기술'을 개발 중이다.
샌즈랩은 향후 '국민 체감형 플랫폼'을 개발해 딥페이크 이미지·영상을 비롯해 피싱 공격, 음성 합성 등 다양한 신종 디지털 범죄를 탐지하고 여기에 대응할 수 있도록 하는 기술을 탑재하겠다는 방침이다.
이외 딥페이크 피해 방지를 위한 AI 모자이크 서비스를 출시한 자라소프트, 딥페이크 의심 영상을 업로드하면 즉시 진위 여부를 판별하는 솔루션을 개발한 딥브레인AI 등이 관련 기술을 보유했다.
딥보이스 예방을 위한 기술도 속속 등장하고 있다.
지난해 11월 덴마크 코펜하겐에서 열린 'ACM SIGSAC' 학회에서는 AI로 합성한 음성을 구분하는 '안티페이크' 기술이 공개됐다.
미국 세인트루이스의 워싱턴 대학교 소속 연구팀이 개발한 이 기술은 음성 데이터에 AI만 인식할 수 있는 노이즈를 적용, AI가 음성 데이터를 학습할 때 이를 활용할 수 없도록 한다.
연구팀에 따르면 5개의 최첨단 음성 합성기에 안티페이크를 테스트한 결과 95% 이상의 높은 보호율을 기록했다.