[AI업계 12월 동향] ② 같은 데이터 학습해도 AI 모델마다 성능 달라... 구글, AI의 비명세성 문제 제기

현재 전 세계 IT 기업 중 가장 앞선 인공지능(AI) 기술을 보유했다고 평가받는 구글이 현행 AI 모델 개발·운용방식에서 치명적인 문제를 발견하고 개선에 나섰다.
22일 소프트웨어 업계에 따르면, 현재 AI 기술은 연구·개발 단계에서의 탁월한 성능이 실제 활용 단계에선 급격히 떨어지는 '데이터 시프트(Data Shift)' 문제에 시달리고 있다.
AI 모델 개발의 핵심 기술로 평가받는 딥러닝(인공신경망) 기술은 실제 데이터가 학습한 데이터와 형식과 속성이 다른 경우 급격한 성능 저하가 일어난다.
업계에선 이러한 현상을 데이터 시프트라고 부르고 있다.
예를 들어 고해상도 이미지 데이터로 학습한 컴퓨터 비전(사물인식) AI는 현업에서 저해상도 이미지나 이미지 조작을 인식해야 하는 경우 제대로 작동하지 않는 문제가 있다.
최근 구글 연구진은 현실세계에서 AI 성능이 하락하는 또 다른 원인으로 AI의 '비명세성(Underspecification)'을 꼽았다.
비명세성이란 AI의 학습 과정에서 이미지를 인식하는 방식이 미묘하게 다른 다수의 모델이 만들어진다는 이론이다.
실제로 연구진은 연구·개발 단계에서 성능이 유사한 것으로 판명된 50종의 컴퓨터 비전 AI 모델이 실제 현업에선 전혀 다른 성능을 내는 것을 확인했다.
50종의 AI 모델은 무작위로 부여한 초기 값만 다를 뿐 동일한 이미지넷 데이터를 이용해 학습했으며, 테스트 결과 성능이 유사한 것으로 확인됐다.
하지만 이미지넷 데이터의 명암과 대비를 조정한 '이미지넷-C 데이터'와 객체의 위치를 조정한 '오브젝트 넷'을 활용해 실제 상황에서의 운용 성능을 테스트한 결과, 이미지넷-C 데이터를 잘 인식하는 AI 모델과 오브젝트 넷을 잘 인식하는 AI 모델이 구분되는 등 AI 모델 간 성능 편차가 상당히 있음을 확인했다.
즉, AI의 초기 값 설정, 학습 횟수, 한 번에 학습시킨 데이터의 양 등 사소한 차이로 인해 인식 방식이 상이한 모델들이 만들어지고, 현실 세계에서 상황에 따른 성능 편차가 발생하게 된다.
소프트웨어정책연구소 관계자는 "AI 모델의 비명세성은 AI의 성공적인 산업적 활용을 위해 극복해야할 과제다.
이번 구글의 연구 성과는 현실세계에서 불안정한 AI 성능을 비명세성이란 이론으로 설명했다는 점에서 AI의 활용처를 확대할 수 있는 단초를 제시했다고 볼 수 있다.
AI의 비명세성 해결 방안은 아직 없으며, 앞으로 기업은 실험실 테스트를 통과한 AI 모델 간 실제 성능 편차를 줄이기 위한 추가적인 개발 과정을 도입해야 할 필요성이 있다"고 지적했다.