[인터뷰] IBM "설명할 수 있다면 AI 알고리즘 공개 불필요"

올초 인공지능(AI) 챗봇 '이루다'가 이용자들에게 차별·혐오 표현을 하고, 개발사가 이루다를 개발하기 위해 별개 서비스 이용자의 개인정보를 오·남용했다는 비판이 제기됐다.
이는 AI가 일으킬 수 있는 윤리적 문제를 기업들이 예방하고 사후 대처하는 것이 실질적으로 중요한 시대가 됐다는 인식을 환기시켰다.
AI 기술을 실제 서비스에 활용하는 네이버와 카카오는 수년전부터 연구해 온 자체 AI 윤리 준칙과 기준을 제시하고 직원들을 대상으로 실무에 적용하기 시작했다.
미국 IT기업 IBM은 이제 AI 기술 활용방안을 검토하고 있는 일반 기업이 윤리 문제 소지를 예방·최소화할 방안으로 '신뢰받는 AI(Trusted AI)'가 필요하다고 강조한다.
IBM AI전략부문 최고데이터책임자(CDO)·부사장인 세뜨 도브린 박사(Dr. Seth Dobrin)와의 인터뷰를 통해 기업들이 신뢰받는 AI 기술을 구축하는 방안에 대해 묻고 답했다.
다음은 일문일답.
Q. 신뢰받는 AI란 어떤 개념인가.
"AI 모델을 투명하게 검증할 수 있다는 의미다.
AI 모델에 편향이 내재돼 있을 때 그걸 감시할 수 있는 능력을 갖췄는지, 그 위험을 인지할 수 있는지, 필요하다면 동적으로 모델을 수정할 수 있는지에 따라 AI의 신뢰 여부가 결정될 것이다.
기업들이 신뢰받는 AI를 활용하려면 투명하고, 설명가능하고, 전반적인 (데이터처리) 과정을 확인·검증할 수 있어야 하고, 편향이 없어야 한다.
비즈니스와 윤리를 잘 이해하는 시스템이어야 하고, 이를 위해 높은 통합성과 잘 관리된 데이터에 기반해야 한다.
"
Q. IBM은 신뢰받는 AI를 구현하기 위해 어떤 활동을 하고 있나.
"유럽연합 AI고위전문가그룹에서 책임성있는 AI를 위한 정책을 제안했다.
오픈소스 커뮤니티에 'AI 공정성 360', 'AI 설명가능성 360' 툴킷 등 도구와 기술을 제공하고 있다.
작년 세계경제포럼(WEF) 연례회의에서 AI 정밀규제(Precision Regulation of AI) 필요성을 호소했다.
바티칸과 협력해 교황청이 발표한 국제 AI윤리협약 '로마 콜(Rome Call for AI Ethics)' 구상을 도왔고 협약에 참여했다.
올해 다보스포럼에선 AI 설계, 개발, 사용간 국제 협력을 보장하기 위해 필요한 책임성 정책, 실행활동, 파트너십을 가이드하는 '글로벌 AI 행동 연합(Global AI Action Alliance)'에 참여하기로 했다.
"
Q. AI의 차별·편향을 어떻게 알아차리고 없앨 수 있나.
"무엇이 편향인지 정의하고 모델 구축과 운영 과정에 감지해 줄여나가는 것이다.
모델의 메타데이터를 수집해 그 기원을 추적할 수 있는 능력이 중요하다.
모델이 바뀌고 새 버전이 나오더라도 지속 추적이 가능하도록 모델의 수명주기를 문서화할 수 있어야 한다.
기업의 정책과 기준에 따라 모델을 검증할 규칙을 정의하고 그 규칙을 자동으로 집행할 수 있다면, 모델이 기업 내부 기준과 업계 기준을 준수한다고 신뢰할 수 있다.
모델을 사용시 편향, 공정성, 정확성의 기준을 정해야 한다.
편향은 어떤 국가·산업의 관점에서 보느냐에 따라 다를 수 있고, 여러 형태로 존재할 수 있다.
"
Q. 실제 AI 모델 개선 방법을 적용한 사례를 소개해 달라.
"작년 IBM이 서울시와 함께 진행한 정책개발 조사 프로젝트 '아이 케어 유(I Care You)'가 있다.
AI 가상비서로 코로나19 이후 달라진 시민의 일상에 관련된 실태조사를 수행했다.
왓슨 어시스턴트라는 AI를 활용하면서, 질문의 의도와 답을 제공한 이유를 이해할 수 있도록 설명가능성을 지원하는 기술 '왓슨 오픈스케일'와 함께 썼다.
왓슨 어시스턴트의 대화 로그를 모니터링하면서 어떤 의도가 적용됐는지, 어떤 답이 갔는지를 확인해 수정 필요성을 권고하고 있다.
이같은 AI는 자동화되고 안전하며 보안이 갖춰진 하이브리드·멀티 클라우드 환경에서 지원되는 것이 적절하다고 본다.
"
Q. 기업이 신뢰와 투명성을 위해 AI 알고리즘을 공개해야 한다고 보나.
"굳이 알고리즘을 공개할 필요는 없다고 생각한다.
기업이 보유한 AI 모델을 가지고 나온 결과에 대해 그게 어떻게 나왔는지, 결과의 영향을 받는 개인에게 설명할 수 있어야 한다는 게 중요하다.
의료산업용 AI라면 의사와 환자에게, 금융업종에서 활용되는 AI라면 거래당사자에게 어떤 방식으로 결과가 도출됐는지 설명할 수 있어야 한다.
알고리즘 자체를 공개하진 않더라도 말이다.
기업이 이처럼 설명이 필요한 정보를 간단히 확인하는 덴 IBM의 왓슨 오픈스케일에 포함된 '팩트시트' 툴이 유용하다.
식료품 겉면에 표기된 '영양성분표'처럼 팩트시트는 AI의 주요 구성요소를 알려 주는 역할을 한다.
"
Q. 신뢰받는 AI를 의도했음에도 차별·편향의 문제가 불거진다면.
"기본적으로 우리 고객이 IBM의 툴을 활용해 AI 모델을 만들었다더라도, 그것에 편향이 일체 없음을 우리가 보장하거나, 그 AI 모델로 야기되는 문제에 면책을 부여하는 것은 아니다.
다만 우리는 많은 툴과 기술적인 프로세스를 고객이 사용하도록 권고한다.
이걸 활용했을 때 이미 알려진 편향과 부당함을 최소화할 수 있도록 하는 접근방식을 제안하는 것이다.
이것이 AI 모델을 만들 때 어떤 부정적인 영향을 끼칠 수 있을지, 편향과 부당함이 발견됐을 때 뭘 해야 하고, 무엇을 하지 않아야 하는지 등 가이드라인도 함께 협의한다.
"
Q. 설명가능성을 갖추느라 기밀이나 노하우가 노출될 우려는 없나.
"설명가능성에 여러 층위가 있다.
모델을 만드는 데이터과학자 입장에선 딥러닝 모델이나, 여러 모델을 연결한 앙상블 기법을 쓰면 그걸 설명하기 위한 AI가 필요해진다.
데이터과학자가 해당 데이터에 접근할 수 있어야 한다거나, 기술을 잘 모르는 경영진에게 설명할 수 있어야 한다.
이런 조직 내부를 위한 설명가능성이 필요한 상황에선 기밀 유출 우려가 없다.
규제당국을 상대로 할 땐 '모델에 어떤 편향이 있었는데 그걸 감지·수정해 어떤 조치로 이렇게 수정했다'는 결과 중심의 설명이 필요하다.
이 때 왓슨 오픈스케일과 팩트시트를 사용하면서 구체적인 데이터를 노출하지 않고 설명이 가능하다.
"