<사람과의 관계에서 현재보다 더 안심하고 이용할 수 있는 AI의 완성>

1. 서 론

최근 산업 분야에서의 인공지능(AI) 도입이 활발히 이루어지고 있다. AI의 핵심은 기계학습이며, 기법으로는 심층학습(딥러닝)이 자주 사용된다. 심층학습에서는 대량의 과거 데이터(교사 신호)의 입력과 출력의 관계를 계층형 신경망(Layered NN)으로 모델링하고, 학습이 끝난 후 새로운 입력에 대해 해당 입력과 유사한 과거 입력의 정답에 가까운 출력을 내놓는다. 또 학습한 데이터와 크게 다른지 알지 못하는 입력에 대해 적절한 출력을 내놓는다는 보장은 없다. 생각해 보면 신뢰도가 높지 않은 방법이지만, 수천·수만 건이라는 과거의 방대한 데이터를 컴퓨터에 제공하기만 하면 입력에서부터 출력을 얻기 위한 처리가 자동으로 구축될 수 있다(= End-to-End 학습이 가능)는 점과 실제로 활용해 보면 상당히 높은 정밀도의 결과를 얻을 수 있기 때문에 다양한 분야에 활용되고 있다.

심층학습은 높은 정확도를 갖지만, 설명이 현저히 부족하다는 단점이 있다. 심층학습에 의해 만들어지는 심층 신경망(Deep Neural Network, DNN)은 일반적으로 10~100층 이상의 계층형 NN이며, 매우 복잡한 회로망이기 때문에 입력에서 출력에 이르는 기전(처리 절차)이나 판단 근거를 사람이 직관적으로 이해하기 어렵다. 예를 들면 이미지를 통한 제품 결함 검사 처리에서 DNN이 틀렸어도 그 이유를 알 수 없어서 개선할 수 없다. 이는 업무에서 DNN을 활용할 때의 큰 걸림돌이다. 이 때문에 심층학습과 같은 소위 블랙박스형 기계학습의 메커니즘에 대한 판단 근거 중 하나 혹은 양쪽 모두를 사람에게 설명하기 위한 설명 가능한 AI(XAI: explainable AI)1)의 연구가 국내외에서 진행되고 있다. XAI는 기업에서 AI를 활용할 때 위험 회피라는 측면에서도 매우 중요하다. 예를 들어 사람 감지 처리에 심층 회로를 이용한 자율주행차량이 교통사고를 냈을 경우, 내부 처리를 설명할 수 없는 회로 탑재에 대한 책임을 기업 측에 물을 가능성이 높기 때문이다.

여기에서는 저자들이 경험한 XAI 연구 사례를 소개한 후, 앞으로의 AI 발전 방향에 관해 이야기를 나눠본다.

2. 심층학습에 대한 XAI

1) 심층 회로의 선형화를 통한 설명
가장 먼저 심층 회로를 선형 회로로 변환하여 설명하는 기법2)을 소개한다. 이 방법에서는 독자적인 심층 회로의 구조 최적화 기술을 이용하여 심층 회로의 입력 변수와 내부 구조를 단순화하고, 최종적으로 그림 1과 같이 선형 회로로 변환하여 설명한다.

.....................................................

⇒ 본고는 월간지 ‘計測技術’(일본, 일본공업출판주식회사 발행) 2025년 8월호(특집)을 번역·전재한 것입니다. 본 기사의
무단 전재 및 복사는 저작권법상 금지되어 있습니다.