AI의 편향적·위법한 ‘내재적 위험’ 막을 장치를

프린트

기술미래 ㅣ HIT! 이 기술 AI의 편향적·위법한 ‘내재적 위험’ 막을 장치를 학습데이터·기술·이용자 위험…인공지능기본법 적용범위 확대해야

기사입력2025-01-08 00:00

채민선 기자 (iscra79@junggi.co.kr) ㅣ다른기사보기

AI(인공지능) 구축 및 작동 과정에서 자체적으로 발생하는 학습데이터 위험, 기술적 위험, 이용자 위험 등의 ‘내재적 위험’에 대응하기 위해 ‘인공지능 발전과 신뢰 기반 조성 등에 관한 기본법안’의 적용범위를 확대하고, AI 리터러시를 높이는 등 대응방안을 마련해야 한다는 진단이 나왔다.

국회입법조사처가 최근 발표한 ‘인공지능의 내재적 위험과 입법·정책 과제’ 보고서는 AI가 비약적인 기술 발전과 함께 사회 전반에 긍정적인 혁신을 가져왔으나, 동시에 다양한 위험도 내포하고 있다고 경고했다. AI는 인간의 지능적 행위에 들어가는 시간과 수고를 줄여주고 인간이 수행하던 판단과 창작 등을 보완·대체·증강함으로써 더 방대하고 새로운 지능적 활동을 경험할 수 있게 해주지만, 일자리를 대체하거나 불완전하고 편향적인 결과를 제시해, 개인과 사회에 혼란을 초래하는 위험을 내포하고 있다는 것이다.

그러면서 보고서는 특정 영역에서 기존 기술·서비스에 AI가 적용되면서 발생하는 ‘파생적 위험’과 데이터 학습, AI 모델 구축·작동 등 AI의 생애주기에 걸쳐 공통으로 발생하는 ‘내재적 위험’으로 구분했다. 특히 내재적 위험은 현실 문제로 불거지기 전까지 가시적으로 드러나지 않아 문제를 파악하는 것이 쉽지 않고, 문제가 발생하면 개인과 사회에 큰 피해를 초래하는 경우가 많다고 지적했다. 따라서 다양한 가능성을 열어놓고 사전에 체계적이고 종합적인 대안을 모색하는 것이 중요하다고 했다.

▲학습데이터 위험=편향적이고 대표성이 낮은 부적절한 학습데이터, 무단으로 사용된 개인정보와 같은 부적법한 학습데이터 등이 포함된다. 학습데이터가 편향되면 AI의 공정성·신뢰성·정확성 등이 훼손될 우려가 있다. 보고서는 AI 학습데이터의 오류와 차별은 그 자체로 AI 모델과 시스템의 적절성을 위협하며, 특히 채용·금융·의료 등 인간의 권리·재산·안전과 관련돼 위험을 초래할 수 있다고 우려했다.

또, 학습데이터가 충분하지 않거나 없는 경우 AI는 정확하지 않은 것을 마치 정확한 것처럼 대답하는 환각현상을 보이거나, 일부만 존재하는 학습데이터를 과도하게 부풀려 편향된 결과를 만들어 낼수도 있다. 동의 없이 개인정보를 활용하거나 동의 없는 저작물을 활용해 개인정보를 침해하고 저작권의 공정이용 이슈를 불러일으키기도 한다.

<그래픽=채민선 기자> ©중기이코노미

▲기술적 위험=AI 모델과 서비스는 투명성과 설명가능성을 충족하기 쉽지 않다. 세계적으로 AI 모델들이 성능을 높이기 위해 더 많은 데이터를 학습하려고 하는데, 이 많은 데이터가 어떻게 처리되고 알고리즘에 반영되는지를 세밀하게 밝혀서 설명하는 것이 현실적으로 불가능하다. 때문에 이용자들이 AI를 사용하다가 AI 모델·시스템에 문제가 발생한다면 책임성 확보를 위한 추적이 쉽지 않다.

자율성에 대한 통제가 곤란해질 수 있다는 점도 기술적 위험에 해당한다. AI가 인간의 가치보다 AI 스스로의 가치를 더 높게 설정하거나, 스스로 ‘자기 보존’이나 ‘자기 개선’과 같은 목표를 추구한다면, 인간 중심성과 멀어지는 문제가 발생한다. 보고서는 AI에 개인의 재산·건강·권리에 관한 사항, 국방에 관한 사항 등 중요한 책임과 의사결정을 맡겼을 때, 과도하게 AI 시스템에 의존함에 따라 통제 및 감독의 어려움이 발생할 가능성도 있다고 했다. AI 모델·시스템의 산출물이 인간의 권리를 침해하거나 정부나 권력기관에서 AI를 활용한 개인정보를 수집할 경우 민주주의와 자유를 위협할 수 있다는 점도 우려된다.

▲이용자 위험=이용자 부주의가 발생할 경우, 이용자가 프롬프트에 적절하지 못한 정보를 입력해 자신의 중요 정보를 스스로 유출시키는 결과를 초래할 수도 있다. 또, 비현실적인 기대로 AI 시스템에 과도하게 의존하거나 AI 시스템이 충분히 대답하지 못하는 영역에서 AI를 활용하고 그 결과를 신뢰하는 것도 위험하다.

악의적 이용자라면 AI로 허위 조작 정보를 만들어 개인과 사회를 혼란스럽게 할 우려도 있다. AI 시스템이 사람들의 심리적 프로파일에 기반해 개별화된 메시지를 생성하고 조작해, 민주적 과정과 사회적 결속을 훼손할 수 있다. 2024년 1월 미국 대선 뉴햄프셔주 예비경선을 앞두고 바이든 대통령의 목소리를 흉내낸 딥페이크 음성으로 민주당 당원들에게 투표 거부를 독려하는 전화가 기승을 부리기도 했다. 국내에서는 학생을 대상으로 한 딥페이크 합성음란물이 사회적 문제가 되기도 했다.

AI의 이러한 내재적 위험에 대응하기 위해 주요국들은 입법을 통해 안전장치를 마련하고 있다. 유럽연합은 ‘인공지능법’을 제정해 학습데이터의 위험을 관리하기 위해 데이터 관리 및 학습데이터 요약본 공개 의무를 규정하고, 기술적 위험 관리를 위해 기술문서 작성과 적합성 평가 등을 의무화하고 있다. 고위험 AI 시스템의 공급자는 데이터 관리, 기술문서 작성, 배포자에 이용지침을 제공, 적합성 평가 수행 등의 의무를 이행해야하고, 배포자는 이용지침을 준수하고 기본권 영향평가 등을 수행해야 한다.

우리나라는 지난해 12월26일 ‘인공지능 발전과 신뢰 기반 조성 등에 관한 기본법안’이 국회 본회의를 통과해 공포 후 1년 뒤 시행된다. 기본법은 고영향 AI에 대한 안전 및 신뢰성 관리체계를 마련한 것이 특징이다. 보고서는 기본법이 전반적으로 유럽연합의 인공지능법을 참고해 고영향 AI의 위험 대응책을 규정했지만, 국민에게 큰 영향을 미치고 있는 생성형 AI에 대해서는 적절한 위험 대응조치가 마련되지 못했다고 지적했다.

그러면서 보고서는 AI의 내재적 위험에 대응하기 위해 고려해야 할 입법·정책적 과제를 제시했다. 우선 AI 학습데이터의 출처와 편향성을 검토하고 투명성을 강화하기 위해 학습데이터에 대한 설명을 강화하고 이를 위해 인공지능기본법안에 열거된 고영향 AI 뿐만 아니라 생성형 AI와 같은 일상에 큰 영향을 미치는 AI까지 학습데이터 설명 대상에 포함하는 방안을 모색해 볼 수 있다는 것이다. 또, 고영향 AI에 대해 기본권 영향평가를 실시하도록 규정하고 있는 기본법의 범위를 기본권 이외의 위험요소까지 확장하는 방안도 제안했다.

AI 학습데이터에 개인정보와 저작물이 활용되고 있는 현실을 감안해 온라인에 공개된 개인정보와 저작물의 보호, AI 학습을 위한 활용을 균형적으로 달성할 수 있는 ‘개인정보보호법’과 ‘저작권법’ 개정의 필요성도 제기했다. 공개된 개인정보는 법률의 적용대상에서 제외하거나 동의없이 사용할 수 있도록 한 미국 캘리포니아주의 ‘프라이버시 권리법’, 캐나다의 ‘개인정보 보호 및 전자문서법’, 유럽연합의 ‘일반정보 보호 규정’ 등을 참고할 수 있다. 저작권 관련해서는 공정이용을 허용하고 있는 미국 ‘연방저작권법’, 학술연구 목적의 TDM(Text and Data Mining)과 일반적인 TDM을 구분해 이원적으로 규율하고 있는 유럽연합 ‘DSM 저작권 지침’ 등이 있다.

영어권 데이터를 학습한 AI 모델 시스템이 국내 현실에 맞는 결과를 충분히 산출하지 못하는 문제를 해결하기 위해서 국내 정치·경제·사회·문화 데이터를 축적해 AI 학습에 활용할 수 있도록 하는 노력도 필요하다고 강조했다.

보고서는 AI 위험관리를 위해 민관협력을 강화하고 인공지능기본법안을 보충할 사항, 개별 법률에서 정할 사항 등 후속 입법·정책 지원이 필요하다고 했다. 또, 최종 컨트롤타워인 국가인공지능위원회의 정책 조정역할을 강화하고, 국회에서도 AI 관련 특별위원회 또는 지원체계 마련이 필요하다고 덧붙였다. 중기이코노미 채민선 기자