가짜뉴스, 저작권, 일자리…넘어야 할 산 많아

프린트

기술미래 ㅣ HIT! 이 기술 가짜뉴스, 저작권, 일자리…넘어야 할 산 많아 영화 ‘Her’ 현실로?…멀티모달, 인공지능 기술 표준이 되다㊦

기사입력2024-07-19 00:00

텍스트, 이미지, 동영상, 음성 등 다양한 형태의 데이터를 학습해 사용자에게 다양한 편의 기능을 제공하는 AI가 바로 ‘멀티모달 AI’다. 최근 주목을 받고 있는데, 오픈AI가 7월 말 출시를 앞두고 있는 ‘GTP-4o(GPT-포오)’, 구글의 제미나이(Gemini) 등이 있다.

우리 일상에 속속 자리잡고 있는 ‘멀티모달 AI’

GPT-4o의 ‘o’는 ‘옴니(Omni)’에서 따온 것으로, 모든 형태의 입력 데이터를 하나의 신경망에 통합해 빠르고 정확한 응답을 제공한다는 뜻이다. GPT-4o는 텍스트뿐만 아니라 음성으로도 응답할 수 있으며, 이미지를 생성하는 등 다양한 형태로 답변을 제공할 수 있다. 특히 카메라를 통해 사용자의 표정과 목소리를 분석하고 상황을 추론해 적절한 반응을 보일 수 있다. 사용자가 질문하면 목소리로 대답한다는 점에서 영화 ‘Her’의 인공지능인 ‘사만다’를 연상케 한다.

구글이 2023년 12월에 발표한 AI 모델인 ‘제미나이’는 텍스트와 이미지, 음성과 동영상, 코드 등 여러 종류의 데이터를 동시에 인식하고 처리할 수 있다. 구글이 2024년 2월 공개한 ‘제미나이 1.5프로’는 한 번에 400페이지가 넘는 방대한 문서, 1시간 분량의 동영상, 11시간 분량의 음성파일, 70만 단어가 넘는 텍스트를 한 번에 다룰 수 있다. 영화의 구성, 사건, 놓치기 쉬운 세부사항까지 분석 가능하다. 최근 구글이 데모 버전으로 선보인 ‘골프 위드 제미나이’도 눈길을 끈다. 이는 경기 장면을 카메라로 촬영하고 구글 클라우드로 업로드하면 AI가 경기 상황을 분석해 아나운서처럼 중계하는 서비스로, 마치 인간이 중계하는 듯 정교하다는 평가를 받았다.

오픈AI가 2024년 2월 공개한 동영상 생성형AI ‘소라(Sora)’도 멀티모달 AI다. 소라는 텍스트를 입력하면 이미지나 동영상을 생성하는 기능을 갖췄다. 여러 캐릭터와 특정 유형의 동작, 복잡한 장면 등을 구현할 수 있으며 최대 1분 길이의 동영상을 제작할 수 있다. 소라의 결과물은 고화질 카메라로 직접 촬영한 것처럼 정교해 실사와 구분하기 어려운 수준이다. 소라는 아직 일부 전문가들에게만 공개된 상황이며, 일반인은 이르면 올해 하반기에 이용할 수 있을 것으로 보인다.

멀티모달 AI…초개인화 서비스 발전을 이끌 것

멀티모달 AI가 발전하면 우리에게 여러 이점도 있겠지만, 적지않은 문제점도 예상된다. 자칫하면 보이스피싱, 딥페이크, 가짜뉴스 등에 악용될 우려가 있고, 인간의 일자리를 침해할 우려도 있다. <이미지=이미지투데이>

멀티모달 AI는 인간이 하고 싶은 일을 더욱 잘할 수 있도록 조력자 역할을 담당할 전망이다. 예를 들어 최근 고객센터에서 텍스트 기반의 챗봇을 많이 사용하는데, 고객 입장에서는 자신이 원하는 답변을 제대로 얻지 못한다는 불만이 많다. 만약 고객센터에 멀티모달 AI를 적용한다면, 고객의 감정과 상황을 보다 제대로 파악해 적절하게 반응할 수 있다. 멀티모달 AI를 시각 및 청각 장애인을 위한 제품에 접목한다면, 주변의 교통상황을 안내하거나 실시간으로 자막을 제공할 수도 있다.

멀티모달 AI의 발전은 ‘초개인화’ 서비스의 고도화를 견인할 수 있다. 멀티모달 AI를 통해 사용자가 처한 상황을 보다 깊이 분석해, 개개인에게 꼭 맞는 해결책을 제공할 수 있기 때문이다. 예를 들어 사용자가 남긴 텍스트를 통해 사용자의 관심사와 감정 상태, 선호도를 분석하고, 이미지와 동영상을 분석해 사용자의 활동을 이해하고, 음성 분석으로 사용자의 의도와 감정상태를 파악할 수 있다. 다양한 데이터를 기반으로 사용자의 의도를 정확하게 파악한다면 사용자 경험을 크게 개선할 수 있을 것이다.

가짜뉴스, 저작권, 일자리 감소…넘어야 할 산 많아

멀티모달 AI의 발전은 우리에게 이점을 가져다 주겠지만, 반대로 대비해야 할 것도 많다. 멀티모달 AI를 이용하면 다양한 콘텐츠를 쉽고 정교하게 만들 수 있는데, 자칫하면 보이스피싱, 딥페이크, 가짜뉴스 등에 악용될 우려도 있다. 물론 텍스트로 잘못된 내용을 만들어내는 것도 문제지만 이미지와 동영상, 음성이 날조돼 퍼진다면 파급력이 더욱 클 수 있다.

AI가 잘못된 내용을 그럴싸하게 생성하는 ‘할루시네이션(Hallucination, 환각)’ 문제도 여전히 존재한다. AI는 인간과는 달리 사실과 거짓 여부를 판별하는 능력이 없다. AI가 학습하는 데이터에는 간혹 잘못된 내용도 섞여 있는데, 방대한 양의 데이터에서 사실과 다른 내용을 일일이 완벽하게 걸러내고 학습을 시키기란 현실적으로 어렵다. 텍스트뿐만 아니라 이미지, 동영상, 음성 콘텐츠로 잘못된 내용이 퍼진다면 사실을 바로잡기가 어려울 것이다.

AI가 학습하는 데이터의 저작권 문제도 뒤따른다. AI의 성능을 고도화하려면 수많은 데이터를 학습해야 하는데, 최근에는 학습용으로 쓸 양질의 데이터가 부족한 상황이다. 텍스트 데이터도 턱없이 부족하지만, 동영상의 경우 더욱 부족할 수밖에 없다. 인류가 문자를 쓰고 그림을 그린 것은 비교적 오래됐지만 영상물을 만든 지는 상대적으로 얼마 되지 않았기에 그렇다. 그런데 오픈AI는 소라(Sora)의 훈련에 유튜브 콘텐츠를 무단으로 학습했다는 의혹을 갖고 있다. 향후 멀티모달 AI를 개발하는 기업과 콘텐츠 기업 및 창작자 간의 갈등이 점점 심화될 수도 있다.