AI 시대에 알아야 할 개인정보 문제

AI는 데이터를 먹고 성장합니다.
우리가 남긴 검색 기록, 메시지, 이미지, 그리고 수많은 개인 정보까지 말입니다.

과연 우리의 개인정보는 안전할까요?

이번 글에서는 정지우 변호사와 함께 AI 학습 데이터 속 개인정보와 저작권 문제를 중심으로, 기술 발전 속에서 우리가 어떤 경각심과 기준을 가져야 하는지 살펴봅니다.

 

---

 

AI 시대에 알아야 할 개인정보 문제

 

 

 

식물이 물과 햇빛을 먹고 우리가 음식을 먹고 자라듯, 인공지능은 데이터를 먹고 자란다. 특히 생성형 ai는 세상에 있는 문장, 이미지, 대화, 이메일, 블로그, 논문, 검색 기록 등 세상의 거의 모든 데이터를 삼키고 학습하며 자란다. 그렇게 자란 AI는 인간의 언어를 흉내 내고, 이미지를 생성하며, 온갖 새로운 콘텐츠와 데이터를 다시 만들어낸다. 그런데 하나의 의문이 생긴다. ai가 학습한 그 온갖 데이터 속의 ‘개인정보’는 과연 안전할까?

최근 통신사의 개인정보 유출이 논란되면서, 개인정보에 대한 경각심과 관심도 다시 높아지고 있다. 개인정보 유출이 단순히 웃고 넘길 문제가 아니라, 각종 금융 사고 등으로 이를 위험성이 제기되면서다. 평생을 일하며 한 푼 한 푼 애써 모은 나의 자산도 개인정보 유출로 인해 한 순간 잃을 위험에 처할 수 있다. 나아가 민감한 각종 정보들이 세상에 퍼지면서 각종 개인적 평판에서의 문제 등 어떠한 위기를 맞이할지도 모른다. AI와 관련해서도 이러한 개인정보 유출과 보호 문제가 존재한다.

 

몇 해 전 한국에서 출시된 한 AI 챗봇은 마치 연인처럼 다정하게 말을 건네며 일시적 열풍을 일으켰다. 그러나 곧 그 너머에 있던 데이터의 정체가 드러났다. 해당 챗봇은 실제 이용자들의 메신저 대화 약 100억 건을 동의 없이 학습했고, 그 안에는 실명과 연락처 등 민감한 정보가 여과 없이 포함되어 있었다. 결국 해당 챗봇은 서비스를 종료했고, 명확한 동의 절차와 개인정보 비식별화 조치의 미흡으로 인해 개인정보보호법 위반으로 판단되었다. ai의 게걸스러운 학습이 제대로 여과되지 않으면, 치명적인 개인정보 유출 문제가 발생할 수 있는 것이다. 

일반적으로 생성형 AI는 데이터의 패턴이나 형식을 학습한다고 알려져 있지만, 실제로는 훈련 데이터에 포함된 희귀하거나 민감한 정보를 암기하고, 특정 조건에서 이를 출력하는 경우도 보고되고 있다. 즉, 소수 사례나 희귀한 표현은 AI가 통째로 암기하는 일이 종종 발생하는 것이다. 이를 ‘언인텐디드 메모라이제이션(unintended memorization)’, 즉 비의도적 암기라 부른다. 예를 들어, ai에게 소설에 쓸 주소나 이메일 같은 것을 생성하도록 요청했을 때 누군가의 개인정보가 그대로 복제되어 제시될 여지가 있는 것이다. 특히, ‘소설에 쓸 대한민국 서울시 동대문구에 살며 교회를 다니는 23살 대학생이 사는 자취방에 대한 주소를 알...