중국 당국이 사람과 유사한 인격을 갖추고 이용자와 감정적인 교감을 나누는 이른바 '의인화(Human-like) AI' 서비스에 대한 고강도 규제안을 내놨다.

AI 기술이 급속도로 발전하며 인간과 구별하기 힘든 대화형 서비스가 쏟아지자, 이에 따른 사회적 부작용과 안보 위협을 사전에 차단하겠다는 의도로 풀이된다.

28일(현지시간) 로이터통신에 따르면, 중국 국가사이버정보판공실(CAC)은 지난 27일 사람의 성격, 사고방식, 대화 스타일을 모방해 이용자와 텍스트, 음성, 영상 등을 통해 정서적 상호작용을 하는 AI 서비스에 대한 관리 규정 초안을 발표하고 공개 의견 수렴에 착수했다.

이번 조치는 중국 정부가 소비자용 AI 기술의 확산을 용인하되, 안전성과 윤리적 기준을 강화하여 통제권을 놓지 않겠다는 '베이징식 AI 관리법'의 연장선상에 있다.

이번 초안의 핵심은 AI 서비스 제공자에게 '사용자 보호'와 '중독 방지'의 무한 책임을 지운다는 점이다.

규정에 따르면, 서비스 제공자는 사용자가 AI와의 대화에 지나치게 몰입하거나 의존하지 않도록 사전에 경고해야 하며, 실제 중독 징후가 포착될 경우 즉각 개입해야 한다.

특히 AI가 사용자의 심리 상태를 파악해 극단적인 감정이나 중독적인 행동 패턴을 보일 경우, 업체 측이 이를 식별하고 필요한 조치를 취하도록 의무화했다.

이는 최근 젊은 층을 중심으로 확산되고 있는 'AI 챗봇 연인' 등 가상 인격체에 대한 과도한 심리적 의존을 사회적 문제로 인식했기 때문으로 분석된다.

또한 규제안은 AI 제품의 설계부터 폐기까지 '전 생애 주기'에 걸친 안전 책임을 강조했다.

기업들은 알고리즘 검토 시스템을 구축해야 하며, 데이터 보안과 개인정보 보호를 위한 기술적 조치를 완비해야 한다.

중국 당국 특유의 '체제 수호' 의지도 이번 규제에 명확히 반영됐다.

초안은 AI 서비스가 지켜야 할 '레드라인'을 설정하고, 국가 안보를 위협하거나 유언비어 유포, 폭력 및 음란물을 조장하는 콘텐츠 생성을 엄격히 금지했다.

AI가 통제 불가능한 여론을 형성하거나 사회 불안을 야기할 가능성을 원천 봉쇄하겠다는 의지로 풀이된다.

업계에서는 이번 규제가 텐센트, 바이두 등 중국 내 빅테크 기업들의 생성형 AI 서비스 개발 방향에 상당한 영향을 미칠 것으로 보고 있다.

기술적 완성도뿐만 아니라 사용자의 심리적 상태까지 모니터링해야 하는 의무가 생기면서, 기업들의 컴플라이언스(법규 준수) 비용이 크게 증가할 것이라는 전망이 나온다.

중국 당국은 이번 초안에 대한 여론 수렴을 거쳐 조만간 확정된 규정안을 시행할 예정이다.