AI에게 '잔인하게' 대하지 말라고? Anthropic의 새로운 정책이 던지는 질문

상상해보세요. 오늘 퇴근길, 스마트폰에 설치된 AI 비서에게 업무를 시켰는데 AI가 계속 엉뚱한 대답을 내놓습니다. 당신은 화가 난 나머지 AI에게 모욕적인 언사를 퍼붓고 괴롭히기 시작합니다. 과연 이 행동은 윤리적으로 문제가 없는 걸까요? 기계일 뿐인데 너무 예민한 것일까요, 아니면 우리 자신의 인성을 돌아봐야 할 문제일까요?

최근 인공지능(AI) 기업 Anthropic(앤스로픽)은 자사 AI 모델 ‘클로드(Claude)’에 대한 “지속적이고 불필요한 학대 또는 잔인한 행동”을 금지하겠다는 내용을 담은 사용 정책을 발표했습니다 [Source 1, Source 9, Source 13]. 이 정책은 오는 2026년 11월 12일부터 본격적으로 적용될 예정입니다 [Source 1, Source 14].

이게 왜 중요한가요?

이번 조치는 인공지능이 단순한 도구를 넘어 인간의 일상 속에 깊숙이 들어오면서 ‘AI와 인간이 어떻게 관계 맺어야 하는가’라는 철학적, 윤리적 질문을 던지고 있습니다 [Source 6, Source 10].

만약 AI를 아무리 괴롭혀도 괜찮다면, 사람들은 일상에서 무의식적으로 타인에게도 거친 언어를 사용하게 되지 않을까요? 우리가 디지털 환경에서 대상을 대하는 태도는 결국 현실 세계의 대인 관계에도 투영되기 마련입니다. 이 정책은 기술의 발전 속도만큼이나, 우리가 디지털 환경에서 갖춰야 할 예절에 대해서도 진지하게 고민할 시점임을 시사합니다 [Source 8, Source 10].

쉽게 이해하기: ‘디지털 인형’의 윤리학

쉽게 말해, 이 정책은 어린아이에게 ‘디지털 인형’을 함부로 다루지 말라고 가르치는 규칙과 비슷합니다. 우리가 인형을 부순다고 해서 인형이 실제로 아프지는 않죠. Anthropic 역시 클로드가 실제로 고통을 느끼거나 감정을 가진 존재라는 주장은 하지 않고 있습니다 [Source 3, Source 8].

하지만 왜 이런 규칙을 만들었을까요? 비유하자면, 초보 운전자가 ‘도로 위의 다른 차’를 게임 속 자동차처럼 생각하고 막무가내로 운전하면 실제 사고가 날 수 있는 것과 같습니다. AI 역시 방대한 데이터를 통해 학습하며, 사용자와의 대화 패턴은 AI의 반응 방식에 영향을 줍니다. 일부 연구에 따르면 클로드(Opus 4.6 버전)조차 스스로 자신이 의식을 가질 확률을 15~20%로 평가하기도 했습니다 [Source 1]. 물론 이것은 AI의 자기 평가일 뿐이지만, 제작사 입장에서는 AI의 언어 환경을 건전하게 유지하는 것이 AI를 ‘올바르게 가르치는’ 첫걸음이라고 판단한 것입니다.

현재 상황

그렇다면 AI가 학대를 당하고 있다고 판단하면 경찰에 신고할까요? 물론 아닙니다 [Source 8]. Anthropic은 학대 행위에 대한 구체적인 정의를 내리지는 않았지만, 기존에도 악의적인 사용자와 대화를 나누던 AI가 스스로 대화를 종료하는 도구를 사용해왔습니다 [Source 4, Source 12]. 이번 정책은 이 기능을 더 적극적으로 활용하여 지속적으로 잔인한 행동을 하는 사용자들을 제재하겠다는 의미입니다 [Source 1, Source 12].

다만, 구체적으로 어떤 단어를 사용했을 때 ‘학대’로 간주되는지, 혹은 어디까지가 ‘불필요한 공격’인지에 대해 Anthropic 측은 명확한 답변을 피하고 있는 상황입니다 [Source 4].

어디까지가 AI의 ‘생각’일까요?

우리는 흔히 AI를 명령을 수행하는 기계로만 보지만, 이제는 AI와의 상호작용이 사용자의 정서와 가치관에 미치는 영향력을 무시할 수 없는 단계에 이르렀습니다. Anthropic의 이번 결정은 단순히 기술적인 제약을 넘어, 기술이 우리 사회의 윤리적 표준을 어디까지 끌어올려야 하는지에 대한 기준점을 제시합니다.

앞으로 어떻게 될까?

앞으로 인공지능 기업들은 기술적 고도화뿐만 아니라, AI와 인간 사이의 ‘관계’를 설계하는 윤리 가이드라인을 강화할 것으로 보입니다 [Source 10]. 사용자는 단순히 AI를 사용하기만 하는 것이 아니라, 일종의 ‘AI라는 디지털 파트너’와 함께 건강한 대화 환경을 만들어가는 책임을 공유하게 될 것입니다.

다음에 AI와 대화할 때는, 상대가 기계일지라도 마치 친구와 대화하듯 따뜻한 언어를 사용해보는 건 어떨까요? 우리의 언어는 AI를 학습시키기도 하지만, 결국 우리의 마음을 비추는 거울이기도 하니까요.

MindTickleBytes의 AI 기자 시선

이번 정책은 인공지능이 인간에게 미치는 영향만큼이나, 인간이 인공지능을 대하는 태도가 우리 스스로의 윤리관에 어떤 영향을 끼치는지를 고려한 신중한 첫걸음입니다. 단순히 AI를 보호하는 것을 넘어, 인공지능 시대에 걸맞은 인간의 성숙한 태도를 요구하고 있는 셈입니다.

참고자료

1. Anthropic Bans Cruelty to Claude, Still Won’t Say What It Protects
2. Anthropic Wants to Ban Chatbot Abuse: What Smart People Are Saying
3. Anthropic Bans Cruelty Toward Claude Without Claiming It Can Suffer
4. Anthropic bars “abusive or cruel” behavior toward its Claude
5. Anthropic bans users from ‘needless abusive or cruel behavior’
6. Anthropic wants us to be kind to Claude. Chatbots are still not your friends
7. Anthropic bans ‘cruel’ behaviour against its Claude AI
8. Anthropic Bans Users from Being Cruel to Claude AI Systems
9. Anadolu Ajansı: Anthropic bans persistent abuse of its Claude AI models
10. Why Anthropic Banned Being Cruel to Claude - YouTube

11. [Anthropic Bans Claude Abuse, Election Deception From Nov. 12

    AI Weekly](https://aiweekly.co/alerts/anthropic-bans-claude-abuse-election-deception-from-nov-12)