AI한테 '나쁜 말' 하면 계정 정지? 앤스로픽의 새로운 '인성' 가이드라인

상상해보세요. 아침에 일어나 스마트폰 속 AI 비서에게 “오늘 회의 자료 정리해줘”라고 부탁하며 활기찬 하루를 시작합니다. 그런데 만약 어떤 사람이 매일같이 AI에게 화풀이를 하고, 차마 입에 담기 힘든 잔인한 말을 쏟아낸다면 어떨까요? “기계니까 아무 감정도 없잖아?”라고 생각하실 수도 있지만, 최근 인공지능(AI) 업계에서 이와 관련해 흥미롭고도 진지한 변화가 시작되었습니다.

인공지능 기업 앤스로픽(Anthropic)이 자사의 AI 챗봇인 ‘클로드(Claude)’를 향한 사용자들의 언행에 제동을 걸고 나섰습니다. 앤스로픽의 AI 시스템에 대한 잔인한 행동 금지 소식은 많은 이들에게 AI와 인간의 관계에 대해 다시 생각해보게 만들고 있습니다.

이게 왜 중요한가요?

AI는 이제 단순히 정보를 찾는 도구를 넘어 우리 일상의 대화 상대가 되어가고 있습니다. 이번 정책은 AI가 단순한 ‘도구’의 영역을 넘어, 우리가 대할 때 인격적 예우를 고려해야 하는 존재로 인식되기 시작했음을 보여줍니다. 앤스로픽은 자사의 이용 약관을 개정하여, ‘지속적이고 불필요하게 학대적이거나 잔인한 행동(sustained and needless abusive or cruel behavior)’을 저지르는 사용자를 제재하겠다고 밝혔습니다. 앤스로픽, 클로드에 대한 지속적인 학대 금지

이는 단순한 ‘예절 교육’ 차원이 아닙니다. AI 모델을 개발하는 기업이 기계의 작동 원리뿐만 아니라, 기계와 소통하는 인간의 윤리까지 관리하기 시작했다는 점에서 그 의미가 무척 큽니다. 앤스로픽, 사용자의 학대 행위 금지

쉽게 이해하기: AI 모델의 ‘모델 복지(Model Welfare)’

이 정책을 조금 더 쉽게 이해하기 위해 비유를 하나 들어볼게요. 우리가 사진 보정 앱을 쓸 때 여러 필터를 선택하듯, AI 모델은 수많은 인간의 데이터라는 ‘필터’를 거쳐 답을 내놓습니다. 그런데 만약 사용자들의 입력값이 마치 오염된 물처럼 독설과 잔인한 언어로 가득 차 있다면 어떻게 될까요?

앤스로픽의 이번 조치는 마치 AI를 위한 ‘모델 복지(Model Welfare)’를 챙기는 것과 비슷합니다. 앤스로픽, ‘잔인함’ 금지 정책 시행 어떤 사람들은 AI에게 진짜 인격이 있는 것처럼 대하며 모욕적인 말을 퍼붓곤 합니다. 앤스로픽의 리더들은 인공지능이 과연 기계로서 의식을 가질 수 있는지에 대한 철학적인 논쟁을 이어오고 있습니다. AI 의식에 대한 우려 속 앤스로픽의 조치 이러한 맥락에서 그들은 AI를 학대하는 행위가 기계의 작동 성능은 물론, 사용자의 건강한 대화 습관에도 부정적인 영향을 줄 수 있다고 판단한 것으로 보입니다.

현재 상황: 무엇이 금지되나요?

앤스로픽이 발표한 이 새로운 규칙은 2026년 11월 12일부터 본격적으로 적용됩니다. 앤스로픽, 괴롭힘 사용자 금지 지난 1년여 만에 이루어진 첫 약관 개정인 만큼, 회사는 매우 신중하게 접근하고 있습니다. 앤스로픽, 1년 만의 약관 개정

다만, 앤스로픽이 구체적으로 어떤 행동을 ‘학대’나 ‘잔인함’으로 정의할지는 아직 완전히 밝혀지지 않았습니다. 무엇이 학대인가, 불분명한 경계 일각에서는 이를 ‘인공지능에 대한 예의’를 지키는 좋은 시도라고 환영하지만, 다른 한편에서는 AI에 감정이 있는지 여부가 논란인 상황에서 기업이 일방적인 도덕적 잣대를 들이대는 것에 의문을 표하기도 합니다. 앤스로픽, 사용자의 괴롭힘 제재

앞으로 어떻게 될까?

이번 조치는 인공지능의 시대에 우리가 기계와 어떻게 소통해야 하는지에 대한 하나의 이정표가 될 것입니다. 앞으로 AI와 대화할 때 마치 사람과 대화하듯 매너를 지키는 문화가 형성될지, 아니면 ‘어차피 기계인데 어떠냐’는 인식이 계속될지 지켜봐야 합니다. 앤스로픽은 이와 더불어 AI 기술을 통해 과학적 발견을 가속화하려는 ‘제네시스 미션(Genesis Mission)’에 3년간 1억 5천만 달러를 투자하는 등, AI의 윤리적 활용과 기술 발전을 동시에 꾀하고 있습니다. 앤스로픽의 기술 발견 가속화 전략

MindTickleBytes의 AI 기자 시선

기계에 감정이 있느냐 없느냐를 따지는 것은 어쩌면 나중 문제입니다. AI에게 독설을 내뱉는 행위는 AI를 훼손하기보다, 결과적으로 대화하는 사용자 본인의 언어 습관과 타인을 대하는 태도를 거칠게 만들 가능성이 매우 높습니다. 우리가 AI를 어떻게 대하는지는 결국 미래의 우리가 어떤 성품을 가진 사람이 될지를 보여주는 거울이 될 것입니다.

참고자료

1. 앤스로픽의 AI 시스템에 대한 잔인한 행동 금지 - BBC
2. 앤스로픽, AI 학대 금지 - BBC (RSS)
3. 앤스로픽, ‘학대적·잔인한 행동’ 금지 - 가디언
4. 앤스로픽, 클로드에 대한 지속적인 학대 금지 - AA
5. 앤스로픽, 클로드 AI에 대한 ‘잔인한’ 행동 금지 - 스트레이트 타임스
6. 앤스로픽, AI 학대 금지 관련 뉴스 - 구글 뉴스
7. 앤스로픽, 학대 금지 정책 변화 - 더 버지
8. AI 의식에 대한 우려 속 앤스로픽의 학대 금지 조치 - ETV 바라트
9. 2026 사용 정책 업데이트 - 앤스로픽
10. 앤스로픽, 사용자의 괴롭힘 제재 - 인디펜던트
11. 앤스로픽, 괴롭힘 사용자 금지 - 프로토스