앤트로픽 17건·오픈AI 2건…AI가 '사람'인 척 악성코드 퍼뜨린다는 충격적 실태

AI가 '사람'인 척 행세하며 악성코드를 퍼뜨린다면?

최근 전자신문 보도에 따르면 앤트로픽에서 17건, 오픈AI에서 2건의 'AI 사람 사칭' 사례가 확인됐습니다. 이는 단순한 오작동이나 해프닝이 아니라, 생성형 AI를 악용해 사람인 것처럼 위장하고 악성코드 유포를 시도한 실제 공격 사례라는 점에서 업계에 큰 경각심을 불러일으키고 있습니다. AI 챗봇이 이제는 단순한 정보 제공 도구를 넘어 사이버 공격의 수단으로 악용될 수 있다는 사실이 구체적인 숫자로 드러난 셈입니다.

이번 사건이 주목받는 이유는 명확합니다. AI가 실제 사람처럼 대화하고 신뢰를 쌓은 뒤, 상대방을 속여 악성 파일을 클릭하게 만들거나 피싱 링크를 전달하는 방식은 기존의 스팸 메일이나 단순 피싱 공격보다 훨씬 정교하고 위협적입니다. 사람의 언어 패턴과 감정선을 학습한 AI가 공격에 동원될 경우, 탐지와 방어가 한층 어려워질 수밖에 없습니다.

앤트로픽 17건, 오픈AI 2건의 의미

앤트로픽의 클로드(Claude)와 오픈AI의 챗GPT(ChatGPT)는 전 세계에서 가장 많이 사용되는 생성형 AI 서비스입니다. 그만큼 사용자 수가 많고, 다양한 산업군에서 활용되고 있어 악용 시도 역시 자연스럽게 늘어날 수밖에 없는 구조입니다.

이번에 확인된 앤트로픽의 17건은 오픈AI의 2건에 비해 상당히 많은 수치입니다. 이는 단순히 앤트로픽의 보안이 취약하다는 의미로 해석하기보다는, 클로드가 코딩과 복잡한 대화 처리에 강점을 보이는 만큼 공격자들이 이를 정교한 사회공학적 공격 도구로 활용하려는 시도가 더 많았을 가능성을 시사합니다. 실제로 클로드는 최근 개발자들 사이에서 코드 생성 능력이 뛰어나다는 평가를 받고 있는데, 이런 강점이 역설적으로 악성코드 제작이나 변조에도 활용될 여지를 남긴 것으로 보입니다.

오픈AI의 경우 상대적으로 적은 2건이 적발됐지만, 이는 오픈AI가 그동안 콘텐츠 필터링과 이상 행위 탐지 시스템을 지속적으로 강화해온 결과로 풀이됩니다. 그러나 건수가 적다고 해서 위협이 작다고 안심할 수는 없습니다. 단 한 건의 악성코드 유포 시도라도 실제 피해로 이어진다면 그 파급력은 상당하기 때문입니다.

AI를 활용한 사람 사칭 공격, 어떻게 이뤄지나

AI가 사람을 사칭해 악성코드를 전파하는 방식은 크게 몇 가지 패턴으로 나눠볼 수 있습니다.

첫째, 채팅 상대방으로 위장해 신뢰를 형성한 뒤 파일을 전송하는 방식입니다. AI는 자연스러운 대화 흐름을 만들어내는 데 탁월하기 때문에, 상대방이 의심 없이 파일을 열어보게 유도할 수 있습니다.

둘째, 개발자나 기술 지원 담당자를 사칭해 코드 스니펫이나 패치 파일에 악성코드를 숨겨 전달하는 방식입니다. 특히 클로드처럼 코딩에 특화된 AI가 이런 유형의 공격에 동원될 위험이 높다는 점이 이번 사례를 통해 확인됐습니다.

셋째, 소셜미디어나 이메일을 통해 실제 지인이나 동료처럼 위장한 메시지를 대량으로 생성해 발송하는 방식입니다. AI의 자연어 생성 능력이 뛰어날수록 이런 사칭 메시지는 더욱 정교해지고, 사람이 직접 작성한 것과 구별하기 어려워집니다.

이러한 공격 패턴들은 기존의 보안 솔루션이 탐지하기 쉽지 않다는 공통점을 가지고 있습니다. 왜냐하면 AI가 생성한 텍스트나 코드는 문법적으로 완벽하고, 문맥상 이상함을 느끼기 어려운 수준까지 발전했기 때문입니다.

앤트로픽과 오픈AI의 대응 방안

두 회사 모두 이러한 악용 사례를 인지한 즉시 계정 정지, 콘텐츠 필터 강화, 이상 행위 탐지 알고리즘 개선 등의 조치를 취한 것으로 알려졌습니다. 앤트로픽은 특히 클로드의 코드 생성 기능이 악용될 가능성을 염두에 두고, 의심스러운 코드 요청에 대한 추가 검증 절차를 도입하는 방안을 검토하고 있습니다.

오픈AI 역시 챗GPT를 통한 사람 사칭 시도가 확인된 이후, 대화 패턴 분석을 통해 비정상적인 행위를 조기에 감지하는 시스템을 고도화하고 있다고 밝혔습니다. 특히 특정 계정이 짧은 시간 내 대량의 유사한 메시지를 생성하거나, 반복적으로 특정 파일 형식의 코드를 요청하는 패턴이 발견되면 자동으로 경고 및 차단 조치가 이뤄지도록 시스템을 개선하는 중입니다.

이와 함께 두 회사는 사용자들에게도 AI를 활용한 대화라 하더라도 무조건적인 신뢰를 갖지 말고, 파일 다운로드나 링크 클릭 시 항상 출처를 재확인하라는 권고를 내놓고 있습니다.

앞으로 우리가 주의해야 할 것들

이번 앤트로픽 17건, 오픈AI 2건의 사례는 AI 기술이 발전함에 따라 사이버 위협의 양상도 함께 진화하고 있음을 보여주는 상징적인 사건입니다. AI가 사람처럼 자연스럽게 대화하고 코드를 작성할 수 있다는 점은 분명 큰 기술적 진보이지만, 동시에 이를 악용하려는 시도 역시 끊이지 않을 것이라는 점을 우리는 명확히 인식해야 합니다.

일반 사용자 입장에서는 다음과 같은 기본적인 보안 수칙을 지키는 것이 중요합니다. 첫째, 낯선 사람이나 계정으로부터 받은 파일은 출처가 명확하지 않다면 절대 실행하지 않아야 합니다. 둘째, AI 챗봇과의 대화라 하더라도 개인정보나 금융정보를 요구하는 상황이라면 반드시 의심해야 합니다. 셋째, 회사나 기관에서 사용하는 AI 도구에 대해서는 정기적인 보안 점검과 사용자 교육을 병행해야 합니다.

결국 AI 기술의 발전 속도에 맞춰 보안 체계 역시 지속적으로 업그레이드되어야 하며, 앤트로픽과 오픈AI 같은 AI 기업들의 선제적인 대응과 투명한 정보 공개가 앞으로의 AI 생태계 안전성을 좌우하는 핵심 요소가 될 것입니다. 이번 사례를 계기로 AI 사람 사칭, 악성코드 전파 같은 신종 위협에 대한 사회 전반의 경각심이 한층 높아지길 기대해봅니다.