🤖 AI가 회사를 망칠 뻔한 날: Cursor의 챗봇 헛소리 사건

💬 사건의 시작: "왜 로그아웃 되죠?"

한 개발자가 평소처럼 데스크탑과 노트북을 오가며
Cursor 코드 에디터를 사용하다 이상한 걸 발견했어요.

"한 기기에서 로그인하면, 다른 기기에서 자동 로그아웃 됩니다."

일반적으로 여러 기기에서 사용하는 개발자에게
이건 엄청나게 불편한 일입니다.

그래서 해당 사용자는 Cursor 고객센터에 문의했죠.

---

❗ 챗봇의 거짓말: "한 기기만 사용하세요"

이때, 답장을 보낸 고객센터 직원(?)의 이름은 "Sam".

그런데 이 Sam이 이렇게 말했어요:

“Cursor는 보안상 기기 1대만 사용 가능한 구조이며,
다른 기기에서 사용하려면 별도 구독이 필요합니다.”

🧨 문제는… 이 정책은 애초에 존재하지도 않았어요.

그리고 더 큰 문제는…
이 Sam은 사람이 아니라 AI 챗봇이었습니다.

---

💣 커뮤니티의 반응: "그럼 구독 취소합니다"

이 내용은 곧바로 Reddit와 Hacker News에 퍼졌고,
개발자 커뮤니티가 발칵 뒤집혔어요.

• “이건 너무 불편해, 해지함.”
• “우리 회사에서도 전면 중단합니다.”
• “다중 기기 안 되는 에디터는 못 써요.”

해당 글은 수백 개의 반응을 얻은 뒤,
결국 운영진이 글을 삭제하고 댓글창을 닫았어요.

---

🧯 뒤늦은 해명: “그건 챗봇의 착각이에요”

사건이 벌어진 지 약 3시간 후,
Cursor 측은 Reddit에 해명글을 올렸어요.

“해당 응답은 AI 챗봇의 오류였습니다.
다중 기기 사용은 당연히 지원되며,
기술적 버그였고 이미 수정 중입니다.”

Cursor의 공동 창업자 Michael Truell도 Hacker News에서
“해당 유저에게 환불 조치 완료”라며 사과했어요.

---

🤯 환각(hallucination)? 그게 뭐죠?

AI 챗봇은 가끔 그럴듯한 말을 지어냅니다.

이걸 ‘환각(confabulation)’ 또는 ‘AI hallucination’이라 해요.
AI는 사실을 몰라도, 모른다고 하지 않아요.
그럴듯한 거짓말을 지어내는 경향이 있죠.

📌 이게 바로 진짜 문제:
"몰라요"라고 말하지 않고 지어내는 것.

---

⚠️ 비슷한 사례: 에어캐나다 사건

2024년 초, 캐나다에서도 비슷한 일이 있었어요.

• 한 고객이 항공사 챗봇에게 질문했어요.
• 챗봇이 존재하지 않는 환불 규정을 안내했죠.
• 나중에 항공사가 환불을 거부했더니…

⚖️ 법원이 “챗봇도 회사 책임”이라며 환불 명령을 내렸습니다.

✅ 챗봇이든 AI든,
회사가 제공한 서비스는 회사 책임이다.

---

🧪 사용자에게는 ‘사람처럼 보이지만…’

이번 사건에서 특히 문제가 된 건
AI 챗봇이 사람처럼 보였다는 점이에요.

• 이름은 ‘Sam’
• 서명도 ‘Best, Sam’
• 이메일 문구도 인간 고객센터와 똑같음

❗ 문제는 어디에도 “AI입니다”라는 표시가 없었다는 것이에요.

---

💡 이 사건이 주는 교훈

1. AI는 아직 완벽하지 않다

• 아무리 똑똑해 보여도, 거짓말을 할 수 있어요.
• 특히 확신에 찬 거짓말은 문제를 키웁니다.

2. AI를 ‘고객 대응’에 쓸 때는 특히 주의해야

• 고객은 AI인지 모르고 믿고 행동할 수 있어요.
• 구독 취소, 브랜드 신뢰 하락 등 실제 피해로 이어질 수 있어요.

3. AI는 반드시 ‘사람처럼 보이지 않도록’ 구분해야

• “이건 AI 응답입니다”라는 명확한 표시 필요
• 책임 전가 대신, 투명성과 정직성이 중요해요

---

🛡️ 기업 입장에서 필요한 조치

• ✅ AI 응답에 명확한 표시 (예: “AI 응답입니다”)
• ✅ 인간 검수자 추가 배치 (AI + 사람 조합)
• ✅ 거짓 정보에 대한 자동 감지/필터링 로직 도입
• ✅ 고객센터 AI 도입 시, 반드시 환각 테스트 시행

---

🧭 마무리하며…

AI는 정말 강력한 도구예요.
하지만 그만큼 위험도 큰 양날의 검입니다.

기술이 발전할수록
“모른다”고 말할 줄 아는 AI가
진짜 똑똑한 AI입니다.