🤖 AI가 만들어낸 ‘가짜 라이브러리’, 소프트웨어 공급망 공격의 새로운 출발점

인공지능이 생성한 코드 안에 존재하지 않는 제3자 라이브러리가 무더기로 포함되고 있다는 연구 결과가 나왔습니다.
이 현상은 단순한 오류를 넘어, 악성 패키지를 주입해 공급망 전체를 감염시키는 치명적인 보안 위협으로 작용할 수 있습니다.
이른바 "패키지 환각(package hallucination)" 현상, 지금부터 자세히 살펴보겠습니다.

---

📦 패키지 환각이란?

패키지 환각이란 LLM(대형 언어 모델)이 존재하지 않는 라이브러리나 종속성(dependency)을 코드에 삽입하는 현상을 뜻합니다.
해당 연구는 16개의 대표적인 LLM 모델을 대상으로 총 57만 개 이상의 코드 샘플을 생성한 결과,
무려 44만 개 이상(약 20%)이 존재하지 않는 패키지에 의존하고 있다는 사실을 밝혔습니다.

🤯 이게 왜 위험할까?

이 현상은 단순한 AI의 실수가 아닙니다.
공격자들은 LLM이 반복적으로 '환각'하는 패키지명을 포착해, 그 이름으로 악성 코드를 배포할 수 있습니다.
개발자가 이를 무심코 설치하면?
→ 공격자의 악성코드가 시스템 안에서 실행됩니다.

---

🧬 소프트웨어 공급망 공격, 이렇게 이루어진다

이 공격 방식은 Dependency Confusion(의존성 혼동) 기법의 연장선에 있습니다.

📌 공격 흐름 요약:

1. LLM이 '존재하지 않는 패키지명'을 포함한 코드를 생성
2. 공격자는 그 패키지명을 그대로 사용해 악성 패키지를 공식 저장소(NPM, PyPI 등)에 업로드
3. 개발자는 코드 리뷰 없이 그대로 해당 패키지를 설치
4. 시스템 내부에서 악성 행위 수행 (데이터 탈취, 백도어 설치 등)

2021년에는 이와 비슷한 기법이 실제로 Apple, Microsoft, Tesla와 같은 기업 시스템에서 검증된 바 있습니다.

---

📊 연구 결과 요약

• 총 2,230,000개의 패키지 참조 중 440,445개가 환각
• 이 중 약 46%는 반복적으로 등장 (단순 오류가 아니라 일관된 출력)
• 205,000개 이상의 고유한 패키지명이 존재하지 않음
• Open-source LLM의 환각률: 21.8%
• 상용 모델(예: ChatGPT) 환각률: 5% 내외
• JavaScript 코드에서 더 많은 환각 발생 (21.4%)
  → Python(15.7%) 대비 높음

---

📌 반복되는 환각, 공격자의 ‘기회’로 작용

연구팀은 다음과 같이 강조합니다:

“전체 환각 패키지의 58%는 동일한 이름이 10번 이상 반복되어 출력되었습니다.
이는 무작위 실수가 아니라 모델이 학습한 잘못된 지식이 고정적으로 재현되는 위험한 현상입니다.”

이 말은 곧, 공격자 입장에서 LLM이 자주 언급하는 ‘가짜’ 패키지명을 리스트업해,
해당 이름으로 악성 코드를 배포하면 수많은 개발자가 속을 수 있다는 뜻입니다.

---

🔍 왜 JavaScript가 더 위험할까?

연구에 따르면, JavaScript는:

• 패키지 수가 많음 (Python보다 10배 이상)
• 네이밍 충돌 및 네임스페이스 복잡도가 높음

이러한 구조적 특징 때문에, LLM이 정확한 패키지를 기억하지 못하고 환각할 확률이 높아지는 것으로 보입니다.

---

⚠️ 개발자가 지금 당장 취해야 할 대응책

AI 기반 개발 시대에서 살아남기 위한 보안 체크리스트:

✅ 환각 패키지 대응 가이드

• 🔍 AI가 생성한 코드에서 설치 명령어는 항상 수동 검증
• 📦 PyPI, NPM 등의 저장소에서 패키지 존재 여부를 직접 확인
• 🧠 패키지 설명, 메인테이너, 최근 업데이트 내역까지 체크
• 🧰 허용된 패키지 리스트 기반의 SCA(Software Composition Analysis) 도구 활용
• 🔐 Dependency Confusion 방지용 private registry 구성 고려
• ⚙️ CI/CD 파이프라인에서 자동 검증 추가

---

🧠 결론: LLM의 '정답'을 맹신하지 말자

패키지 환각 현상은 단지 ‘AI의 실수’가 아닙니다.
이는 공급망 보안에 치명적인 결과를 초래할 수 있는 구조적 취약점입니다.

앞으로 수년 내 AI가 전체 코드의 95%를 생성할 것이라는 예측이 맞아 떨어진다면,
이러한 환각은 단순한 문제를 넘어 사이버 공격의 진입로로 작용할 수 있습니다.

🛡️ 결국 AI의 도움은 개발자의 ‘경계심’과 함께할 때에만 안전한 무기가 될 수 있습니다.