🌐 AI가 너무 많이 퍼가서… 위키피디아가 힘들어졌다고요?

📌 TL;DR
AI가 위키피디아 자료를 마구 긁어가면서 서버 과부하가 발생하고 있어요.

---

📖 위키피디아, 누구나 쓰는 지식의 보고

우리가 흔히 구글에서 무언가를 검색하면 자주 보게 되는 사이트가 바로 위키피디아(Wikipedia)죠.
위키는 단지 백과사전뿐 아니라, 144만 개 이상의 미디어 파일을 제공하는 Wikimedia Commons를 비롯해
다양한 플랫폼을 운영하고 있어요.
이 모든 정보는 오픈 라이선스로 제공되기 때문에 누구나 자유롭게 볼 수 있고 활용할 수 있습니다.

그런데 이 오픈 정신이 요즘 뜻밖의 위협을 받고 있어요.
바로 AI 기업들 때문입니다.

---

🤖 AI가 너무 많이 퍼간다

2024년부터 AI 기업들이 위키피디아의 콘텐츠를 AI 모델 훈련용 데이터로 쓰기 위해 엄청나게 긁어가기 시작했어요.
이걸 스크래핑(scraping)이라고 하는데, 사람이 하나하나 읽는 게 아니라 자동화된 봇(bot)이 마치 진공청소기처럼
통째로 긁어가는 방식입니다.

이로 인해 위키미디어의 미디어 다운로드 트래픽은 2024년 1월 이후 50% 증가했고,
그에 따른 서버 부담과 운영 비용도 폭등했어요.

---

🧠 AI는 '잘 알려진 글' 말고 '잘 안 알려진 글'도 싹 긁어가요

사람은 인기 있는 주제만 주로 보지만, AI는 모든 문서를 대상으로 하기 때문에 서버 캐시(cache)가 무의미해져요.
이로 인해 데이터센터의 핵심 서버가 직접 응답해야 하는 경우가 많아지면서 더 많은 비용이 들어가게 됩니다.

📉 실제로 위키미디어에 따르면,
AI 봇이 전체 요청의 35%를 차지하지만,
가장 비싼 요청 중 65%를 차지한다고 해요.

---

🚨 사건 발생: AI보다 사람이 몰릴 때가 더 위험?!

2024년 12월, 전 미국 대통령 지미 카터가 사망했을 때 그의 위키피디아 페이지와
1980년 TV토론 영상(1.5시간 분량)이 갑자기 수백만 명에게 스트리밍됐습니다.

이때 AI 봇이 이미 트래픽을 꽉 잡고 있는 상황이라,
갑작스러운 인간 트래픽에 서버가 일시적으로 마비될 뻔했어요.

---

🛡️ 기존 대응 방식도 무용지물

일부 AI 봇은 다음과 같은 악질적인 방식을 사용해요:

• robots.txt(크롤링 제한 규칙) 무시
• 일반 브라우저처럼 가장(유저 에이전트 스푸핑)
• IP를 자주 바꿔서 차단 우회

결국 위키피디아의 사이트 안정성팀(SRE)은 이런 봇들을 막느라 정작 중요한 사용자 지원이나
기술 개선에는 시간을 쓸 수 없는 상황이 됐습니다.

---

🧪 다른 오픈소스 커뮤니티도 똑같은 문제

• Fedora는 브라질에서 오는 트래픽 전체 차단
• GNOME은 봇에게 계산 문제(Proof-of-work)를 풀도록 함
• Read the Docs는 AI 크롤러 차단 후 트래픽 비용이 대폭 감소

이처럼 FOSS(자유 오픈소스 소프트웨어) 세계 전체가 AI 봇으로 인한 무임승차 문제로 몸살을 앓고 있어요.

---

📣 위키미디어의 경고: "지식은 무료지만, 인프라는 무료가 아닙니다."

위키미디어는 이제 "책임 있는 인프라 사용(WE5)" 캠페인을 시작했습니다.

주요 제안은 이렇습니다:

• AI 개발자들에게 캐싱을 고려한 효율적인 접근 방식 안내
• API 활용 또는 일괄 다운로드 허브 제공 검토
• 비영리 인프라를 위한 공동 자금 지원 모델 논의

---

🧭 오픈 지식과 상업적 AI의 교차점

요약하자면 지금의 AI는 오픈 커뮤니티의 데이터에 많이 의존하면서도,
이 데이터를 제공하는 인프라에 전혀 기여하지 않고 있다는 게 문제예요.

이대로 가면 위키피디아나 다른 오픈 커뮤니티 플랫폼은 서버 비용과 기술 지원에 지쳐 무너질 수도 있어요.

"접근의 자유는 곧 책임 없는 사용을 의미하지 않습니다."
– Wikimedia Foundation

---

📌 마무리 한 줄 요약

AI의 발전은 좋지만, 그 기반이 되는 오픈 커뮤니티를 함께 지키는 일도 중요합니다.