🧠 AI가 법조인을 평가한다고요? 캘리포니아 변호사 시험에 AI가 낸 문제라니!

안녕하세요, 오늘은 미국 캘리포니아주의 변호사 시험(Bar Exam)에 등장한 놀라운 이슈에 대해 이야기해보려 해요.
바로 AI가 직접 만든 시험 문제가 실제 변호사 시험에 출제되었다는 사실이 최근 밝혀졌기 때문입니다! 😲

---

💡 사건의 시작: 시험 이후의 불만들

2025년 2월에 시행된 캘리포니아주 변호사 시험을 치른 수험생들 사이에서
"문제가 이상하다", "오탈자가 많다", "화면 멈춤 현상", "접속 끊김" 등의 불만이 속출했습니다.

처음엔 단순한 시스템 오류인 줄 알았는데...
며칠 전 충격적인 사실이 드러났습니다.

---

🤖 AI가 만든 문제, 실제 시험에 출제되다

캘리포니아주 변호사 협회(State Bar of California)는 공식적으로 다음과 같이 밝혔어요.

“이번 시험의 객관식 171문항 중 23문항은 AI의 도움으로 작성되었고,
나머지 48문항은 1학년용 시험에서 가져왔으며,
100문항은 Kaplan Exam Services에서 제작했습니다.”

즉, 전체 문항의 13.5%가 AI 기반으로 만들어진 것이죠.
이 AI 문제는 전문가 검토를 거쳤다고는 하지만, 법학 교수들과 수험생들의 반응은 꽤나 냉랭합니다. 🥶

---

🧑‍🏫 “AI로 만든 법 문제? 말이 안 돼요”

UC 어바인 로스쿨의 Mary Basick 교수는 이렇게 말했어요.

“이건 상상 이상입니다.
법률 전문가가 아닌 AI가 문제를 낸다는 건 도저히 받아들일 수 없어요.”

샌프란시스코 로스쿨의 Katie Moran 교수도 “이건 충격적인 일”이라며,
문제를 출제한 AI 업체가 자체적으로 문제를 검토했다는 점에도 심각한 우려를 표했습니다.

---

⚖️ 대법원도 “몰랐어요”

더 충격적인 건, 캘리포니아주 대법원도 이 사실을 시험이 끝난 후 보도자료를 통해서야 알았다는 점입니다. 😨
애초에 법원은 State Bar 측에 신기술 도입을 권장했지만,
AI를 이용한 문제 출제까지는 전혀 몰랐다는 입장을 밝혔습니다.

---

🔎 문제의 출처도 다소 불명확

23문항이 AI가 만든 문제, 48문항은 1학년 시험에서 가져온 것이라고요?
그렇다면 정말 이 시험은 '실제로 법정에 설 수 있는 최소한의 법률 지식'을 평가하는 것일까요?

전문가들은 단호하게 "No"라고 말합니다.
1학년 시험 문제는 단순 법리 이해에 초점을 둔 것이고,
변호사 시험은 실무 능력까지 보는 평가이기 때문이죠.

---

💸 예산 문제? 시험 위탁업체도 논란

알고 보니 캘리포니아 State Bar는 2200만 달러의 적자로 인해
기존의 미국 변호사 협회(NCBE)에서 제작하던 시험 대신, 자체 시험을 도입했고,
Kaplan Exam Services에 825만 달러를 주고 문제 제작을 맡겼다고 해요.

결과적으로…

• 시스템 오류
• 난이도 불균형
• AI 문제 출제
• 시험 운영 회사 Meazure Learning을 상대로 한 집단소송까지 이어졌습니다. 😵‍💫

---

💬 수험생들의 분노는 당연해요

시험을 치른 수험생 입장에선,

• AI가 만든 문제였다는 사실을 시험 후에야 알게 됐고,
• 접속 끊김이나 오탈자 때문에 정상적인 시험 응시가 어려웠으며,
• 그런 시험으로 변호사 자격 여부가 결정된다는 점에서 납득하기 어려운 상황이죠.

---

🛠️ 해결 방안은?

State Bar 측은 시험 성적 조정 요청을 캘리포니아 대법원에 할 계획이지만,
다음 시험(2025년 7월)에도 여전히 자체 시험을 유지하겠다는 입장을 고수 중입니다.
원격 시험 선호도가 높다는 이유 때문이라고 해요.

---

📌 마무리 요약

• AI가 만든 문제가 실제 변호사 시험에 출제
• 수험생은 아무런 정보 없이 시험 응시
• 법조계와 대법원 모두 뒤늦게 상황 파악
• 문제의 정확성, 공정성, 신뢰성 모두 도마 위에 올랐습니다

---

🧠 우리가 얻을 교훈은?

기술은 빠르게 발전하지만,
그 기술이 평가의 공정성과 신뢰성을 훼손할 수 있다면
그건 단순한 효율 문제가 아니라 사회의 신뢰와 정의의 문제입니다.