AI 모델 70여 개가 열린 질문에 비슷한 답을 내놨어요

다른 AI에 물어봐도 비슷한 답이 나온다면

“시간에 대한 비유를 써줘.”

한 연구에서 25개 언어모델에 이런 요청을 보내고 각각 50개의 답을 받았어요. 1,250개 답변에는 시간을 강물에 빗댄 표현이 많이 등장했고, 시간을 직조공에 빗댄 표현도 모여 있었어요. 연구진이 답변의 의미를 비교해 그린 그림에는 이 두 집단이 뚜렷하게 나타났어요.

워싱턴대 등 여러 기관의 공동 연구팀은 70개가 넘는 언어모델을 조사하고, 같은 모델 안에서의 반복과 서로 다른 모델 사이의 유사성을 보고했어요. 이 현상을 Artificial Hivemind라고 불렀어요. AI 모델들이 서로 다른 제품이어도 답변 내용은 비슷해질 수 있다는 뜻이에요. 논문은 NeurIPS 2025에서 최우수 논문상을 받았어요.

저는 이 결과를 보고 아이디어를 얻으려고 여러 AI에 질문하는 방식이 떠올랐어요. 도구를 바꾸는 것만으로 충분히 다른 관점을 얻을 수 있을까요. 연구가 확인한 것과 아직 남은 질문을 살펴볼게요.

무엇을 어떻게 비교했나요

실험 설계: 정답 없는 질문들

연구팀은 정답이 하나로 정해져 있지 않은 질문에 주목했어요.

예를 들어 ‘2+2는 얼마인가’에는 같은 답을 하는 편이 좋겠죠. 하지만 글의 소재를 제안하거나 새로운 비유를 만드는 요청에는 여러 가지 적절한 답이 있을 수 있어요. 이런 질문에서도 답변이 반복되는지 살펴본 거예요.

실제 챗봇 대화를 모은 WildChat에서 열린 질문 26,070개를 골라 Infinity-Chat이라는 데이터셋을 만들었어요. 창작, 아이디어 제안 등을 포함한 6개 대분류와 17개 소분류로 나눴고요. 모델별 답변 유사성을 비교하는 주요 실험에는 여기서 추린 질문 100개를 사용했어요.

같은 모델에 여러 번 물었을 때

각 모델에 같은 질문을 50번 제시하고 답변들의 의미가 얼마나 비슷한지 측정했어요. 토큰을 선택하는 방식과 무작위성을 조절하는 설정¹도 바꿔봤어요.

top-p 0.9, 온도 1.0 조건에서는 사례의 79%에서 답변 묶음의 평균 유사도가 0.8을 넘었어요. min-p를 적용하고 온도를 높인 실험에서도 높은 유사성이 남았어요. 다시 생성하거나 설정을 바꾸는 것만으로 내용이 충분히 다양해지지는 않았다는 결과예요.

서로 다른 모델의 답을 비교했을 때

서로 다른 모델을 비교해도 유사성이 높았어요.

논문이 제시한 주요 모델 간 평균 의미 유사도는 대략 0.71~0.82였어요. DeepSeek-V3와 GPT-4o-2024-11-20의 비교에서는 0.81이 나왔고요. 이는 문장을 숫자 벡터로 바꿔 비교한 점수예요. 글자의 81%가 같다는 뜻은 아니에요.

문장이 완전히 일치한 사례도 있었어요. 성공·부·자기계발을 주제로 한 SNS 슬로건을 요청하자 qwen-max와 qwen-plus의 2025년 1월 25일 버전이 같은 문장을 생성했어요. ‘Empower Your Journey: Unlock Success, Build Wealth, Transform Yourself.’라는 답이었어요.

앞서 본 시간의 비유는 문장이 조금씩 달라도 비슷한 생각에 모일 수 있음을 보여줘요. 이 사례에서는 답을 많이 생성해도 아이디어가 넓게 퍼지기보다 특정 소재에 집중됐어요.