ChatGPT 등장, 공개 지식 공유에 미친 영향: 스택 오버플로우 활동 25% 감소

최근 PNAS Nexus에 발표된 연구에 따르면, 대형 언어 모델(LLM)인 ChatGPT의 널리 확산된 사용이 프로그래밍 Q&A 사이트인 스택 오버플로우(Stack Overflow)와 같은 공개 지식 공유 플랫폼의 활동 감소를 유발한 것으로 나타났습니다. 연구는 ChatGPT 출시 후 6개월 동안 스택 오버플로우에서의 사용자 활동이 유사한 플랫폼 대비 25% 감소했다고 밝혔으며, 이는 ChatGPT에 접근할 수 없는 플랫폼들과의 차이를 통해 나타난 결과입니다.

포스팅 활동에 대한 이중차분(Difference-in-Differences) 분석 점선은 2022년 11월 27일, ChatGPT가 출시된 주를 나타냅니다. 출시 후 8주가 지난 시점에서 스택 오버플로우(Stack Overflow) 활동이 지속적으로 감소하는 현상이 관찰되었습니다. 그래프에 나타난 계수는 주별 더미 변수와 스택 오버플로우에서의 포스팅 활동 간의 상호작용을 나타냅니다. ChatGPT의 공개 출시 전 주의 효과를 회귀분석에서 제외하여 그 주의 값을 0으로 정규화했습니다. 보고된 신뢰 구간(CI)은 95% 수준입니다. 이 회귀분석은 플랫폼 고정 효과와 주 고정 효과를 포함합니다.

마리아 델 리오 차노나(Maria del Rio-Chanona), 복잡성 과학 허브(CSH)의 부교수 겸 연구의 제1 저자는 “LLM은 매우 강력하고 가치가 높아, 세상에 큰 영향을 미칩니다. 이 기술의 미래에 대해 생각해 볼 필요가 있습니다.”라고 강조했습니다.

델 리오 차노나는 "사람들이 스택 오버플로우와 같은 공개 플랫폼에서 질문을 올리고 답변을 받는 대신, ChatGPT와 같은 LLM을 통해 개인적으로 질문을 해결하고 있다는 것이 우리의 연구 가설이었습니다. 그러나 LLM은 이러한 공개적이고 공공의 데이터를 기반으로 훈련된다는 점에서, 그들이 대체하고 있는 이 데이터를 지속적으로 어떻게 확보할 것인지가 의문입니다."라고 덧붙였습니다. 델 리오 차노나는 런던 대학교(UCL)의 조교수로 활동하며, 옥스퍼드 마틴 스쿨 산하 신경제사고 연구소 및 케임브리지 대학교의 베넷 공공정책 연구소에서도 연구를 수행하고 있습니다.

스택 오버플로우에 주별로 게시된 포스트의 연장된 시계열 데이터입니다. ChatGPT 출시 시점과 통계 분석에 사용된 데이터의 종료 시점을 각각 강조하였습니다. 2023년 5월 이후로도 포스팅 활동의 감소는 계속되지만, 그 속도는 다소 완만해졌습니다. 이 설명은 ChatGPT 출시 이후 스택 오버플로우의 포스팅 활동이 지속적으로 감소하는 현상을 시계열 분석을 통해 관찰한 결과를 의미합니다.

중요한 시사점

연구팀은 ChatGPT 출시 이후 스택 오버플로우에서 질문과 답변이 점점 줄어드는 현상을 관찰했습니다. 델 리오 차노나는 “이러한 현상은 매우 큰 시사점을 가지고 있습니다. 이는 미래에 AI 모델을 훈련할 수 있는 공개 데이터가 충분하지 않을 수 있다는 것을 의미합니다.”라고 경고했습니다. 본 연구는 뮌헨 루트비히 막시밀리안 대학교의 나제야 라우렌트세바(Nadzeya Laurentsyeva)와 복잡성 과학 허브 및 부다페스트 코르비누스 대학교의 요하네스 왁스(Johannes Wachs)와 공동으로 진행되었습니다.

왁스는 “스택 오버플로우는 인터넷에 연결된 누구나 접근할 수 있는 매우 가치 있는 지식 데이터베이스입니다. 전 세계 사람들이 타인이 게시한 질문과 답변을 통해 학습합니다.”라고 설명했습니다. 아이러니하게도, ChatGPT와 같은 AI 모델조차 스택 오버플로우에 게시된 인간이 생성한 콘텐츠로 훈련됩니다. 그러나 인간이 생성한 콘텐츠가 AI에 의해 대체되면서, 이는 AI 모델을 훈련하는 데 필요한 공공 데이터의 양을 감소시키고 있습니다. AI가 생성한 데이터를 기반으로 새로운 모델을 훈련하는 것은 일반적으로 성능이 떨어지는 것으로 평가되며, 이는 마치 복사된 문서를 다시 복사하는 것과 비슷하다는 설명입니다.

공개에서 개인으로의 지식 이동

이번 연구는 기술적 변화뿐만 아니라 경제 및 사회 구조의 변화를 포괄하는 시나리오도 제시합니다. LLM과의 상호작용이 증가함에 따라 사용자가 공개 지식 플랫폼에 기여하는 동기가 감소할 수 있으며, 그 결과 귀중한 데이터가 공공 저장소에서 민간 AI 시스템으로 이동한다고 연구진은 설명합니다. 연구진은 “이것은 지식이 공개 도메인에서 개인 도메인으로 이동하는 중요한 변화를 나타냅니다.”라고 강조했습니다.

또한, 이러한 변화는 AI 분야의 초기 선도 기업들의 경쟁 우위를 더욱 심화시켜, 지식과 경제력이 집중되는 현상을 가속화할 수 있다는 점도 지적했습니다.

모든 경험 및 품질 수준에 영향

델 리오 차노나와 연구진은 스택 오버플로우의 콘텐츠 생성 감소가 초보자부터 전문가에 이르기까지 모든 수준의 사용자에게 영향을 미쳤음을 발견했습니다. 또한, 사용자 피드백으로 측정한 게시물의 품질이 크게 떨어지지 않았다는 점에서, LLM에 의해 저품질 및 고품질 기여 모두가 대체되고 있음을 시사합니다.

더 나아가, 특정 프로그래밍 언어, 특히 파이썬(Python)과 자바스크립트(JavaScript)에 대한 게시 활동이 플랫폼의 평균보다 더 많이 감소한 것으로 나타났습니다. 델 리오 차노나는 “파이썬과 자바스크립트, 이 두 가지 가장 많이 사용되는 프로그래밍 언어에 대한 질문들이 스택 오버플로우보다는 ChatGPT에서 이루어지고 있다는 것을 시사하는 결과입니다.”라고 설명했습니다.

a) ChatGPT 출시가 스택 오버플로우에서 특정 태그 활동에 미친 영향에 대한 이벤트 스터디 추정치 ChatGPT 출시가 스택 오버플로우의 여러 태그 활동에 미친 영향을 분석한 결과입니다. 분석 결과는 HAC(heteroskedasticity and autocorrelation consistent) 보정된 95% 신뢰 구간(CI)과 함께 보고됩니다. 이를 통해 ChatGPT 출시 이후 특정 태그의 활동 변화를 추정할 수 있습니다. b) 스택 오버플로우 개발자 설문조사에서 제공된 연봉 데이터와 추정된 효과 간의 관계 연구에서는 스택 오버플로우 개발자 설문조사에 기반한 연봉 데이터와 ChatGPT가 태그 활동에 미친 효과 간의 관계를 분석했으나, 유의미한 상관관계는 발견되지 않았습니다. 점선은 해당 상관관계가 통계적으로 유의미하지 않다는 것을 나타냅니다. c) GitHub 저장소에서 태그를 사용하는 빈도와 ChatGPT가 해당 태그에 미친 효과 간의 관계 GitHub 저장소에서 사용된 태그 수와 ChatGPT의 영향 간의 관계도 분석되었습니다. b)와 c) 모두에서 부트스트랩(bootstrap) 방식으로 95% 신뢰 구간(CI)을 사용하여 선형 회귀 결과를 시각화하였습니다.

연구에 대해

이 연구는 “대형 언어 모델(LLM)이 온라인 Q&A 플랫폼에서 공개 지식 공유를 감소시킨다”는 제목으로 R 마리아 델 리오 차노나, 나제야 라우렌트세바, 요하네스 왁스에 의해 수행되었으며, PNAS Nexus에 발표되었습니다. 연구는 온라인에서 확인할 수 있습니다.

이번 연구는 AI 기술의 발전이 오히려 공개 지식 생태계를 잠식할 수 있다는 우려를 낳으며, 이는 AI가 발전을 위해 의존해왔던 데이터의 고갈로 이어질 수 있다는 심각한 시사점을 제시합니다. 이를 해결하기 위해서는 공개 지식 플랫폼을 유지하고 발전시키는 데 기여하는 새로운 방식이 필요할 것으로 보입니다.

AI의 미래가 더 큰 혁신으로 나아가기 위해서는 인간이 생성하는 데이터와 콘텐츠를 유지하고, 이를 보완할 수 있는 협력적 생태계 구축이 중요합니다.

---

https://www.inet.ox.ac.uk/publications/large-language-models-reduce-public-knowledge-sharing-on-online-q-a-platforms

https://academic.oup.com/pnasnexus/article/3/9/pgae400/7754871?login=false

Large language models reduce public knowledge sharing on online Q&A platforms.pdf

0.96MB