OpenAI 샘 알트먼 해임 전 AI 안전에 관한 대립 의견

OpenAI가 알트먼을 쫓아내기 전, 직원들은 AI '안전' 논의에 대해 의견이 엇갈렸습니다.

상황을 잘 아는 사람들에 따르면 지난 2023년 11월 17일 금요일 OpenAI의 CEO인 샘 알트먼이 축출된 것은 회사가 인공지능을 충분히 안전하게 개발하고 있는지에 대한 직원들 간의 내부 논쟁에 따른 것이라고 합니다.

인공지능 역사에 중요한 이벤트가 발생하였습니다. 혹자는 애플 컴퓨터에서 쫓겨난 스티브 잡스를 회자하기도 합니다. 과연 OpenAI와 MS의 1강 체제에 영향을 주어 다른 후발주자들에 새로운 기회가 될 것인지 관심이 집중되고 있습니다.

인공지능을 충분히 안전에 대한 내부 논쟁

일부 직원들은 해고 후 즉석에서 열린 전체 회의에서 이러한 의견 차이가 컸다고 합니다. AI로 인한 사회적 피해를 제한하는 책임을 맡고 있던 OpenAI의 공동 창립자이자 이사회 멤버인 일리아 서츠케버(Ilya Sutskever)는 질문을 쏟아냈습니다.

회의 녹취록에 따르면 최소 두 명의 직원이 OpenAI의 가장 큰 연구 성과를 이끈 수츠케버에게 이번 해고가 '쿠데타(coup)'에 해당하는지, 아니면 '적대적 인수합병(hostile takeover)'에 해당하는지 물었다고 합니다. 일부 직원들은 이 질문이 알트만이 잠재적인 안전 문제를 희생하면서까지 수십억 달러 규모의 비즈니스가 된 소프트웨어를 상용화하기 위해 너무 빨리 움직이고 있다고 느꼈을 수 있다고 생각했습니다.

핵심 내용

- OpenAI에서는 AI '안전'을 두고 분열이 지속되었습니다.
- 공동 창립자 일리야 수츠케버는 AI 안전 팀을 이끌었습니다.
- 금요일에 직원들로부터 날카로운 질문을 받은 Sutskever는 다음과 같이 말했습니다.

쿠데타 의혹에 대해 수츠케버는 "이렇게 부를 수 있습니다."라고 말했습니다. "왜 이 단어를 선택했는지 이해할 수 있지만 저는 이에 동의하지 않습니다. 이사회는 비영리 단체의 사명, 즉 OpenAI가 모든 인류에게 혜택을 주는 AGI를 구축하도록 하는 데 의무를 다한 것뿐입니다." AGI는 인공 일반 지능(artificial general intelligence)의 약자로, 인간처럼 추론할 수 있는 소프트웨어를 가리키는 용어입니다.

서츠케버는 "백룸을 없애는 것이 세계에서 가장 중요한 회사를 경영하는 좋은 방법인가?"라는 질문에 이렇게 대답했습니다: "공정하게 말하자면, 이상적이지 않은 요소가 있다는 데 동의합니다. "

알트먼을 해고한 6명으로 구성된 이사회는 알트먼이 "이사회와의 소통에 일관되게 솔직하지 못했다"는 것 외에 해고 이유를 설명하지 않았지만, 해고 이후 회사의 내부 피해 관리에서 안전은 큰 주제였습니다. (알트먼은 그를 축출하기 위한 투표에 참여하지 않았다고 회사는 직원들에게 밝혔다).

예를 들어, 금요일에 직원들에게 보낸 메모에서 회사의 여러 팀을 감독하고 있는 임시 CEO 미라 무라티(Mira Murati)는 "안전하고 유익한 AGI를 함께 개발하는 우리의 사명과 능력"을 언급했습니다. 그녀는 회사에 세 가지 기둥이 있다고 말했습니다. "연구 계획, 안전 및 조정 작업, 특히 능력과 위험을 과학적으로 예측하는 능력을 최대한 발전시키고, 모두에게 유익한 방식으로 기술을 전 세계와 공유하는 것"입니다.

알트먼은 AI를 개척하고 세계 최고의 AI 연구자를 영입한 구글과 다른 영리 기업에 대항하기 위해 2015년 서츠케버, 테슬라 CEO 엘론 머스크 등과 함께 비영리 단체인 OpenAI를 공동 설립했습니다. OpenAI의 공동 창립자들은 영리 동기가 사회의 안전을 희생시킬 수 있다는 점을 우려했습니다. 이는 수년 동안 직원을 채용할 때 가장 중요하게 고려한 부분이기도 했습니다.

하지만 2019년, 알트먼은 OpenAI의 CEO가 된 후, 최고의 AI를 훈련할 수 있는 충분한 서버를 확보하기 위해 Microsoft와 같은 외부 투자자로부터 자금을 조달할 수 있도록 OpenAI 비영리 단체가 관리하는 영리 법인을 설립하는 데 도움을 주었습니다. 영리 목적의 탐욕을 제한하기 위한 그의 해결책은 회사가 원금과 투자자를 위해 창출할 수 있는 이익에 이론적 상한선을 두는 것이었습니다.

하지만 AI의 안전성에 대한 우려는 스타트업의 리더들을 분열시켰습니다. 2020년 말, 일부 직원들은 회사의 상업 전략과 기술 출시 속도에 대한 이견으로 인해 OpenAI에서 분리되어 자체 스타트업인 Anthropic을 설립했습니다. 스타트업의 AI 개발이 금전적 인센티브에 영향을 받지 않도록 하기 위해 Anthropic은 회사 이사회를 고용하고 해고할 수 있는 5명의 독립적인 그룹을 구성했습니다.

수년 동안 AI 전문가들은 생물학 무기 개발, 그럴듯한 딥페이크 생성, 중요 인프라 해킹 등 더 강력한 모델이 악용될 수 있다는 우려를 제기해 왔습니다. 또한 일부에서는 시스템이 결국 자율적으로 작동하여 인간을 희생시키는 방향으로 나아갈 수 있다고 생각합니다. 이러한 피해를 방지하기 위한 기술을 의미하는 'AI 조정'을 지지하는 사람들은 일반적으로 액세스 가능한 사람의 수를 제한하는 등 기술 사용 방식에 더 많은 보호 장치를 마련해야 한다고 주장해 왔습니다.

OpenAI가 글쓰기와 소프트웨어 코딩을 자동화하고 처음부터 사실적인 이미지를 생성할 수 있는 획기적인 인공지능을 개발하자, 회사 내 일부 직원들은 이러한 인공지능의 잠재적 위험성, 특히 인공지능이 스스로 개선하는 방법을 학습할 경우의 잠재적 위험성에 대해 논의했습니다.

이 회사는 2023년 여름 Sutskever와 "정렬" 연구원인 Jan Leike가 공동으로 이끄는 팀을 구성하여 AI 시스템이 불량하게 작동하는 것을 방지하기 위한 기술 솔루션을 연구했습니다. 블로그 게시물에서 OpenAI는 컴퓨팅 리소스의 5분의 1을 "초지능"의 위협을 해결하는 데 투입할 것이라고 밝혔는데, Sutskever와 Leike는 "인류의 무력화 또는 심지어 인류 멸종으로 이어질 수 있다"고 썼습니다.

서츠케버는 AI의 위험성에 대해 자주 언급해 왔습니다. 2019년 다큐멘터리 '아이휴먼'에서 그는 "미래는 인공지능에게 좋은 날이 될 것"이라며 "인간에게도 좋은 날이 오면 좋을 것"이라고 말했습니다. 최근에는 7월 인터뷰에서 수츠케버는 몇 년 후 강력한 인공지능의 위험성에 대해 가장 우려하고 있지만, 인공지능 기술이 인간이 스스로 치안을 유지하는 데 도움을 줄 수 있는 미래, 즉 "초지능화"의 한 예가 되기를 희망한다고 말했습니다.

서츠케버는 회사 내에서 많은 추종자를 거느리고 있습니다. 전직 직원들은 그를 스타트업의 첨단 기술을 이끄는 데 중요한 역할을 하는 존경받는 실무형 리더로 묘사합니다.

금요일 알트먼의 해고를 알리는 블로그 게시물은 "인류를 해치거나 권력을 과도하게 집중시키는 AI 또는 AGI를 활성화"하는 것을 피하고 "AGI를 안전하게 만드는 데 필요한 연구"를 수행해야 한다는 회사 헌장을 보존하는 것이 이사회의 책임이라고 밝히며 마무리했습니다. 또한 이사회의 "주요 신탁 의무(fiduciary duty)는 인류에 대한 것"이라고 명시했습니다.

빅터는 알파벳을 취재하는 더 인포메이션의 리포터입니다. 이메일(jon.victor@theinformation.com) 또는 트위터(u/jon_victor_)로 연락하실 수 있습니다.

스테파니 팔라졸로는 더 인포메이션에서 인공지능을 다루는 리포터입니다. 인사이더와 모건 스탠리에서 근무했습니다. 뉴욕에 거주하며 이메일(stephanie@theinformation.com) 또는 트위터(u/steph_palazzolo)로 연락할 수 있습니다.

아니사 가디지는 클라우드 컴퓨팅을 다루는 The Information의 리포터입니다. 이전에는 보스턴 글로브에서 기술 담당 기자로 근무했습니다. 샌프란시스코에 거주하고 있으며 이메일(anissa@theinformation.com) 또는 트위터(u/anissagardizy8)로 연락할 수 있습니다.

https://www.reddit.com/r/singularity/comments/17xx1ze/comment/k9q1t77/?utm_source=share&utm_medium=web3x&utm_name=web3xcss&utm_term=1&utm_content=share_button

zyunztl's comment on "Before OpenAI Ousted Altman, Employees Disagreed Over AI ‘Safety’"

https://www.theinformation.com/articles/before-openai-ousted-altman-employees-disagreed-over-ai-safety

Before OpenAI Ousted Altman, Employees Disagreed Over AI ‘Safety’