ASPIRE 소개: 대화식 언어 모델의 선택적 예측

ASPIRE 소개: 대화식 언어 모델의 선택적 예측

JANUARY 18, 2024

Jiefeng Chen, 학부 연구원 및 Jinsung Yoon, 연구 과학자, Cloud AI 팀

인공 지능의 빠르게 변화하는 환경에서 대화식 언어 모델(LLMs)은 기계와 상호 작용하는 방식을 혁신적으로 변화시켰으며, 자연어 이해와 생성의 경계를 전례없는 높이로 밀어올렸습니다. 그러나 고배당의 의사 결정 응용프로그램으로의 도약은 주로 모델 예측의 고유한 불확실성 때문에 아직도 이루어지지 않고 있습니다. 기존 LLMs는 응답을 재귀적으로 생성하지만, 이들 응답에 대한 확신 수준을 할당할 내재적 메커니즘이 부족합니다. 일련의 토큰의 확률을 합산하여 신뢰도 점수를 유도할 수 있지만, 전통적인 방법은 일반적으로 올바른 답과 잘못된 답을 신뢰할 수 있도록 신뢰성 있게 구분하는 데 어려움을 겪습니다. 그렇다면 LLMs가 자신의 확신을 평가하고 확실할 때에만 예측을 수행할 수 있다면 어떨까요?

선택적 예측은 LLMs가 답과 함께 답이 올바르다는 확률을 나타내는 선택 점수를 출력하도록 하는 것을 목표로 합니다. 선택적 예측을 통해 다양한 응용 프로그램에 배포된 LLMs의 신뢰성을 더 잘 이해할 수 있습니다. 선별적 예측을 가능하게 하는 선행 연구로는 의미 불확실성 및 자가평가와 같은 것들이 있습니다. 일반적인 접근 방식은 "제안된 답이 참인가 거짓인가?"와 같은 규칙적인 프롬프트를 사용하여 LLMs에서 자가평가를 유발하는 것입니다. 그러나 이러한 접근 방식은 어려운 질문 응답(QA) 작업에는 잘 작동하지 않을 수 있습니다.

OPT-2.7B 모델은 TriviaQA 데이터셋의 질문에 대해 잘못된 답을 출력합니다: "어떤 비타민이 혈전을 조절하는 데 도움이 되나요?"에 대해 "비타민 C"라고 대답합니다. 선택적 예측이 없으면 LLMs는 잘못된 답을 출력할 수 있으며, 이 경우 사용자들이 잘못된 비타민을 복용하게 될 수 있습니다. 선택적 예측으로 LLMs는 답과 선택 점수를 함께 출력합니다. 선택 점수가 낮으면(0.1), LLMs는 "모르겠어요!"를 추가로 출력하여 사용자에게 신뢰하지 말거나 다른 출처에서 확인하도록 경고합니다.

"Adaptation with Self-Evaluation to Improve Selective Prediction in LLMs"라는 논문에서 우리는 Findings of EMNLP 2023에서 소개된 ASPIRE을 소개합니다. ASPIRE은 LLMs의 선택적 예측 능력을 향상시키기 위해 세심하게 설계된 새로운 프레임워크입니다. ASPIRE은 QA 작업에서 LLMs를 매개변수 효율적인 세밀 조정을 통해 세부 조정하고 생성된 답변이 올바른지를 평가하도록 훈련시킵니다. ASPIRE은 LLMs가 답과 해당 답변에 대한 신뢰 점수를 출력할 수 있도록 합니다. 실험 결과는 ASPIRE이 CoQA 벤치마크와 같은 다양한 QA 데이터셋에서 최첨단 선택적 예측 방법을 크게 앞선다는 것을 보여줍니다.

ASPIRE의 메커니즘

LLM에게 질문에 답하는 것뿐만 아니라 그 답을 평가하도록 가르치는 것을 상상해보세요. 그것이 ASPIRE의 본질입니다. ASPIRE은 세 가지 단계로 구성되어 있습니다: (1) 작업 특정 조정, (2) 답변 샘플링, (3) 자가평가 학습.

작업 특정 조정: ASPIRE은 LLM을 동결한 채로 적응 가능한 매개변수(θp)를 훈련하기 위해 작업 특정 조정을 수행합니다. 생성 작업에 대한 교육 데이터 집합이 주어지면 사전 훈련된 LLM을 미세 조정하여 예측 성능을 향상시킵니다. 이를 위해 매개변수 효율적인 조정 기술(예: 소프트 프롬프트 튜닝 및 LoRA)이 작업에 미치는 효과적인 일반화를 얻기 위해 사용될 수 있습니다. 구체적으로 LLM 매개변수(θ)는 고정되고 미세 조정을 위해 적응 가능한 매개변수(θp)가 추가됩니다. 오직 θp만 업데이트되어 표준 LLM 교육 손실(예: 교차 엔트로피)을 최소화합니다. 이러한 미세 조정은 예측 정확도를 향상시키는 데에 뿐만 아니라 올바른 출력 순서의 가능성을 향상시키므로 선택적 예측 성능을 향상시킬 수 있습니다.

답변 샘플링: 작업별 튜닝 이후 ASPIRE은 학습된 θp를 사용하여 각 교육 질문에 대해 다양한 답변을 생성하고 자가평가 학습을 위한 데이터 집합을 작성합니다. 높은 확률로 발생하는 출력 순서를 생성하기 위해 빔 서치를 디코딩 알고리즘으로 사용하고 생성된 출력 순서가 올바른지 여부를 결정하기 위해 Rouge-L 메트릭을 사용합니다.

자가평가 학습: 각 쿼리에 대해 높은 확률의 출력을 샘플링한 후 ASPIRE은 적응 가능한 매개변수(θs)를 추가하고 θs만 미세 조정하여 자가평가를 학습합니다. 출력 순서 생성은 θ 및 θp에만 의존하므로 θ 및 학습된 θp를 동결시켜 자가평가를 학습할 때 LLM의 예측 행동을 변경하지 않을 수 있습니다. 적응된 LLM이 정답과 오답을 스스로 구별할 수 있도록 θs를 최적화합니다.

ASPIRE 프레임워크의 구현

제안된 프레임워크에서 θp 및 θs는 어떤 매개변수 효율적인 조정 접근 방식을 사용하여 훈련될 수 있습니다. 이 작업에서는 "소프트 프롬프트 튜닝"이라는, 언어 모델을 특정 하위 작업을 더 효과적으로 수행하도록 조건화하는 "소프트 프롬프트"를 학습하는 간단하면서도 효과적인 메커니즘을 사용합니다. 이 접근 방식의 주도 원리는 소프트 프롬프트 튜닝과 목표로 하는 훈련 목적을 결합하여 자체 평가를 효과적으로 자극하는 프롬프트를 개발할 수 있다는 인식에 있습니다.

ASPIRE 프레임워크의 소프트 프롬프트 튜닝을 통한 구현

θp 및 θs를 훈련한 후 빔 서치 디코딩을 통해 쿼리의 예측을 얻습니다. 그런 다음 생성된 답변의 가능성과 학습된 자가평가 점수(예: 쿼리에 대한 예측이 올바를 확률)를 결합하여 선택 점수를 정의하여 선태적 예측을 수행합니다.

결과

ASPIRE의 효과를 시연하기 위해 다양한 오픈 사전 훈련 트랜스포머(OPT) 모델을 사용하여 세 가지 질문 응답 데이터셋 - CoQA, TriviaQA 및 SQuAD -에서 평가합니다. 소프트 프롬프트 튜닝을 통해 θp를 훈련하는 것은 LLMs의 정확도를 상당히 향상시켰습니다. 예를 들어, ASPIRE로 적응된 OPT-2.7B 모델은 CoQA 및 SQuAD 데이터셋을 사용하여 OPT-30B 모델보다 성능이 향상되었습니다. 이러한 결과는 적절한 적응을 통해 더 작은 LLMs가 일부 시나리오에서 더 큰 모델의 정확도를 맞추거나 잠재적으로 뛰어넘을 수 있는 능력을 가질 수 있다는 것을 시사합니다.

고정된 모델 예측과 선택 점수의 계산에 대한 탐구에서, ASPIRE은 모든 데이터셋에서 기준선 방법보다 높은 AUROC 점수(임의로 선택한 올바른 출력 순서가 임의로 선택한 잘못된 출력 순서보다 높은 선택 점수를 가질 확률)를 받았습니다. 예를 들어, CoQA 벤치마크에서 ASPIRE은 AUROC를 51.3%에서 80.3%로 향상시켰습니다.

TriviaQA 데이터셋의 평가에서 흥미로운 양상이 나타났습니다. OPT-30B 모델이 더 높은 기준선 정확도를 보였지만, 전통적인 자가평가 방법(Self-eval 및 P(True))을 적용할 때 선택적 예측 성능이 크게 향상되지 않았습니다.

Introducing ASPIRE for selective prediction in LLMs – Google Research Blog

Introducing ASPIRE for selective prediction in LLMs