https://arxiv.org/abs/1910.10683
Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
Transfer learning, where a model is first pre-trained on a data-rich task before being fine-tuned on a downstream task, has emerged as a powerful technique in natural language processing (NLP). The effectiveness of transfer learning has given rise to a div
arxiv.org
1. 배경 및 문제점
최근 NLP 분야에서는 BERT, GPT, RoBERTa와 같이 대규모 텍스트 데이터로 모델을 먼저 학습한 뒤, 특정 task에 맞게 fine-tuning하는 transfer learning 방식이 좋은 성능을 보였다. 하지만 기존 연구들은 task마다 입력/출력 형식, 모델 구조, 학습 목표가 달라서 여러 NLP 기법을 공정하게 비교하기 어렵다는 문제가 있었다. 예를 들어 감성분석은 classification 문제로, 번역과 요약은 sequence generation 문제로, 질의응답은 span prediction 문제로 다루어지는 경우가 많았다. 즉, NLP 문제마다 서로 다른 방식의 모델 설계가 필요했다. 이 논문은 이러한 문제를 해결하기 위해 모든 NLP task를 하나의 통일된 형식, 즉 text-to-text 문제로 변환하는 T5 프레임워크를 제안한다.
2. 핵심 아이디어
T5의 가장 중요한 아이디어는 모든 NLP 문제를 “텍스트 입력 → 텍스트 출력” 형식으로 바꾸는 것이다.
예를 들어, 번역 테스크는
- 입력: translate English to German: That is good.- 출력: Das ist gut.
- 출력: Das ist gut.
문장 분류 테스크는
- 입력: cola sentence: The course is jumping well.
- 출력: not acceptable
요약 task 역시
- 입력: summarize: 긴 기사 내용
- 출력: 짧은 요약문
이처럼 T5는 번역, 요약, 질의응답, 감성분석, 문장분류 등 다양한 NLP task를 모두 동일한 text-to-text 형식으로 처리한다. 이를 통해 같은 모델 구조, 같은 loss function, 같은 학습 절차를 여러 task에 적용할 수 있다.
3. 모델 구조
T5는 Transformer 기반 Encoder-Decoder 구조를 사용한다. Encoder는 입력 텍스트를 읽고 문맥 정보를 표현하며, Decoder는 Encoder의 출력을 바탕으로 정답 텍스트를 생성한다. 논문에서는 Encoder-Decoder 구조뿐 아니라 Language Model, Prefix Language Model 등 다양한 Transformer 구조를 비교한다. 그 결과, T5의 기본 구조인 Encoder-Decoder Transformer가 번역, 요약, 질의응답, 분류 task를 모두 처리하기에 적합하다는 것을 보인다.
4. 사전학습 방식
T5는 대규모 unlabeled text data를 이용해 먼저 사전학습을 수행한다. 이때 사용하는 대표적인 학습 방식은 denoising objective이다. Denoising objective는 입력 문장의 일부를 가리고, 모델이 가려진 부분을 복원하도록 학습하는 방식이다.
예를 들어 원래 문장이 다음과 같다면,
hank you for inviting me to your party last week.
일부 단어를 제거한 뒤,
Thank you <X> me to your party <Y> week.
모델은 제거된 부분을 출력하도록 학습한다.
<X> for inviting <Y> last
즉, 모델은 문맥을 보고 빠진 내용을 복원하는 과정에서 언어의 구조와 의미를 학습한다.
5. 데이터셋
논문에서는 T5 학습을 위해 C4, Colossal Clean Crawled Corpus라는 대규모 데이터셋을 사용한다. C4는 Common Crawl 웹 데이터에서 불필요한 문장, 중복 문장, 코드, 비영어 문서, 부적절한 표현 등을 제거하여 만든 깨끗한 영어 텍스트 데이터셋이다. 기존 웹 데이터는 노이즈가 많기 때문에, 논문에서는 정제 과정을 거친 대규모 corpus를 사용하여 사전학습의 품질을 높이고자 했다.
6. 실험 내용
단순히 새로운 모델 하나를 제안하는 데 그치지 않고, NLP transfer learning에서 중요한 요소들을 체계적으로 비교한다.
| 실험 요소 | 비교 내용 |
| 모델 구조 | Encoder-Decoder, Language Model, Prefix LM 비교 |
| 사전학습 목표 | Denoising objective, Language modeling 등 비교 |
| 데이터셋 | C4 및 다른 pre-training data 비교 |
| 학습 방식 | Fine-tuning, multi-task learning 등 비교 |
| 모델 크기 | 모델 scale을 키웠을 때 성능 변화 분석 |
이를 통해 어떤 설정이 다양한 NLP task에서 가장 효과적인지 분석한다.
7. 결과 및 의의
실험 결과, T5는 text-to-text 프레임워크를 통해 다양한 NLP task를 하나의 모델 구조로 처리할 수 있음을 보였다. 특히 모델 크기를 확장하고 C4 데이터셋으로 충분히 사전학습했을 때, 요약, 질의응답, 번역, 문장분류 등 여러 benchmark에서 높은 성능을 달성했다. 이 논문의 의의는 단순히 성능이 좋은 모델을 제안한 것뿐만 아니라, NLP 문제를 하나의 통일된 형식으로 바라볼 수 있는 관점을 제시했다는 점이다. 이후 instruction tuning이나 text-to-text 기반의 대형 언어모델 연구에도 큰 영향을 주었다.
8. 한계점
T5는 강력한 성능을 보였지만, 대규모 데이터와 많은 계산 자원이 필요하다는 한계가 있다. 특히 큰 모델을 학습하기 위해서는 막대한 GPU/TPU 자원이 필요하다. 또한 모든 task를 text-to-text 형식으로 변환하는 방식은 유연하지만, task별로 최적화된 구조보다 비효율적일 수 있다. 예를 들어 단순 분류 문제도 텍스트 생성 문제처럼 처리하기 때문에 계산 비용이 증가할 수 있다.
9. 정리
T5 논문은 NLP의 다양한 task를 모두 text-to-text format으로 통일하고, Transformer 기반 Encoder-Decoder 모델을 대규모 데이터로 사전학습한 뒤 여러 downstream task에 적용한 연구이다. 이 논문은 모델 구조, 사전학습 목표, 데이터셋, 학습 전략, 모델 크기 등을 체계적으로 비교함으로써 NLP transfer learning에서 어떤 요소가 성능에 중요한지 분석했다. T5는 이후 다양한 생성형 언어모델과 instruction-based NLP 모델의 기반이 된 중요한 연구라고 볼 수 있다.