[NLP BootCamp - 02] NLP 입문

NLP란? 자연어 처리의 정의

자연어 처리(Natural Language Processing, NLP)는 컴퓨터가 인간의 언어를 이해·처리하도록 돕는 기술 분야이다. 즉, 사람이 일상적으로 사용하는 언어(텍스트나 음성)를 컴퓨터가 해석하여 의미를 이해하거나 생성할 수 있도록 한다. 일반적으로 NLP는 통계적 방법과 머신러닝·딥러닝 기법을 결합해 동작하며, 인공지능(AI)의 하위 분야로 분류된다. 예를 들어 IBM은 “NLP는 머신러닝을 활용해 컴퓨터가 인간의 언어를 이해하고 소통하도록 돕는 AI의 하위 분야”라고 정의하고 있으며, AWS 역시 “컴퓨터가 인간 언어를 해석·조작하고 이해할 수 있도록 하는 기술”이라 설명한다. NLP 기술은 검색 엔진의 질의 처리나 챗봇, 음성비서(예: Alexa, Siri) 등 다양한 응용에 필수적이다.

자연어의 특징

자연어는 맥락 의존성, 불완전성, 다양성 등의 특징을 지닌다.

• 맥락 의존성: 같은 단어라도 문맥에 따라 의미가 달라진다. 예를 들어 “배”는 “배가 고프다”일 때는 ‘배(위장)’를, “배가 출항했다”일 때는 ‘배(선박)’를 뜻한다. 자연어에는 동음이의어·다의어·동형어 등이 많아, 단어의 정확한 의미 판단에는 주변 문맥이 중요하다. 
• 불완전성: 일상 언어 표현은 문법이나 문장이 불완전해도 의사소통이 가능하다. 사람들은 때로 주어를 생략하거나 비문(非文) 형태로 말해도 서로 이해한다(예: “대신 부탁했다”라는 문장만으로는 누가 무슨 부탁을 했는지 모호하다). 따라서 NLP 시스템은 이런 불완전한 표현에서도 의미를 유추해야 한다)
• 다양성: 같은 의미라도 여러 방식으로 표현된다. 뉘앙스나 어순, 방언·은어 등으로 표현 방식이 매우 다양하다. 이미지 데이터의 작은 변화가 시각적 의미에 큰 영향을 주지 않는 반면, 자연어는 단어 하나, 어순 하나가 바뀌면 뜻이 완전히 달라질 수 있어 정규화가 어렵다. 예를 들어 “조용히 해”와 “해 조용히”는 어순만 달라도 의미가 달라질 수 있다.

주요 NLP 태스크

자연어 처리에서는 위와 같은 특징을 해결하기 위해 다양한 태스크가 개발되었다. 주요 예시는 다음과 같다:

• 개체명 인식(Named Entity Recognition, NER): 텍스트에서 사람 이름, 장소, 기관명 같은 의미 단위를 찾아 분류하는 작업이다. 예를 들어 문장에서 “런던”을 장소로, “마리아”를 사람 이름으로 식별한다. NER은 문서 요약, 정보 검색, 기계번역 등에서 중요한 역할을 한다.
• 품사 태깅(Pos Tagging): 문장 속 각 단어의 품사(명사, 동사, 형용사 등)를 문맥에 맞게 결정한다. 예컨대 “I can make a paper plane”에서 ‘make’는 동사, “What make of car”에서는 ‘make’가 명사(자동차 제조사)임을 구분한다.
• 단어 의미 명확화(WSD, Word Sense Disambiguation): 다의어(여러 뜻을 가진 단어)의 적절한 의미를 문맥에 따라 정한다. 예를 들어 “make the grade”와 “make a bet”에서 ‘make’의 의미가 각각 ‘성취하다’, ‘행하다’로 다르다는 것을 구별한다.
• 질의응답(Question Answering, QA): 문서나 데이터베이스에서 사용자의 질문에 대한 답을 찾아내는 작업이다. 예를 들어, 어떤 문서를 주고 “뉴턴이 제창한 이론은?”이라는 질문이 들어오면, 문서에서 답변에 해당하는 구절을 추출해야 한다. 특히 추출형 QA에서는 질문에 해당하는 문서 내 텍스트 범위를 답으로 찾아낸다.
• 기계번역과 요약: 한 언어의 문장을 다른 언어로 변환(기계번역)하거나, 긴 문서에서 핵심 정보를 추출해 짧게 요약하는 작업이다. IBM은 NLP 툴이 핵심 정보를 자동 분류·추출하여 콘텐츠를 요약하고, 한 언어에서 다른 언어로 번역하는 데 활용된다고 설명한다. 예를 들어 문서 처리 파이프라인에서 “하이라이트 자동 요약”이나 “영어-한국어 번역” 등이 여기에 속한다.

이 외에도 맞춤법 검사, 텍스트 정규화, 감성 분석, 구문 분석(파싱) 등 수많은 NLP 태스크가 연구되고 활용된다. 각각의 태스크는 자연어의 모호성과 다양성을 풀기 위해 문맥 이해, 통계 모델링, 딥러닝 등을 기반으로 한 알고리즘을 사용한다.

트랜스포머(Transformer) 이후의 변화

2017년 트랜스포머 아키텍처의 등장은 NLP 연구와 응용을 근본적으로 바꾸었다. 그 전에는 순환신경망(RNN) 기반 시퀀스-투-시퀀스 모델이 주로 기계번역 등에 사용되었다. 그러나 트랜스포머는 병렬 연산이 가능해 학습이 빠르고, 문맥을 멀리까지 한 번에 고려할 수 있어 BERT나 GPT 같은 대형 언어모델을 가능하게 했다.

이로 인해 모든 NLP 태스크를 생성 문제로 통합하려는 시도가 늘었다. 예를 들어 구글의 T5(Text-to-Text Transfer Transformer) 모델은 모든 NLP 태스크를 “텍스트-투-텍스트” 문제로 재구성해 다룬다. 이전에는 감정분석 결과를 0/1로 출력하거나 NER에서 각 토큰에 클래스 레이블을 붙였지만, 이제는 “이 문장은 긍정입니다”처럼 모델이 자연어 형태로 답을 생성하도록 한다. 대표적인 모델인 GPT 시리즈는 자기회귀 생성 모델로 설계되어, “다음 단어 예측” 문제를 통해 언어 모델링뿐 아니라 분류·생성 등 다양한 태스크를 수행할 수 있다. 실제로 IBM은 GPT-4 같은 사전학습 언어모델이 프롬프트에 따라 기사·보고서 등 사람과 유사한 텍스트를 생성할 수 있다고 보도한다.

그러나 모든 문제를 생성으로만 풀 수 있는 것은 아니다. 생성 모델의 출력은 확률적이어서 항상 정확성을 보장하지 않는다. 특히 할루시네이션(hallucination)이라 불리는, 그럴듯하지만 사실과 다른 내용을 생성하는 현상이 여전히 큰 문제로 남아 있다. 최근 연구에서는 “대규모 언어모델의 환각 현상은 본질적 한계이며 완전히 제거할 수 없다”고 경고한다. 또한 출력 포맷을 명확히 제한하기 어렵고, 생성된 텍스트의 품질 평가 지표 마련도 쉽지 않다. 그럼에도 불구하고 트랜스포머 기반 생성모델은 NLP의 새로운 전기를 열었으며, 다양한 태스크를 단일한 모델로 다룰 수 있게 되었다.

NLP 태스크 이해의 중요성

비록 현대에는 거대 생성 모델이 많은 작업을 자동화해 주지만, 전통적 NLP 태스크의 이해는 여전히 중요하다. 예를 들어 RAG(Retrieval-Augmented Generation) 방식의 QA 시스템은 사용자가 질문을 하면 곧바로 답을 생성하는 대신, 먼저 관련 문서를 검색(retrieval)한 후 유의미한 내용을 추출(extraction)하고 이를 바탕으로 답을 생성(generation)한다. IBM 설명에 따르면, RAG는 외부 지식 베이스와 연결하여 LLM이 보다 높은 품질의 응답을 제공할 수 있게 해 준다 실제로 RAG는 검색 과정을 통해 최신 정보와 도메인 특화 내용을 학습 없이 활용할 수 있으므로, 오류 가능성을 줄이고 보다 정확한 답변을 얻는 데 기여한다.

따라서 생성형 모델의 실패를 분석하거나 사용자 질의에 대한 설명 가능한 응답을 생성하려면, 전통적인 NLP 기법들(NER, 구문 분석, 정규화 등)에 대한 이해가 필요하다. 예를 들어, 생성 모델의 출력 결과가 의도와 어긋난다면 어떤 단계에서 문제가 발생했는지 파악하기 위해 토큰 분류 모델이나 문장 분석 모델 등을 활용해 내부 상태를 점검할 수 있다. 또한 모델이 특정 도메인 지식을 다루도록 하려면 전문 문서를 검색·추출하는 RAG 같은 파이프라인 설계가 유용하다.

모델 출력 설계

NLP 시스템의 전형적인 파이프라인은 입력 X의 전처리 → 벡터 표현 → 모델 추론 → 출력 Y의 디코딩 단계를 거친다. 먼저 입력 문장은 토크나이저를 이용해 단어 또는 하위어(subword) 단위로 분리(Tokenization)되고, 어간 추출이나 불용어 제거 등의 작업을 통해 정제된다. 이어서 각 토큰은 Word2Vec, GloVe 같은 임베딩 기법이나 최근 유행하는 문맥 임베딩을 통해 고정 길이의 벡터로 변환된다. 이렇게 만들어진 벡터 시퀀스가 모델(RNN이나 트랜스포머)을 거쳐 학습된 특징을 반영한 출력 벡터를 생성하면, 마지막으로 이 벡터를 사람이 이해할 수 있는 형태로 디코딩하는 과정을 거친다.

모델의 출력 설계는 풀고자 하는 태스크에 따라 달라진다. 크게 두 가지 유형인 분류(classification)와 회귀(regression)로 구분할 수 있다. 분류 문제의 경우 출력은 이산적인 클래스 라벨이 되며, 회귀 문제의 경우 연속적인 실수 값이 된다. 예를 들어 감성분석에서는 “긍정/부정”과 같은 이진 클래스로 예측할 수 있고, 품사 태깅에서는 어휘마다 품사 카테고리를 예측한다. 자연어 생성 태스크의 경우 Y를 문장 자체로 정의하며, 모델은 주어진 입력으로부터 연속된 단어 시퀀스를 생성한다. GPT-4 같은 거대 생성모델은 프롬프트에 따라 기사나 보고서 같은 텍스트를 생성할 수 있는데, 이때 각 단계마다 모델은 어휘 전체에 대한 확률 분포를 계산해 가장 높은 점수의 단어를 선택한다(순차적 토큰 예측).

이처럼 NLP 모델의 출력값은 문제 유형에 맞추어 분류값, 회귀값 혹은 생성된 텍스트 등 다양한 형태로 설계된다. 분류형 출력(이산 값)은 결과의 정확성과 제약 조건 적용이 비교적 쉽지만, 생성형 출력(연속된 텍스트)은 표현력이 풍부한 반면 제어가 까다롭고 때로는 불안정한 측면이 있다. 따라서 원하는 태스크에 적합한 출력 방식을 잘 설계하는 것이 NLP 시스템의 성능과 안정성을 높이는 데 중요하다.