Natural Language Processing - 01 - 2025년03월05일

개요

자연어

사람들이 일상생활에서 자연스럼게 사용하는 언어
자연어 처리

컴퓨터가 자연어의 의미를 분석하여 이해하고 생성할 수 있도록 만들어주는 기술
자연어 처리가 어려운 이유
1. 표현의 중의성
2. 고유 명사 처리
3. 사전 미등록어 처리
4. 문맥에 따른 모호성
5. 규칙의 예외성
한국어에서 자연어 처리가 더 어려운 이유
1. 교착어 : 어간에 접사가 붙어 단어를 이루고 의미와 문법적 기능이 정해짐
2. 단어 순서 및 주어 생략
3. 띄어쓰기
4. 평서문과 의문문
활용
1. 문법 교정
2. 음성 인식
3. 기계 번역
4. Real-Time Translation
5. 정보 추출 - 검색
6. 질의응답
7. 문서 요약
8. AI Chat-Bot
9. AI X Creation
10. 자동완성
11. 검색엔진
12. 정보 요약

단어가 결합하여 구와 문장을 형성하는 규칙/방법을 연구하는 학문

문법 규칙
1. 언어의 올바른 어순을 결정함
2. 단어 그룹의 의미와 단어의 배열사이의 관계를 정의함
3. 주저와 목적어 같은 문장 내의 문법적 관계를 명시함
4. 문장이나 구문이 난해할 때 단어의 결합이 의미와 어떻게 연관되는지를 설명함
심층구조 : 화자가 문장에 대해 갖는 추상적인 정보를 담은 구조
표층구조 : 실생활에서 사용하는 단어들의 규칙적인 구조
구조적 모호성
1. 두개의 서로 다른 심층 구조
2. 구조적 모호성이 있는 표층구조
반복
1. 문법규칙은 반복이라는 중요한 속성을 가짐
2. 문장 속으로 다른 문장을 넣을 수 있음
구 구조규칙

특정 구의 구조가 하나 또는 특정된 순서로 늘어선 여러 개의 구성요소들로 이루어진다는 점을 표현
어휘규칙
1. 구 구조규칙은 구조를 생성함
2. 어휘를 구 구조규칙의 기본 단위인 품사기호로 변환하는 규칙이 필요함

의미론은 단어, 구, 그리고 문장의 의미를 연구하는 분야

개념적 의미 : 단어가 사용될 때 전달되는 기본적, 본질적 의미 성분
연상적 의미 : 연상 또는 함축
의미자질(semantic features)
1. 단어의 의미를 자질들의 나열로 표현하는 방법
2. 단어의 의미를 차별화하기 위한 기본적인 구성요소
3. 단어 의미의 일부분을 자질의 이름과 (+), (-) 기호를 조합하여 표현
의미역(semantic roles)

개별 단어가 가지는 의미자질 분석 이외에, 문장에서 각 단어의 의미적 역할을 분석
행위자 : 특정 행위를 하는 주체
대상자 : 특정 행위에 포함되거나 영향을 받는 개체
관계
1. 동의 관계 vs 반의 관계
2. 상하 관계
3. 동음이철어 : 서로 다른 단어가 동일한 발음을 가지는 경우
4. 동음이의어 : 동일한 형태(발음)의 단어가 전혀 관련성이 없는 서로 다른 의미를 가지는 경우
5. 다의어
6. 연어(collocation) : 문장, 문서에서 두 단어가 같이 출현하는 경우가 많은 경우

“보이지 않는” 의미 또는 실제로 말하거나 쓰지 않았을지라도 화자가 의미하는 바에 대한 연구

텍스트와 대화 속에 나타난 언어를 연구하는 학문