자연어처리란 무엇인가
분야
hwp한국어 공학은 산업적 응용을 위하여 한국어나 한글을 가공, 처리하는 모든 지식이나 기술로 주로 한국어 정보처리의 성격을 가지며, 컴퓨터에서 자유로운 한글 사용을 보장한다. 자판의 문제, 한글 코드의 문제, 한글 라이브러리 개발 등의 문제, 외국의 응용 소프트웨어를 한글화하여 사용하게 하는 단순한 번역을 프로그램에 삽입하는 기술 등이 이에 속한다.
한국어 공학이 직접 기여할 수 있는 산업적 응용-----> 자연어 처리
● 자연어 처리(Natural Language Processing)
인간의 언어를 가공하여 컴퓨터와 인간의 언어로 의사소통할 수 있도록, 그 기반이 되거나 응용할 수 있는 기술을 의미한다.
분야: 형태소 분석, 구문 분석, 의미 분석 등 기반기술과 기계번역, 자연언어 입출력의 전문 가 시스템의 개발
※ 자연언어 처리기술 +음성 인식이나 합성 = 가상인물과의 대화 시스템이 개발
● 자연어 처리 기술
일반적으로 ‘언어’라고 하면 한국어, 영어 등 자연 발생적으로 생겨난 자연 언어(natural language)를 지칭하는데 언어에는 컴퓨터에서 사용되는 프로그래밍 언어와 로봇이 인식하는 언어 등 인위적으로 만들어진 언어(artificial language)도 있다. 자연어 처리는 컴퓨터에서 자연 언어를 인식하여 분석하고 생성하는 작업이다.
자연어 처리 기술은 컴퓨터를 편리하게 사용하는 소프트웨어를 개발하는 과정에서 철자 검사(spell check), 맞춤법 검사(grammar check) 기능, 영어를 한국어로 한국어를 영어로 번역해 주는 기계 번역(machine translation), 정보검색 시에 필요한 자동 색인(automatic indexing), 자연어 이해 시스템 등 컴퓨터의 활용 범위가 확대되거나 자연어 인터페이스를 추가하는 데 필수적으로 요구된다.
선진 외국에서는 오랜 기간 동안 자연어 처리 기술을 연구해 왔는데 최근에는 그 결과를 상품화하는 데 성공하고 있다. 특히 IBM, Microsoft사에서 개발 중인 차세대 운영체제에서는 음성 인식과 자연어 처리 기술을 활용하여 사람의 말을 알아듣고 실행 결과를 음성으로 출력하는 컴퓨터를 선보일 예정이다.
자연어 처리 기술의 가장 핵심적인 요소---- 자연 언어의 분석 기술!
자연 언어 분석 (단계별) 형태소 분석→ 구문 분석→ 의미 분석과 담화분석
형태소 분석은 어휘 사전을 기반으로 단어를 구성하고 있는 형태소들을 분리하여 인식하여 각 형태소에 대한 품사를 부여한다.-- 자연언어 분석의 첫 단계!!
감기는 (NOUN "감기")+(JOSA "는") (VERB "감기")+(EOMI "는")
가는 (NOUN "가"+(JOSA "는")(VERB "가")+ (EOMI "는") (VERB "갈")+ (EOMI "는")