자연어 처리(Natural Language Processing)란?

인공지능의 한 분야로, 컴퓨터가 인간의 언어를 이해할 수 있도록 처리하는 연구 방법

 

Photo by Keagan Henman on Unsplash

 

자연어는 우리가 일산 생활에서 사용하는 언어이며, 자연어 처리는 이러한 자연어의 의미를 분석하여 컴퓨터가 처리할 수 있도록 하는 일을 말한다. 자연어 처리는 기계에게 인간의 언어를 이해시킨다는 점에서 인공지능에 가장 중요한 연구 분야이면서도, 아직 정복되어야 할 산이 많은 분야이다.

 

자연어 처리의 응용 분야

1) 정보 검색, 질의응답 시스템 - 구글/네이버/다음 검색

포털에서 무언가를 검색한 후, 결과들 중 하나를 클릭하면 시스템은 이를 자신이 찾은 결과가 적합했다는 신호로 인식하고 향후 검색에 이 정보를 이용해 검색 정확도를 높인다.

2) 대화 시스템 및 자동 질의 응답 시스템 - 슬랙, 마이크로소프트 메신저, AI 스피커

챗봇은 챗 프로그램들과 결합하여 키워드를 말하면 활성화되고, 음성 어시스턴트 기술 역시 웨이크업 워드를 들으면 활성화된다.

3) 기계 번역, 자동 통역 - 구글 번역, 네이버 파파고 등

4) 문서요약, 분류, 철자 및 문법 오류 검사 및 수정 - 뉴스 요약, 메일 분류, 그래머리, 맞춤법 검사 등

맞춤법 검사는 두개의 서로 다른 데이터셋을 대조하여 어떤 단어가 잘못되었는지, 어떻게 고치면 좋을지 등을 제안한다.

5) 감성 분석 - SNS 글 분석, 영화 및 제품 리뷰 분석

텍스트에 나타나는 감정, 기분 등의 주관적 요소를 분석하는 기법을 통칭한다. 지도 학습뿐만 아니라 비지도 학습을 이용할 수 있다.

6) 텍스트 분류 - 스팸 메일 분류, 뉴스 기사 카테고리 분류

텍스트가 특정 분류, 카테고리에 속하는 것을 예측하는 기법으로 지도학습이다.

 

자연어 처리 분석 단계

자연어 문장 > 형태소 분석 > 구문 분석 > 의미 분석 > 담화 분석 > 분석 결과

 

자연어 처리 기술 활용 분야

1) 회사 내규를 자체적으로 검색하여 질문에 답해주는 챗봇

2) 통화 중 해당하는 자료를 찾아 스크린에 띄워주는 음성 검색 기능

3) 구직자 이력서를 분류하고, 다양한 지원자를 끌어들이며, 양질의 구직자를 선발하는 기능

4) 고객들이 남긴 피드백의 감정을 파악하는 기능

5) SNS 글의 감정을 분석하여 범죄 행위 예후나 우울증 예후 등을 파악하는 기능

 

---

 

Reference

NLP - 1. 자연어 처리(Natural Language Processing)란 무엇인가?

자연어 처리란? 비즈니스에 어떻게 활용하나?

위키독스