Python #KoNLPy

KoNLPy란?

형태소 분석 및 품사 태깅에 쓰이는 모듈

형태소 분석 이란 형태소를 비롯하여, 어근, 접두사/접미사, 품사(POS, part-of-speech) 등 다양한 언어적 속성의 구조를 파악하는 것

 

예)

아래 문장을 형태소 분석 후 추출 한 결과

 

문장:

코로나19 합병증으로 18일(현지시간) 별세한 콜린 파월(84) 전 미국 국무장관은 미국 사회에서 유색 인종에게 드리워진 유리 천장을 연달아 깨며 미국인 성공신화의 전형을 보여줬다.

from konlpy.tag import Okt
okt = Okt()
word = okt.pos("코로나19 합병증으로 18일(현지시간) 별세한 콜린 파월(84) 전 미국 국무장관은 미국 사회에서 유색 인종에게 드리워진 유리 천장을 연달아 깨며 미국인 성공신화의 전형을 보여줬다.")
print(word)
>>>>
[('코로나', 'Noun'), ('19', 'Number'), ('합병증', 'Noun'), ('으로', 'Josa'), ('18일', 'Number'), ('(', 'Punctuation'), ('현지', 'Noun'), ('시간', 'Noun'), (')', 'Punctuation'), ('별세', 'Noun'), ('한', 'Josa'), ('콜린', 'Noun'), ('파월', 'Noun'), ('(', 'Punctuation'), ('84', 'Number'), (')', 'Punctuation'), ('전', 'Noun'), ('미국', 'Noun'), ('국무장관', 'Noun'), ('은', 'Josa'), ('미국', 'Noun'), ('사회', 'Noun'), ('에서', 'Josa'), ('유색', 'Noun'), ('인종', 'Noun'), ('에게', 'Josa'), ('드리워진', 'Verb'), ('유리', 'Noun'), ('천장', 'Noun'), ('을', 'Josa'), ('연달', 'Noun'), ('아', 'Josa'), ('깨며', 'Verb'), ('미국인', 'Noun'), ('성', 'Modifier'), ('공', 'Modifier'), ('신화', 'Noun'), ('의', 'Josa'), ('전형', 'Noun'), ('을', 'Josa'), ('보여줬다', 'Verb'), ('.', 'Punctuation')]

 

---

KoNLPy 한국어 품사 태그 비교표

출처: https://docs.google.com/spreadsheets/d/1OGAjUvalBuX-oZvZ_-9tEfYD2gQe7hTGsgUpiiBSXI8/edit#gid=0

---

KoNLPy 설치

설치과정이 참 난감합니다. 몇시간을 구글링해가며 하나하나 에러를 잡아나가면서 설치를 했는데

세부적인 방법은 생략하고, KoNLPy 사이트에 나와있는 설치과정 중 발생하는 몇가지 오류에 대해

체크해야 할 부분만 설명합니다.

 

환경 : windows 64bit, JupyterNotebook 3.8.8 기준입니다.

 

본인의 주피터 노트북 버전확인은 아래 참조

 

 

1. 버젼이 1.7 이상인 자바 설치

- 저는 jdk-11.0.12_windows-x64_bin.exe 버전으로 설치했습니다.

- 다운로드 사이트 : https://www.oracle.com/java/technologies/downloads/

 

2. JAVA_HOME 설정

- 윈도우 검색 -> 고급 시스템 설정 보기 -> 환경 변수

 

- 시스템 변수에서 새로 만들기 -> 변수 이름 : JAVA_HOME, 변수 값 : 설치된 자바 bin폴더 경로 입력 후 확인

 

- 시스템 변수 Path 를 찾아 편집 클릭 후 새로 만들기에서 자바 경로 입력 후 확인

 

3. JAVA_HOME 세팅을 마쳤으면 PC를 재부팅 해줍니다.

 

4. 주피터 노트북 환경설정에서 아래 사이트를 보고 자신의 작업 경로를 입력해줍니다.

 

5. 본인의 OS와 파이썬에 맞는 JPype 파일 다운로드 한 뒤 4번에서 설정해논 폴더로 이동해줍니다.

- https://www.lfd.uci.edu/~gohlke/pythonlibs/#jpype

- 저는 파이썬 3.8.8버전에 윈도우 64비트라 JPype1-1.3.0-cp38-cp38-win_amd64.whl 로 다운받았습니다.

- 다운받은 경로는 자신의 주피터 노트북 기본 환경 경로로 해주시면 됩니다.

- 후에 JPype1-1.3.0 버전은 그대로 안쓰고 다운그레이드 할 것입니다. 

 

6.  주피터 노트북을 실행 뒤 아래 명령을 차례대로 실행합니다.

본인의 환경에 따라 파일명이 다를 수 있음 

현재 jpype1.3.0 버전은 오류가 있다고 해서 1.1버전 이하로 낮춥니다.

konlpy를 인스톨합니다.

tweepy 버전을 3.10.0 으로 낮춥니다.

 

 

여기까지가 konlpy 설치과정입니다. 

주피터 노트북 환경에서 필수는 JAVA_HOME 세팅을 한 뒤 재부팅 해줄 것과,

주피터 노트북 작업환경 설정에서 경로지정을 세팅해주는 것.

그리고 jpype 버전을 낮춰줄 것과 konlpy설치 후 tweepy 버전을 낮춰주는 것이 중요합니다.

설치를 다 한 후엔 주피터 노트북을 재시작 하는 것을 추천드립니다.

 

해당 과정은 모든 pc나 환경에 맞춰진 것이 아닙니다. 환경별로 다른 에러가 날 수 있으니

에러코드를 잘 보시고 구글링 해보시는 것을 추천드립니다.

 

 

다들 konlpy 성공해서 형태소 분석 잘 하시길!