본문 바로가기
Python/Library
[MeCab] 일본어 형태소 분석기 유저사전 설정(Unidic)
Python/Library 2023. 8. 27. [MeCab] 일본어 형태소 분석기 유저사전 설정(Unidic) 형태소 분석기를 조금이라도 다뤄보신 분들은 한 번쯤 이런 생각을 해 보실겁니다. '내가 원하는 고유어를 하나의 형태소로 인식하게끔 만들 수는 없을까?' 이번 포스팅에서는 MeCab 일본어 형태소 분석기, 사전으로는 Unidic을 사용하는 경우 유저가 원하는 단어를 인식하게끔 만들어주는 유저사전을 구현하는 방법을 알아보도록 하겠습니다. 제가 재학하고 있는 부경대학교를 예로 테스트해보겠습니다. 결과물을 보시면 부경대학(釜慶大学)의 형태소 분석이 엄청 이상하게 된 것을 볼 수 있습니다. 그럼 위 형태소 분석이 원활하게 되기 위해서 우리는 부경대학(釜慶大学)을 유저사전에 추가한 뒤, 컴파일까지 마치고, 초기화 과정에서 유저사전 지정하는 방법까지 알아보도록 하겠습니다. 1. CSV 파일 생성 먼저 유저사전을 만들..
[MeCab] 파이썬 MeCab 출력 형식 설정
Python/Library 2023. 8. 24. [MeCab] 파이썬 MeCab 출력 형식 설정 일본어 형태소 분석기 MeCab Python 입니다. 해당 형태소 분석기로 결과물을 출력해 보면 일반적으로 다음과 같은 형식으로 출력됩니다. 순서대로 기준형태소와 발음, 원형의 발음, 원형, 품사.. 순으로 해당 결과물이 출력되는 것을 볼 수 있습니다. MeCab은 이 외에도 꽤 많은 형식으로 결과물을 출력해 주는 형태를 가지고 있습니다. 먼저 예를 들어보면 제일 첫 번째 결과물과 바로 직전의 결과물이 다른 것을 보실 수 있습니다 차이점이 보이시나요? 바로 MeCab을 초기화하는 시점에서 인자로 '-O yomi' 를 주었습니다. 터미널이나 셸을 조금 익히신 분들은 아시겠지만 Hyphen('-') 뒤에 바로 붙는 알파벳 하나 이상은 옵션을 의미합니다. 파이썬은 컴퓨터 자체에 설치되어 있는 MeCab을 그대..
일본어 형태소 분석기 MeCab 설치 및 파이썬 환경 구현 (Mac M1)
Python/Library 2023. 8. 11. 일본어 형태소 분석기 MeCab 설치 및 파이썬 환경 구현 (Mac M1) 본 포스팅 내용은 일본어 형태소 분석기 'Mecab' 의 설치 및 데이터 처리의 용이성을 위해 파이썬 환경에서 구현하는 과정을 담고 있습니다. 기본적인 MeCab 을 컴퓨터에 설치하기 모델 : Macbook M1 Pro 운영체제 : macOS Ventura 13.4.1 Homebrew 4.1.4 Python3 3.10.10 1. Homebrew를 통한 MeCab Formulae 설치 brew install mecab brew install mecab-ipadic homebrew 실행 후 위의 명령어를 입력해줍니다. 첫 번째 줄은 일본어 형태소 분석기 MeCab 을 설치하는 단계, 두 번째 줄은 MeCab에서 사용되는 형태소 사전을 설치하는 단계입니다. 2. 실행 이후의 설치가 완료되었다면 터..
[MeCab] 일본어 형태소 분석기 MeCab 설치(MacOS)
Python/Library 2023. 5. 12. [MeCab] 일본어 형태소 분석기 MeCab 설치(MacOS) 최근에 일본어 자연어처리 논문을 준비하고 있는데 어떤 형태소 분석기가 좋을지 janome, Kotori, GiNZA 등 여러 개를 파악하고 마지막으로 MeCab을 설치하려고 했는데 구글 대한민국 검색 엔진으로 검색해보니 죄다 MeCab 기반 온전한닢 형태소 분석기만 나오길래 국내 검색 엔진에도 MeCab 일본어 형태소 분석기 설치 방법에 대한 문서가 있으면 좋겠다 싶어서 작성하게 되었습니다. Homebrew : 4.0.17 Terminal : oh-my-zsh Python : 3.10.10 Pip : 23.1 mecab-python3 : 1.0.6 1. Homebrew를 이용한 mecab 사전(preparation) 준비 brew install mecab brew install mecab-ipadic 터..
[파이썬 라이브러리] Logging을 통해 기록하기
Python/Library 2023. 2. 8. [파이썬 라이브러리] Logging을 통해 기록하기 1. 개요 모든 사람들이 그렇듯 프로그래밍 언어의 결과물을 파악하기 위해서 출력함수를 사용할 것이고 나 역시 지금까지 파이썬을 학습하면서 print 함수만으로 결과를 파악했다. 머신러닝에서 에포크를 수정하거나, 학습률을 조정해보면서 다양한 결과를 줄곧 print 함수로 비교하고, txt 파일을 만들어 결과값을 기록했지만 직관성이 부족해서 애를 먹어왔다. 그런데 인공지능 강의를 보다가 Logging이라는 라이브러리에 대해 얕게 배울 수 있었는데 무척 매력적이게 다가왔다. 그래서 추가로 배운 정보를 토대로 중요한 요점만 짚으며 짧게 Logging 이라는 것을 이 곳에 남겨보고자 한다. 2. Log와 Logging 로깅은 컴퓨터에서 얻은 정보(Log)를 출력하거나 파일의 형식으로 저장, 전송하는 라이브러리이다..

티스토리툴바