인생을 최고로 여행하라

gensim 패키지를 사용해서 doc2vec 모델이나 word2vec 모델을 학습할 때에 gensim 자체적으로 c complier를 사용하여 더욱 빠르게 학습이 가능하게 하였다고 합니다. 하지만 자신의 컴퓨터에 c extension이 설치 되지 않은 경우에는 학습 속도가 느릴것이다는 메시지가 나올수 있습니다. 해당 메시지를 보지 않고 미리 C complier와 link가 잘 되었는지 확인하는 방법을 간단하게 정리합니다. from gensim.models.word2vec import FAST_VERSION 위와 같이 FAST_VERSION을 import 한 후에 해당 값이 '0' 혹은 '1'인 경우에는 C complier를 사용해서 빠른 속도로 학습할 준비가 된것을 확인 할 수 있습니다. 데이터가 작은 ..

서버에서 python 프로세스를 실행하다가 별도의 에러 메시지 없이 "killed"라는 출력과 함께 프로세스가 죽는 경우가 있습니다. 대부분이 out of memory가 원인이지만 그래도 한번쯤은 원인을 보고 싶을때가 있습니다. 검색해보니 간단한 리눅스 명령어로 확인하는 방법이 있어서 정리합니다. dmesg -e

from torch.nn import Embedding import gensim model_test = gensim.models.fasttext.load_facebook_model("/MY/FASTTEXT/bin MODEL FILE") fastext_wv = model_test.wv.vectors embeding = torch.nn.Embedding.from_pretrained(torch.FloatTensor(fastext_wv))

gensim 패키지를 설치하면서 오류가 발생해서 정리합니다. 보통 패키지를 pip명령어로 아래와 같이 간편하게 설치합니다. pip install gensim 근데 설치 후에 코드에서 import를 하면 아래와 같은 오류가 발생하는 경우가 있는데요. unable to import 'smart_open.gcs', disabling that module 해당 에러는 gensim이 설치되면서 같이 설치되는 "smart_open"패키지의 버전이 맞지 않아서 생기는 오류라고 합니다. 간단하게 아래 명령어로 samrt_open의 버전을 낮춰주면 문제가 해결됩니다. pip install smart_open==1.10.0

모델 학습하고 API를 만들면서 모델 불러오는 과정 중에 에러가 나와서 해결 방법 정리... “AttributeError: LSTM object has no attribute flat_weights_names” 사실 창피하게도 torch 설치 버전이 안맞아서 그런거 였음... 학습은 1.1.0에서 하고 API세팅하면서 torch 버전을 1.3으로 설치했더니 버전이 안맞아서 생긴 문제였다...