티스토리 뷰
gensim 패키지를 사용해서 doc2vec 모델이나 word2vec 모델을 학습할 때에 gensim 자체적으로 c complier를 사용하여 더욱 빠르게 학습이 가능하게 하였다고 합니다.
하지만 자신의 컴퓨터에 c extension이 설치 되지 않은 경우에는 학습 속도가 느릴것이다는 메시지가 나올수 있습니다. 해당 메시지를 보지 않고 미리 C complier와 link가 잘 되었는지 확인하는 방법을 간단하게 정리합니다.
from gensim.models.word2vec import FAST_VERSION
위와 같이 FAST_VERSION을 import 한 후에 해당 값이 '0' 혹은 '1'인 경우에는 C complier를 사용해서 빠른 속도로 학습할 준비가 된것을 확인 할 수 있습니다.
데이터가 작은 경우네는 큰 차이가 없겠지만 속도면에서 최대 70배 차이가 난다고하니 가능하면 설정을 하고 학습하는게 좋을거 같습니다.
'기계학습' 카테고리의 다른 글
[Gensim] Pretrained Doc2vec model에서 tag 리스트 가져오기 (0) | 2020.05.07 |
---|---|
[Pytorch] nn.Embedding.from_pretrained로 fasttext 불러오기 (0) | 2020.04.19 |
[Gensim] unable to import 'smart_open.gcs', disabling that module 오류 해결 (0) | 2020.04.19 |
[Pytorch]“AttributeError: LSTM object has no attribute flat_weights_names” (0) | 2020.03.31 |
[Pytorch] F.cross entropy vs nn.Cross Entropy loss (0) | 2020.02.27 |
댓글