首页 > 编程语言 > 详细

Python实现word2Vec -model

时间:2019-12-01 18:26:22      阅读:66      评论:0      收藏:0      [点我收藏+]
import gensim, logging, os
logging.basicConfig(format=%(asctime)s : %(levelname)s : %(message)s, level=logging.INFO)
import nltk

corpus = nltk.corpus.brown.sents()

fname = brown_skipgram.model
if os.path.exists(fname):
    # load the file if it has already been trained, to save repeating the slow training step below
    model = gensim.models.Word2Vec.load(fname)
else:
    # can take a few minutes, grab a cuppa
    model = gensim.models.Word2Vec(corpus, size=100, min_count=5, workers=2, iter=50)
    model.save(fname)

words = "woman women man girl boy green blue".split()
for w1 in words:
    for w2 in words:
        print(w1, w2, model.similarity(w1, w2))

print(model.most_similar(positive=[woman, ‘‘], topn=1))
print(model.similarity(woman, girl))girl

在gensim模块中已经封装了13年提出的model--word2vec,所以我们直接开始建立模型

 

技术分享图片

 

 这是建立模型的过程,最后会出现saving Word2vec的语句,代表已经成功建立了模型

 

技术分享图片

这是输入了 gorvement和news关键词后 所反馈的词语 --- administration, 他们之间的相关性是0.508

当我在输入 women 和 man ,他们显示的相关性的0.638 ,已经是非常高的一个数字。

值得一提的是,我用的语料库是直接从nltk里的brown语料库。其中大概包括了一些新闻之类的数据。

 

大家如果感兴趣的话,可以自己建立该模型,通过传入不同的语料库,来calc 一些term的 相关性噢

 

 

 

 

Python实现word2Vec -model

原文:https://www.cnblogs.com/lesliechan/p/11966642.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!