首页 > 其他 > 详细

word2Vec使用

时间:2021-08-04 11:27:00      阅读:23      评论:0      收藏:0      [点我收藏+]

1.加载腾讯语料库代码

适合新闻文本数据

from gensim.models.word2vec import KeyedVectors
import jieba
import pandas as pd
import gensim
from gensim.models import word2vec

model = KeyedVectors.load_word2vec_format("45000-small.txt") #加载训练好的词向量
print(model.doesnt_match("性价比 好".split(" ")))
print(model.similarity(‘好‘,"超好"))
print(model.most_similar(positive=[‘设施‘, ‘好‘], negative=[‘不好‘], topn=1))
print(model.doesnt_match("上海 成都 广州 北京".split(" ")))
print(model.most_similar(‘不错‘,topn=10))

2.加载自定义的语料库--评论文本为例

适合特定环境的语料。如酒店评论文本

def divide_word(df,column=‘评论内容‘):  #分词
    seg_list = jieba.cut(df[column], cut_all=False)
    return " ".join(seg_list)

data_hotel=pd.read_csv("data/process_data/酒店评论.csv",encoding=‘gbk‘)
data_hotel[‘评论分词‘] = data_hotel.apply(divide_word,axis = 1)


sentences=[]
for item in data_hotel[‘评论分词‘]:  #改成二维列表保存,word2Vec识别
    ls=item.split(" ")
    sentences.append(ls)
for item in data_area[‘评论分词‘]:
    ls=item.split(" ")
    sentences.append(ls)
model = gensim.models.Word2Vec(sentences,  vector_size=200) #加载自定义语料库
print(model.wv.most_similar(‘服务‘,topn=10))

word2Vec使用

原文:https://www.cnblogs.com/linli069/p/14713181.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!