首页 > 其他 > 详细

word2vec

时间:2021-08-23 08:31:42      阅读:19      评论:0      收藏:0      [点我收藏+]

介绍

cbow:上下文词向量求和,预测中心词
skip-gram:中心词预测上下文

优化

1、哈夫曼树
把常规的 softmax 优化为 哈夫曼softmax,优化的是每个样本在哈夫曼树上的路径概率
与样本无关。

2、负采样
对每一个正样本,按照词频构建负样本,构建二分类任务,梯度下降求解。
可以用常规的 softmax 函数

参考博客

https://www.cnblogs.com/pinard/p/7160330.html

word2vec

原文:https://www.cnblogs.com/wa007/p/15173901.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!