首页 > 其他 > 详细

BERT 学习笔记

时间:2019-05-19 19:54:56      阅读:143      评论:0      收藏:0      [点我收藏+]

Bert的三大特点:

1、预训练和微调

  预训练 就是指预先训练的一个模型或者指预先训练模型的过程

  微调 就是指将预训练过的模型作用于自己的数据集,并使参数适应自己数据集的过程

  说到预训练,就要说起迁移学习。

  迁移学习是指一种学习对另一种学习的影响,或习得的经验对完成其他活动的影响。在过去,前人们训练出了好多很好的模型,但是,随着时间变迁,许多情况在改变,那些很好的模型可能不再适合现在的数据了。如何让前人的好模型继续发挥它们的作用呢?有人想到迁移学习,以前的好模型还能继续用,只是以前的模型输出成为新模型的输入。这样,不仅可以能让结果更好,而且能让训练效率更高,大大加快了速度。

2、双向LSTM

  LSTM:是长短期记忆网络,是一种时间循环神经网络,适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。

  

3、MASK

BERT 学习笔记

原文:https://www.cnblogs.com/zhuangzi101/p/10890411.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!