Recurrent Neural Network Language Modeling Toolkit 工具使用点击打开链接
按照训练的进度学习代码:
trainNet()中的结构:
step1.
learnVocabFromTrainFile() 统计训练文件中所有的单词信息,并对统计好的信息进行整理
涉及的数据结构:
vocab_word
ocab_hash *int
涉及的函数:
addWordToVocab()
对于一个单词w,将其信息存入vocab_word结构的数组中,其结构下标为wp,然后取w的hash码(getWordHash),使该hash码的值为 其 在vocab_word结构中的下标wp。[后面会对vocab_word进行sort,单词w的下标可能会发生改变,这个在searchVocab中会有体现]
searchVocab()
查找并返回单词w在vocab_word中的下标。取其hash码,在vocab_hash中查找,如果查不出则返回-1,否则找到的下标,取出vocab中该 下标对应的单词与单词w进行对比,如果相同,则返回该下标,否则在vocab中逐个查找对比,对找到的下标在vocab_has中进行添加并返回;如果还是找不到,则返回-1。
sortVocab()
依据单词在训练集中出现的次数,对vocab_word进行重排序。
Recurrent Neural Network Language Modeling Toolkit代码学习,布布扣,bubuko.com
Recurrent Neural Network Language Modeling Toolkit代码学习
原文:http://blog.csdn.net/wangxinginnlp/article/details/38385471