Mallet的基本使用

if "%CMD%"=="classify-file" set CLASS=cc.mallet.classify.tui.Csv2Classify
if "%CMD%"=="classify-dir" set CLASS=cc.mallet.classify.tui.Text2Classify

1.?将源文件格式转换为mallet自己的处理格式

C:\mallet-2.0.7 >bin\mallet import-dir --input D:\testfile --output D:\classify-input.mallet

?

2.使用mallet算法库中的NaiveBayes算法训练获得分类器

C:/mallet>bin\mallet train-classifier --input D:\classify-input.mallet --trainer NaiveBayes --training-portion 0.8 --output-classifier D:\classifier1.classifier  

--input参数的值classify-input.mallet?是第 一步中生成的特征向量

--trainer参数的值NaiveBayes?是指训练分类器的算法，可以指定其他算法，例如?MaxEnt等?

--training-portion?参数的值这里是0.8?， 可以根据需要设定，0.8?的意思是随机抽取classify-input.mallet?数据中的80%?当训练数据，剩下的当测试数据，用于测试已训练好的分类器的准确性等等性能指标。

--output-classifier?参数的值classifier1.classifier?是所存已训练好的分类器的名称。

?

3.使用分类器测试新数据集

C:/mallet>bin\mallet classify-file --input D:\text.txt --output - --classifier D:\classifier1.classifier

--output?后面参数值“-?”意思是直接在命令行中输出所属各个类别的概率,也可以是”D:\result_file.txt“。

--classifier?参数的值是指使用的分类器名称（即，训练好的分类器）。

?

1. 将训练集转换为mallet专用格式

C:/mallet>bin\mallet import-dir --input D:\sample-data\topic-input --output D:\topic-input.mallet --keep-sequence --remove-stopwords

?--keep-sequence?参数必须有，否则会出错，因为主题建模时所用数据源就是特征序列，而不是特征向量，所以必须用--keep-sequence?此参数 来限制转换数据的格式。

--remove-stopwords?的意思是移除停用词。

?

2. 训练主题

C:/mallet>bin\mallet train-topics --input D:\topic-input.mallet --num-topics 2 --output-doc-topics D:\docstopics.txt --inferencer -filename D:\infer1.inferencer

--num-topics?的值2?意思是限定主题个数为2，默认的主题数为10

--output-doc-topics?参数的意思是输出文档-?主题矩阵，存到docstopics文件中

--inferencer?-filename?参数的意思是对将训练好的主题模型进行存储,此主题模型存到参数值infer1.inferencer中

?

3.测试集

C:/mallet>bin\mallet import-dir --input D:\sample-data\data --output D:\topic-test.mallet --keep-sequence  --remove-stopwords

?

4.获得测试集的主题类别

C:/mallet>bin\mallet infer-topics --input D:\topic-test.mallet --inferencer D:\infer1.inferencer --output-doc-topics D:\testdocstopics.txt

?

【参考博客】