程序员人生 网站导航

svmlight使用心得

栏目:综合技术时间:2015-03-12 08:38:40

最近用其svmlight进行movie review文本分类的问题。查阅了1些svmlight软件的使用方法,在此整理以下:

1)下载svm_light软件,分别为svm_classify.exe和svm_learn.exe

2)下载它的训练数据的example,以下面的图所示:

train.dat


model


test.dat与train.dat格式相似

3)下面了解1些训练数据的格式

文件格式

文件格式要先交代1下. 你可以参考 libsvm 里面附的 “heart_scale”: 这是SVM 的输入文件格式.

[label] [index1]:[value1] [index2]:[value2] …

[label] [index1]:[value1] [index2]:[value2] …

1行1条记录数据,如:

+1 1:0.708 2:1 3:1 4:-0.320 5:-0.105 6:⑴

label

或说是class, 就是你要分类的种类,通常是1些整数。

index

是有顺序的索引,通常是连续的整数。

value

就是用来 train 的数据,通常是1堆实数。

每行都是如上的结构, 意思就是: 我有1排数据, 分别是 value1, value2, …. value, (而且它们的顺序已由 index 分别指定),这排数据的分类结果就是label。

也许你会不太懂,为何会是 value1,value2,…. 这样1排呢? 这牵涉到 SVM 的原理。你可以这样想(我没说这是正确的), 它的名字就叫 Support “Vector” Machine,所以输入的训练数据是 “Vector”(向量), 也就是1排的 x1, x2, x3, … 这些值就是 value,而 x[n] 的n就是由index 指定。这些东西又称为 “(属性)attribute”。

真实的情况是,大部分时候我们给定的数据可能有很多 “特点(feature)” 或说 “属性(attribute)”,所以输入会是1组的。举例来讲,之前面点分区的例子 来讲,我们不是每一个点都有 X 跟 Y 的坐标吗?所以它就有两种属性。假定我有两个点: (0,3) 跟 (5,8) 分别在 label(class) 1 跟 2 ,那就会写成

1 1:0 2:3
2 1:5 2:8
同理,空间中的3维坐标就等于有3组属性。这类文件格式最大的好处就是可使用稀疏矩阵(sparse matrix),或说有些数据的属性可以有缺失。

以上粉色内容摘自http://blog.sina.com.cn/s/blog_53c2bcbb01008zi5.html

4)Dos进入训练、测试数据所在的文件夹,进行测试

>svm_learn -c 0.5 -g 3.2 train.dat model 

>svm_classify test.txt model predict_result.txt 

其中有1些参数,我以后用到时会再发博客讲授。

------分隔线----------------------------
------分隔线----------------------------

最新技术推荐