黑客只需翻转20%的训练样本 svm错误率将达50%

当机器学习在各个领域流行开来, 其安全性也日益受到重视.
分类算法往往需要在一些标注好的样本上进行训练(例如垃圾邮件和正常邮件),才能在新的数据上进行分类或预测. 但是如果黑客控制了一部分训练样本会怎么样? 例如, 如果恶意捣蛋者故意举报合法的邮件或网站, 分类系统将会受怎样的影响? 两名来自慕尼黑工大的研究员对流行的二分类支持向量机(SVM)进行分析. 他们发现攻击者只需要翻转约20%的训练样本的标注,就可以使SVM的分类边界产生显著变化, 并迫使其错误率提升至50%(即瞎猜的水平). 该结果发表在最近召开的第20届欧洲人工智能会议上.”