基于Weka平台的机器学习方法探究

ＩＳＳＮ　１００９－３０４４　Ｅ—ｍａｉｌ：ｅｄｕｆ＠ＣＣＣＣ．ｎｅｔ．ｅｎ　ｈｔｔｐ：／／ｗｗｗ．ｄｎｚｓ．ｎｅｔ．ｅｎ　Ｔｅｈ＋８６—５５　１—５６９０９６３　５６９０９６４　Ｃｏｍｐｕｔｅｒ　Ｋｎｏｗｌｅｄｇｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ电脑知识与技术　Ｖｏ１．８，Ｎｏ．１０，Ａｐｒｉｌ　２０１２．　基于Ｗｅｋａ平台的机器学习方法探究　李德有，李凌霞，郭瑞波　（哈尔滨金融学院，黑龙江哈尔滨１５００３０）　摘要：针对机器学习技术理论性强、内容抽象、实践难的特点，提出了以ｗｅｋａ软件为平台的机器学习实践方案，并详细阐述了实施　过程。通过对结果分析，达到使用Ｗｅｋａ实践机器学习技术解决实际问题的目的。　关键词：机器学习；数据挖掘；ＷＥＫＡ　中图分类号：Ｇ６４２　文献标识码：Ａ　文章编号：１００９—３０４４（２０１２）１０—２３３４—０４　Ｒｅｓｅａｒｃｈ　ｏｆ　Ｍａｃｈｉｎｅ　Ｌｅａｒｎｉｎｇ　Ｂａｓｅｄ　ｏｎ　Ｗｅｋａ　Ｐｌａｔｆｏｒｍ　ＬＩ　Ｄｅ—ｙｏｕ，ＬＩ　Ｌｉｎｇ—ｘｉａ，ＧＵＯ　Ｒｕｉ—ｂｏ　（Ｈａｒｂｉｎ　Ｆｉｎａｎｃｅ　Ｕｎｉｖｅｒｓｉｔｙ，Ｈａｒｂｉｎ　１　５００３０，Ｃｈｉｎａ）　Ａｂｓｔｒａｃｔ：Ｆｏｒ　ｔｈｅ　ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ　ｏｆ　ｔｈｅ　ｓｔｒｏｎｇ　ｔｈｅｏｒｅｔｉｃａｌ，ｃｏｎｔｅｎｔ　ａｂｓｔｒａｃｔｉｏｎ　ａｎｄ　ｈａｒｄ　ｐｒａｃｔｉｃｅ　ｄｕｒｉｎｇ　ｔｈｅ　Ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ，ｗｅ　ｐｒｅｓｅｎｔ　Ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ　ｐｒａｃｔｉｃａｌ　ｓｏｌｕｔｉｏｎｓ　ｂａｓｅｄ　ｏｎ　Ｗｅｋａ　ｐｌａｔｆｏｒｍ　ｉｎ　ｔｈｉｓ　ｐａｐｅｒ，ａｎｄ　ｅｌａｂｏｒａｔｅ　ｔｈｅ　ｉｍｐｌｅｍｅｎｔａｔｉｏｎ　ｐｒｏｃｅｓｓ　ｏｆ　ｔｈｅ　ｅｘｐｅｒｉｍｅｎｔａｌ　ｐｒｏｇｒａｍ．Ｂｙ　ａｎａｌｙｚｉｎｇ　ｔｈｅ　ｒｅｓｕｌｔｓ，．Ａｃｈｉｅｖｅｄ　ｕｓｉｎｇ　ｔｈｅ　Ｗｅｋａ　ｐｒａｃｔｉｃｅ　ｏｆｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ　ｔｅｃｈｎｏｌｏｇｙ　ｔＯ　ｓｏｌｖｅ　ｐｒａｃｔｉｃａｌ　ｐｒｏｂｌｅｍｓ．　Ｋｅｙ　ｗｏｒｄｓ：ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ；ｄａｔａ　ｍｉｎｉｎｇ；ＷＥＫＡ　数据挖掘是２０世纪９０年代中期兴起的新技术，它是指从大量的、不完全的、有噪声的、随机的实际应用数据中，提取隐含在其　中的、人们事先不知道的、但又是潜在有用的信息和知识的过程ｎ　。随着信息技术的发展，人们对数据挖掘越来越重视，特别在经　济、统计和金融领域的应用和实践越来越成熟，机器学习技术是数据挖掘中非常有用的工具之一，新西兰怀卡大学开发的Ｗｅｋａ机　器学习软件是很受欢迎的一个实用工具。　１　Ｗｅｋａ平台　Ｗｅｋａ工作平台汇集了当今主要的数据挖掘算法和数据预处理工具，包含能处理绝大多数的标准数据挖掘问题的方法：回归、　分类、聚类、关联规则挖掘以及属性选择。它为数据挖掘实验的整个过程提供了广泛的支持，包括准备要输入的数据、统计评估数　据挖掘方案，以及可视化输入数据和数据挖掘结果等。使用户能够很容易地将各种数据挖掘算法应用于其要处理的数据集中。　Ｗｅｋａ的图形用户界面如图１所示，用户可以通过操作运用其所包含的工具组件，比较不同的数据挖掘算法，找出能够解决当前问题　的最有效的方法。　．　图１　Ｗｅｋａ的图形用户界面　Ｗｅｋａ的主要图形用户界面Ｅｘｐｌｏｒｅｒ，在Ｅｘｐｌｏｒｅｒ界面顶部的六个不同的标签，表示六个不同的面板，分别对应着Ｗｅｋａ所支持的　不同的数据挖掘方式，如图２所示。　收稿日期：２（）１２－０３—０２　基金项目：黑龙江省教育厅科学技术研究项目——基于机器学习的农村信用社经营效益监测研究（项目编号：１２５２１０６５）　作者简介：李德有（１９７２一），男，黑龙江哈尔滨人，哈尔滨金融学院副教授，主要研究方向为金融计算机应用。　２３３４…人工智镌厦识别技术　ｍ　本栏目责任编辑：唐一东　第８卷第１０期（２０１２年４月）　Ｃｏｍｐｕｔｅｒ　Ｋｎｏｗｌｅｄｇｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ电脑知识与技术　Ｓｔ　毪　Ｅ　毪　鼍　＊＊　翠　毪　¨ｌ　爨　毫　琏　茸强　口　ｈ榔慷髓ｔ鞋　衄　越　薯｛　薯　§　ｔⅢ＝Ⅲ　藏　ｉｉ　图２　Ｗｅｋａ的用户界Ｅｘｐｌｏｒｅｒ　在Ｅｘｐｌｏｒｅｒ窗口顶部六个标签的功能分别是：　１）预处理（Ｐｒｅｐｒｏｃｅｓｓ）：选择数据集，并以多种方式对其进行修改。　２）分类（ＣｌａｓｓｉｆＶ）：训练用作分类或回归的学习方案，并对它们做评估。　３）聚类（Ｃｌｕｓｔｅｒ）：学习数据集的聚类。　４）关联（Ａｓｓｏｃｉａｔｅ）：学习数据的关联规则并对其评估。　５）选择屙胜（Ｓｅｌｅｃｔ　ａｔｔｒｉｂｕｔｅｓ）：在数据集中选择最相关的部分。　６）可视化（Ｖｉｓｕａｌｉｚｅ）：查看不同的二维数据点图并与其互动。　２基于Ｗｅｋａ平台的机器学习过程　该文以数据挖掘技术在通信公司客户关系管理中的应用为例，具体介绍如何应用Ｗｅｋａ平台进行关于决策树的机器学习技术　实践。　２．１数据准备　由于数据挖掘要处理的数据来自不同的数据源，数据量大，数据结构复杂，还有大量数据重复、歧义，并且里面空缺数据、噪声　数据、冗余数据等对数据挖掘有负面影响的数据。数据准备主要包含以下三个方面：　１）确定项目目标。了解此次数据挖掘需要处理的任务，确定项目目标，制定挖掘计划，并制定一个针对数据挖掘结果的评价　准。这个项目目标应该是适用于选取的聚类分析方法来达到的。　２）数据收集。根据挖掘项目的目标，确定项目涉及的业务对象，确定要进行挖掘所需要的数据源。　３）数据集成。将多个数据源中的多种数据整合在一起，数据集成的目的是解决语义模糊性，统一数据格式，消除冗余，保证　据的一致性、完整性和有效性，为数据挖掘打下良好的基础。　２．２数据载入　Ｗｅｋａ存储数据的原始方式是ＡＲＦＦ格式，大多数电子表及数据库程序允许用户将数据导人ＣＳＶ格式的文件中，Ｗｅｋａ能够直接　读取ＣＳＶ数据表。教师为学生提供数据集，我们选择的数据源主要有客户档案记录、客户营销记录、销售单主表、销售退货表、客户　联系表、客户投诉记录等，数据集成后生成客户行为特征表电子表格ｃｕｓｔｏｍｅｒｂｅｈａｖｉｏｒ．ｘｌｓ，在ＭｉｃｒｏｓｏｆｔＥｘｃｅｌ中将此文件存储为ｅｕｓ—　ｔｏｍｅｒ　ｂｅｈａｖｉｏｒ．ＣＳｖ，Ｅｘｐｌｏｒｅｒ能够直接读取ＣＳＶ电子数据表格。学生只需要将此数据集通过Ｗｅｋａ的图形用户界面Ｅｘｐｌｏｒｅｒ载人系　统，供下面的数据挖掘使用。　单击图１的“Ｅｘｐｌｏｒｅｒ＂按钮，进入“Ｅｘｐ１ｏｒｅｒ＂界面，如图２所示。单击“Ｐｒｅｐｒｏｃｅｓｓ”标签，进入预处理阶段。单击“Ｏｐｅｎｆｉｌｅ”按钮，　通过弹出的对话框选择我们的数据文件ｃｕｓｔｏｍｅｒ　ｂｅｈａｖｉｏｒ．ＣＳＶ，在这里假定我们的数据文件中的数据是完整的、无噪声的、一致的。　载人数据文件后，面板中会显示所载入的数据集包含的实例个数和属性项数，如图３所示。由图可知所载入的数据集含有１４　个实例和１２个属性。这里我们选ｃｕｓｔｏｍ　ｐａｃｋａｇｅ作为分类属性。　可通过单击复选框和Ｒｅｍｏｖｅ按钮来删除属性。单击Ａｌｌ则选中全部属性，Ｎｏｎｅ表示不选，Ｉｎｖｅ￣则反向转换目前的选择。通过　点击Ｕｎｄｏ按钮撤销所做的改动。点击Ｅｄｉｔ按钮会弹出一个编辑器。通过编辑器可检查数据，搜索具体的值并对其进行编辑，以及　删除实例和属性。　本栏目责任编辑：唐一东　＊　人工智能硬识别技术一２３３５　第８卷第１Ｏ期（２０１２年４月）　Ｃｏｍｐｕｔｅｒ　Ｋｎｏｗｌｅｄｇｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ电脑知识与技术　ｗｅｋａ．ｃｌａｓｓｉ￡ｉｅ　ｒｓ．ｔｒｅｅｓ．Ｊ４８一Ｃ　０．２５一Ｍ　２　ｄａｔａ　ｌ４　１２　Ｓｈｏｒｔ　ｍｅｓｓａｇｅｓ　Ｈｏｎｔｅｒｎｅｔ　ｔｉｍｅｓ　ⅡＡＰ　Ｉｎｔｅｒｎｅｔ　Ｔｉｍｅ　６豫Ｓ　Ｄａｔａ　Ｆ１ｏ％ｒ　ＩＰ　ｌｏｎｇ—ｄｉｓｔａｎｃｅ　ｆｒｅｑｕｅｎｃｙ　ｏｆ　ｕｓｅ　ｔｈｅ　ｎｕｍｂｅｒ　ｏｆ　ｃａｌｌｓ　ｉｎ　ｃｏｎｃｅｓｓｉｏｎａｒＹ　ｐｅｒｉｏｄ　Ｃｕｓｔｏｍ　Ｐａｃｋｇｅ　Ｆｒｅｑｕｅｎｃｙ　ｏｆ　ｕ．ｓｅ　ｒｅａｌ　靶ｎ　Ｉ霉ｎ　雌ｎ啦＝ｈ北吐　昌　：１ｏｃａｌ　ｃａｌ１ｓ　ＩｎＰｒｏｖｉｎｃｅ　ｔｉｍｅｓ　Ｂｅｔ￣ｅｅｎＰｒｏｖｉｎｃ　ｅ　ｔｉｍｅｓ　啦盹　：　Ｐｅｒｓｏｎａｌｉｚｅｄ　ｓｅｒｖｉｃｅ　Ｔｅｓｔ　ｍｏｄｅ：　１０－ｆｏｌｄ　ｃｒｏｓｓ－ｖａｌｉｄａｔｉｏｎ　…Ｃｌａｓｓｉｆｉｅｒ　ｍｏｄｅｌ　ｃｆｕｌｌ　ｔｒａｉｎｉｎｇ　ｓｅｔ）一　Ｊ４８　ｐｒｕｎｅｄ　ｔｒｅｅ　Ｃｕｓｔｏｍ　Ｐａｃｋｇｅ＝ｙｅｓ：ｙｅｓ　ｆ６．０　Ｃｕｓｔｏｍ　Ｐａｃｋｇｅ＝ｎｏ：ｎｏ　ｃ８．０）　ＮｕｍｂｅＫ　ｏｆ　Ｌｅａｖｅｓ：　２　Ｔｉｍｅ　ｔａｋｅｎ　ｔｏ　ｂｕｉＩｄ　ｍｏｄｅ１：０．０３　ｓｅｃｏｎｄｓ　—一Ｓｔｒａｔｉｆｉｅｄ　ｃＥＯＳＳ—ｖａｌｉｄａｔｉｏｎ一Ｓｕｍｍａｒｙ—　　Ｃｏｔｒｅｃｔｌｙ　Ｃ１ａｓｓｉｆｉｅｄ　Ｉｎｓｔａｎｃｅｓ　Ｉｎｃｏｒｒｅｃｔｌｙ　Ｃｌａｓｓｉｆｉｅｄ　Ｉｎｓｔａｎｔｅｓ　Ｋａｐｐａ　ｓｔａｔｉｓｔｉｃ　ｌ４　０　ｌ　０　０　ｌ００　０　％　Ｍｅａｎ　ａｂｓｏｌｕｔｅ　ｅｒｒｏｒ　ＲＯＯｔ　ｍｅａｎ　ｓｑｕａｔｅｄ　ｅＥｒｏｅ　Ｒｅｌａｔｉｖｅ　８ｂｓｏｌｕｔｅ　ｅｒｒｏｔ　Ｒｏｏｔ　ｒｅｌａｔｉｖｅ　ｓｑｕａｒｅｄ　ｅｒｒｏｒ　Ｔｏｔａｌ　Ｎｕｍｂｅｒ　ｏ￡Ｉｎｓｔａｎｃｅｓ　０　０　１４　％　ＴＰ　Ｒａｔｅ　ｌ　ＦＰ　Ｒａｔｅ　０　０　Ｒｅ　ｃａｌｌ　Ｆ—Ｍｅａｓｕｒｅ　ｌ　Ｒ０Ｃ　ｊ　ｌ　ｌ　Ｗｅｉｇｈｔｅｄ　Ａｖｇ．　１　ｌ　ｌ　ｌ　０　ａ　ｂ　Ｃ一一ｃｌａｓｓｉｆｉｅｄ　ａｓ　６　０　Ｉ　ａ＝ｙｅｓ　０　８　Ｉ　ｂ＝ｎｏ　图５输出结果　由图５可知，１００％的实例在１０一ｆｏｌｄ　ＣＲＯＳＳ—ｖａｌｉｄａｔｉｏｎ验证方法中是正确分类的，这表明，测试集所得到的结果是客观的。　３结束语　机器学习技术具有理论性强、内容较为抽象的特点，只有通过像Ｗｅｋａ这样实用可靠的平台才能真正解决实际问题，但Ｗｅｋａ平　台本身也有一定的局限性和不足，随着数据挖掘研究的深入和技术的不断提高，我们将研究其它数据挖掘工具作作为机器学习技　术实践补充的可行性。　参考文献：　［１］赵阳．Ｗｅｋａ系统及其在数据挖掘教学中的应用［Ｊ］．科技信息，２００８（３０）：４０９—４１０．　［２】孟晓明，陈慧萍，张涛．基于ＷＥＫＡ平台的Ｗｅｂ事务聚类算法的研究［Ｊ］．计算机工程与设计，２００９，３０（６）：１３３２—１）３４．　［３】高明霞，方娟，毛国君．开源工具在机器学习教学中的应用『Ｊ１．计算机教育，２００９（３）：１００—１０２．　本栏目责任编辑：唐一东　人工■幢及识剐技术…２３３７