大规模文本数据的存储方法研究

二三二垂重　堡　料２　０　１　７ｇ－４月第１　８　ｇ＞ａ　４期　大规模文本数据的存储方法研究　张金松　，张一进　（１大连海事大学交通运输管理学院　辽宁　大连　１　１　６　０　２　６）　（２东北财经大学工商管理学院　辽宁　大连　１１　６　Ｏ　２　６）　【摘要】本文以大规模文本数据作为研究对象，在对非关系型数据库进行对比后，采用关系型与非关系型数据库整　合的方案存储大规模文本数据，并将这一方案在ＪＡＶＡ髓架构中，以文本数据作为对象进行应用，从而满足数据存储的　要求。通过实际应用为例，对存储方法进行了验证。　【关键词】大数据；文本数据；数据存储；非关系型数据库　【中图分类号】ＴＰ３９１．１　【文献标识码】Ａ　【文章编号】１００９－５６２４（２Ｏ１７）０４－００６０－０５　１引言　具已经难以有效的对数据集合进行快速存储与管　理，这也就为数据的存储与管理提出了新的任务。　Ｈａｄｏｏｐ分布式文件系统（Ｈａｄｏｏｐ　ＤｉＳｔｒｉｂｕｔｅｄ　Ｆ¨ｅ　Ｓｙｓｔｅｍ，ＨＤＦＳ）和ＭａｐＲｅｄｕｃｅ技术可以在大数据环境　随着互联网、物联网、云计算等新兴技术的发展，　以微博、微信等社交网络为代表的新型信息发布方式　的不断涌现，加之移动互联网、电子商务应用的快速　普及，数据的产生不再局限于特定的时间、地点，全　球数据正在以前所未有的速度不断累积。正如国际数　据公司（Ｉ　ＤＣ）的研究报告…所称，自２０１０年数据量　就已超过ｚＢ数量级（１ＺＢ＝１０亿ＴＢ），这正标志着大　数据时代的到来。大数据环境下，数据形式更加多源　化，其中文本数据作为非结构化数据的一种表现形式，　充斥在互联网中，并出现了数据爆炸的现象，因此，　对这一类数据进行有效存储是数据分析和挖掘的首要　前提。　大数据环境下，传统的数据存储方法与软件工　下完成海量数据的计算、处理等工作，但传统数据库　的存储能力与响应速度仍制约着大数据处理能力的发　展。因此，如何突破传统关系型数据库在大数据环境　下的束缚，成为大数据研究的另一个热点问题。　非关系型数据库，即ＮＯＳＱＬ，是在关系型数据库　的基础上发展产生的，能够为大规模文档数据的存储　提供有效解决方案。ＮＯＳＱＬ是在关系型数据库广泛应　用的基础上产生的，特别是Ｗｅｂ２．０时代，对数据存　储提出了更高的要求，关系型数据库在数据存储方面　表现的不足，正极大程度的促进了ＮＯＳＱＬ数据库产品　２．４　ＢＩＭ人才紧缺。ＢＩＭ发展迅速，是建筑业技术上的　样复杂的工程，ＢＩＭ可以帮助企业对车站做出更加科学的　一次革命，许多专业人员习惯于之前的业务流程，加之工　规划、更加合理的设计，优化施工组织，改善运营管理，　强乘客的安全感和舒适性。但目前我国大陆地区地铁车站　建设中ＢＩＭ的应用还处于初级阶段，其推广普及还面临一　些问题，需从尽快制定标准体系、开发本土化程度高的软　作繁忙，对ＢＩＭ认识不够深入，对ＢＩＭ开展业务的方法掌　从而提高车站建设的工程质量，降低成本，缩短工期，增　握不够透彻，导致专业水平高的ＢＩＭ技术人才十分匮乏。　针对以上地铁车站中应用ＢＩＭ所遇到的障碍，提出如　下解决措施，见表２。　表２　ＢＩＭ用于地铁车站建设的障碍及解决措施　件、合理分摊前期投入、培养Ｂ　Ｉ　Ｍ人才等方面为地铁车站　ＢＩＭ应用清除障碍，使地铁车站建设进入工业化和信息化　发展之路。　障碍　解决措施　缺乏标准　国家主导建立一套完善的ＢＩＭ体系　【参考文献】　［１】任江，郭娜，钟崇光．ＢＩＭ技术在城市地下空间开发利用之　应用初探［Ｊ］．土木建筑＿Ｔ－程信息技术，２０１　３，５（３），９３－９６．　［２］张泳．建筑信息模型（ＢＩＭ）的概念框架［Ｊ］．价值工　程，２０１２，（８）：３３—３４．　软件兼容性　够地铁行业成立ＢＩＭ研发团队，开发本土化程度高的ＢＩＭ软件　前期投入大　确。姗定需枷硼提供使用阱臌术　缺冀　３结论与建议　Ⅷ阙　培　基金项目：贺州学院自然科学类项目（２０１　５ＺＺＺＫ０７）；国家级大　学生创新创业项目（２Ｏ１６１１８３８０１　０）。　作者简介：张灿【１９９２一），女，河北保定人，本科，助理工程　通过对ＢＩＭ在地铁车站建设中应用的意义进行分析，　可以认为，以三维数字模型为基础的ＢＩＭ技术能给项目带　师，研究方向：工程造价。　来新的更为高效的生产和管理方式，特别是对地铁车站这　６０　堡垦　的产生。　±！　堑　！查．堑！塑　匾　本文以ＮＯＳＱＬ数据库产品的应用为背景，以大规　模文本数据为代表，通过对比ＮＯＳＱＬ数据库的特点，　提出基于ＭｏｎｇｏＤＢ、Ｎｅｏ４ｊ、ＭｙＳＱＬ的大规模文本数据　存储方案，同时利用计算机技术，将这一存储方案与　Ｊａｖａ　ＥＥ架构进行整合，为大规模文本数据的解析与　存储提供技术支持。　２大数据与大规模文本数据　２．１大数据的定义与特点　大数据技术的产生并非是一朝一夕之事，而是在　网络信　息与数据巨量增长的背景下，伴随着云计算、　物联网以及企业级应用发展的背景下逐渐形成的。尽　管目前对大数据尚未形成统一的定义，但最早提出“大　数据”概念的机构是全球知名咨询公司麦肯锡的报告，　报告中指出：大数据是大小超过常规的数据库工具获　取、存储、管理和分析能力的“数据集”。该定义有　两方面的内涵：一是符合大数据标准的数据集的大小　会随着时间的推移、技术的进步而增长；二是不同部　门符合大数据标准的数据集的大小会存在差别。　大数据的特征可以体现在以下几个方面：从容量　（ＶＯ１ｕｍｅ）来讲，数据的大小决定所考虑的数据的价　值和潜在的信息；从种类（Ｖ　ａｒ　ｉ　ｅ　ｔ　Ｙ）上看，数据类　型具有多样性；在速度（Ｖ　ｅ　ｉ　Ｏ　ｃ　ｉ　ｔ　Ｙ）方面，指获得　数据的速度要求非常快；从复杂性（ＣＯｍｐ　ｌ　ｅ　ｘ　ｉｔ　Ｙ）　来讲，数据量巨大，来源多渠道；同时，在可变性　（ＶａｒｉａｂｉｌｉｔＹ）、真实性（ＶｅｒａｃｉｔＹ）等方面，大　数据都具有自己的特征。具体来说：　（１）数据容量大：从数据量的角度来说，数据已　从ＴＢ级别跃升到ＰＢ级别，乃至ｚＢ级别。巨大的数据　量对数据存取、管理与应用都提出了新的要求。　（２）数据类型多：从数据类型的角度来看，大数　据环境下的数据除了以文本信息存储在网络中外，还　包含声音、影音、图像等多种类型的数据，而这些数　据以结构化、半结构化和非结构化的形式出现。　（３）价值密度低：尽管当前数据量巨大，但并非　所有数据都是有价值的，一般来说，数据价值密度的　高低与数据总量的大小成反比。例如，同一篇报道可　能被多个网站刊登转载，网络中的垃圾数据将一定程　度上影响数据的管理与分析。　（４）处理速度快：数据快速增长的同时势必为数　据的存储与管理提出了新的要求，如果数据处理不能　做到快速响应的话，必将有碍大数据时代的发展，实　时分析正是与传统数据挖掘技术最本质的区别之处。　２．２大数据与大规模文本数据　可以说，大数据技术是在互联网日益成熟的条件　下，伴随着电子商务模式的发展与社交网络的普及，　并在云计算技术的推动下而逐渐发展起来的。因此，　大数据环境下，数据结构不再是那些能够容易被处理　的结构化数据，而更多的是以非结构化、半结构化形　式存在的声音、视频、文本等数据。　大规模文本数据是大数据背景下的一种数据表现　形式，其符合大数据的特点Ｈ　。随着互联网、社交网　络的发展，文本数据呈现出爆炸性增长的趋势。尽管，　传统关系型数据库在数据存储方面具有较强的优势，　在处理结构化数据存储的过程中表现突出。但在处理　大规模文本数据的时候，很难满足其数据存储的需要，　进而，ＮｏＳＱＬ技术的重要性日益凸显。　３文本数据的存储问题　通过对大规模文本数据的存储需求进行分析，可　以发现，在利用关系型数据库对这一内容进行存储的　过程中存在下面几个问题：　３．１关系型数据库能够很好的处理数据间的关系：　在数据存储过程中，数据间往往具备一定的联系，因　此，采用关系数据库能够对其进行很好的处理。　３．２对数据库高并发读写的需求：在文本数据中，　常常有大段落的数据，如网页内容，其作为一个数据　字段无法在关系型数据库中存储，在关系型数据库表　空间中，常用字符型数据类型表示文本数据的存储，　然而数据由于字符过长，在存储过程中会占据较大空　间。关系数据库应付上万次ＳＱＬ查询还勉强顶得住，　但是应付上万次ＳＱＬ写数据请求，硬盘１０就已经无法　承受了。　３．３关系型数据库无法满足高效率访问的需求：　当数据量过大时，关系型数据库的事务处理机制会使　数据的读取速度过慢，而无法达到快速查询和实时分　析的目的。对于关系数据库来说，在一张亿条记录的　表里面进行ＳＱＬ查询，效率是极其低下乃至不可忍受　的。　３．４对数据库的高可扩展性和高可用性的需求：　在基于ｗｅ　ｂ的架构当中，数据库是最难进行横向扩　展的，当一个应用系统的用户量和访问量与日俱增的　时候，你的数据库却没有办法像ｗｅｂ　Ｓｅｒｖ　ｅｒ和ａＰ，Ｐ　ｓｅｒｖｅｒ那样简单的通过添加更多的硬件和服务节点来　扩展性能和负载能力。对于很多需要提供２４小时不间　断服务的网站来说，对数据库系统进行升级和扩展往　往需要停机维护和数据迁移。　４　４．１　ＮｏＳＱＬ的定义与特点　从大数据的定义及其解释来看，其定义、存储、　数据结构、并行计算与分析技术、数据处理技术等方　面的需求已经超出了传统方式分析和处理能力，也就　是说，运用现有的数据库管理结构、数据仓库架构很　难实现大数据的存储、处理与分析。因此，必须研制　种全新的系统开发架构、处理模式和综合管理工具，　来完成大数据的管理、处理与分析。　ＮＯＳＱＬ是非关系型数据存储的广义定义。它打破　了长久以来关系型数据库的理论，ＮＯ　ＳＱＬ数据存储不　需要固定的表结构，通常也不存在连接操作。在大数　一６１　匾　因堡：垦　垦　！±！　箜　！查箜！塑　据存取上具备关系型数据库无法比拟的性能优势。该　发，满足客户特有的需求。　术语在２００９年初得到了广泛认同。　关系型数据库中的表都是存储一些格式化的数据　４．２用于大规模文本数据存储的ＮｏＳＱＬ产品　鉴于文本数据的结构特点与数据存储方面的需求，　本文拟采用面向文档的ＮｏＳＱＬ数据库ＭｏｎｇｏＤＢ、面向　结构，每个元组字段的组成都一样，即使不是每个元　组都需要所有的字段，但数据库会为每个元组分配所　有的字段，这样的结构可以便于表与表之间进行连接　等操作，但从另一个角度来说它也是关系型数据库性　能瓶颈的一个因素。而非关系型数据库以键值对存储，　它的结构不固定，每一个元组可以有不一样的字段，　每个元组可以根据需要增加一些自己的键值对，这样　就不会局限于固定的结构，可以减少一些时间和空间　的开销。具体特点如下所述：　（１）灵活的数据模型：在ＮｏＳＱＬ中无需事先定义　数据模型，也就是在创建数据库表阶段不用事先定义　数据表的各个字段。这样，数据存储过程中，可以根　据数据本身的特点，对数据模式进行自定义。　（２）高效的数据存储：由于无需事先定义数据模　型，另一方面，也节省了数据存储所占用的存储空间。　数据空间可以按照数据的需求实时分配，从而使数据　存储达到更为高效的目的。　（３）强大的读写性能：Ｎ０ｓＱＬ数据存储的特性使　得其在读写方面表现出强大的功能，由于不再受关系　模型的限制，数据结构简单，这就使得数据的读写效　率大幅度提升，满足了Ｗｅｂ２．０时代数据快速读写的　要求。　图的ＮｏＳＱＬ数据库Ｎｅｏ４ｊ与关系数据库ＭｙＳＱＬ相整合　的方式，提供数据存储方案。　（１）面向文档的ＮｏＳＱＬ数据库一ＭｏｎｇｏＤＢ　Ｍ０ｎ　ｇ０ＤＢ是一个基于分布式文件存储的数据库，　由ｃ＋＋语言编写开发，旨在为ＷＥＢ应用提供使用方便、　可扩展、高性能的数据存储解决方案。在非关系型数　据库产品中，ＭｏｎｇｏＤＢ与关系型数据库产品最为相似，　甚至有人提出，Ｍ０ｎｇ０ＤＢ可以完全取代关系型数据库　ＭｙＳＱＬ。　在数据存储方面，Ｍ０ｎ　ｇ０ＤＢ所支持的数据结构非　（５）并行能力增强：大数据时代，用户的并发操　作增多，微博上每天发布和转发的信息超过２亿条，　Ｎ０　ｓＱＬ采用分布式处理模式，将数据进行分区，也就　是将记录分散在不同的节点之上，这样提高了其并行　性能。　　’（６）无共享架构：相对于将所有数据存储的存储　区域网络中的全共享架构。Ｎ０ＳＱＬ往往将数据划分后　存储在各个本地服务器上。因为从本地磁盘读取数据　的性能往往好于通过网络传输读取数据的性能，从而　提高了系统的性能。　（７）可扩展性：由于不再遵从关系数据库中的关　系模型理论，因此数据相对更为独立，保证即使在系　统运行阶段也可以轻松的增加或删除某个结点，实现　数据的自动迁移，使系统的可扩展性有所增强。　（８）高可用性：Ｎ０ＳＱＬ在不太影响性能的情况，　就可以方便的实现高可用的架构。比如ＣａＳ　Ｓａｎｄｒａ，　ＨＢａ　ｓ　ｅ模型，通过复制模型也能实现高可用。Ｎ０　ｓＱＬ　中的复制，往往是基于日志的异步复制。这样，数据　就可以尽快地写入一个节点，而不会被网络传输引起　迟延。　（９）低廉的维护成本：目前，市场中大部分　Ｎ０ｓＱＬ数据库产品几乎都是开源软件，其最大的优势　就是能够降低数据维护的成本，另外，开源的方式，　也能够促进软件功能的完善，能够基于此进行二次开　６２　常松散，由于采用的ｂｓｏｎ格式，因此能够用于存储复　杂的数据类型。另外，Ｍ０ｎｇ０ＤＢ支持事务一致性，但　又不像关系数据库那样要求强一致性，由于保持了弱　致性，所以在数据的访问速度方面更具优势。同时，　ＭｏｎｇｏＤＢ拥有像ｓＱＬ一样的强大查询语言，使数据库　与应用程序间具有良好的接口。　（２）面向图的ＮｏＳＱＬ数据库一Ｎｅ　ｊ　Ｎｅｏ４ｊ是一个开源的，通过Ｊａｖａ实现，嵌入式的，　基于硬盘的，不以表格的形式而是以图形的形式进行　数据存储的图形数据库。它是当前最流行的图形数据　库之一。Ｎ　ｅｏ４ｊ中的主要数据结构包括一系列的节点　（ｎｏｄｅ）和将节点关联起来的关系（ｒｅｌａｔｉｏｎｓｈｉＰ）。　其中，节点和关系均可以包括多种自定义的属性　（ｐｒｏｐｅｒｔｙ）。不同种类的节点可以通过标签（１ａｂｅ１）　进行分类，一个节点可以拥有多种标签。在Ｎｅｏ４ｊ中　的关系具有有向性，从一个节点指向另一个节点。同　种类型的关系具有相同的关系名称，从一种类型节　点指向另一种类型节点，因而两个节点可以通过不同　的关系相关联。　（３）关系型数据库一ＭｙｓＱＬ　ＭＹ　ＳＱＬ是一个开源的关系型数据库管理系统，由　瑞典ＭｙＳＱＬ　ＡＢ公司开发，目前属于Ｏｒａｃｌｅ旗下公司。　ＭｙＳＱＬ是一种关联数据库管理系统，关联数据库将数　据保存在不同的表中，而不是将所有数据放在一个大　仓库内，这样就增加了速度并提高了灵活性。ＭＹ　ＳＱＬ　所使用的ＳＱＬ语言是用于访问数据库的最常用标准化　语言。由于其体积小、速度快、总体拥有成本低，尤　其是开放源码这一特点，一般中小型网站的开发都选　择ＭｙＳＱＬ作为网站数据库。　４．３　ＭｏｎｇｏＤＢ与企业级开发架构的整合　在以往的企业级系统开发中，Ｗｅｂｗｏｒｋ＋ＳＰｒｉｎｇ十　Ｈｉｂｅｒｎａｔ　ｅ框架（简称ＷＳＨ架构）能够利用分层的设　计模型，达到高内聚、低耦合的特性，而被广泛使用。　通过Ｈｉ　ｂ　ｅｒｎａｔ　ｅ框架可以实现应用服务与关系数据　库的良好衔接，完成数据的映射工作。如下图给出了　一一信息记录材料２　０１　７　Ｊ￣－４Ｙ］第１　８卷爱　塑　ＷＳＨ的基本架构。　领域屡　Ｓｐｒｉｎｇ　具体来说，为了利用ｉ０ｒＰｈ　ｉ　ａ进行整合，需要进　行如下步骤的操作：　１）创建生成和配置ｉ０　ｎ　ｇ　０　Ｄ　Ｂ的工厂类　ＭｏｎｇｏＦａｃｔｏｒｙ　Ｂｅａｎ；　＇－　…蓑施…　Ｗｅｂｗｏ　．Ｍｖｃ　．．．一＆；虞　。。。　一　数据持久层　Ｈｉｂｃｍａｔｅ　２）创建生成和配置Ｍ　Ｏ　ｒ　Ｐ　ｈ　ｉ　ａ对象的工Ｊ一类　ＭｏｒｐｈｉａＦａｃｔｏｒｙ　Ｂｅａｎ：　　Ｓｉｐｒｉｎｇ　．　Ｄａ。一一　ＯＲＭ映射　数据资源　连接池　ＨＯＬ　Ｓｕｐｐｏｒｔ　ａｎｄ　ｏｔｈｅｒ　ＨＩｂｃｍａｔｃ　ｓｅｒｖｉｃｅｓ　３）创建生成和配置Ｄ　ａ　ｔ　ａＳ　ｔ　Ｏ　ｒ　ｅ的工厂类　ＤａｔａＳｔｏｒｅＦａｃｔｏｒｙ　Ｂｅａｎ；　ＪＳＰ　Ａｏｒｉｏｎ　Ｈｉｂｃｍａｔｅ　Ｓｅｓｓｉｏｎ　Ｍａｎａ￣ｅｍｅｎｔ　ＡｃｔｉｏｎＳｅｒｖｌｅｔ　模型对象　Ｂｕｓｉｎｅｓｓ　Ｓｅ￣＇ｉｃｅ　Ｃｌａｓｓｅｓ　……‘一一　ｒ…　…４）在Ｓ　Ｐ　ｒ　ｉ　ｎ　ｇ配置文件中添加相关信息，完成　Ｓｐｒｉｎｇ与Ｍｏｒｐｈｉａ框架的整合；　　…一—ｆ～…５）创建用于Ｐ０Ｊ０持久化的ＤＡ０，并将其配置在　Ｓｐｒｉｎｇ框架中；　图１　ＷＳＨ基本架构　６）创建实体类；　７）在Ｓｐｒｉｎｇ的Ｓｅｒｖｉｃｅ中调用ＤＡＯ。　４．４整合架构的应用　其中，表示逻辑层采用基于ＭＶＣ模式的Ｗ　ｅｂｗ０ｒｋ　框架来实现，主要负责客户层与业务逻辑层的交互，　在应用部分，以科学文献的存储为例，进行说明。　响应客户端发出的用户请求，以Ａ　ｃ　ｔ　ｉ　０　ｎ形式调用业　科学文献本身就是文本数据的一种，因此，以其为应　务逻辑层的Ｓ　ｅｒｖ　ｉ　Ｃ　ｅ服务，并将处理结果封装后发　用对象具有一定的意义。科学文献作为科学研究的成　送给客户端。业务逻辑层应用了ＳＰ　ｒ　ｉ　ｎｇ框架，以接　果之一，能够促进科学研究的发展，推动科技成果的　口形式向表示逻辑层提供Ｓ　ｅ　ｒ　ｖ　ｉ　Ｃ　ｅ服务，同时针对　转化，具有站在巨人肩膀之上的重要意义。据资料统　Ｓ　ｅ　ｒｖｉ　Ｃ　ｅ接口进行了业务逻辑的具体实现，在使用时　计显示，全世界每年新发表的科学文献达到５００万篇，　一由ｓｐｒｉｎｇ负责完成实体类的自动装载。Ｓｐｒｉｎｇ的另　每天发表量超过１．３万篇。科学文献作为文本数据的　个功能就是整合实体一关系映射（ＯＲＭ）框架，封装　载体，其中涵盖了重要的信息，因此，对其进行分析　用了Ｈｉｂｅｒｎａｔｅ＋Ｍｏｒｐｈｉａ框架。Ｈｉｂｅｒｎａｔｅ作为关系　学技术的发展，而数据挖掘分析的首要前提则在于数　ＤＡ０对象实现与数据持久层的通信。数据持久层是使　挖掘能够找出潜在规律，提高科学研究效率，推动科　型数据库ＯＲＭ框架，以ＤＡ０模式封装了数据库的基本　据的存储与管理。　操作方法，实现以面向对象编程的方式访问Ｍ　Ｙ　ＳＱＬ数　据库。　鉴于Ｈｉ　ｂｅｒｎａｔｅ不能很好地支持ＮｏＳＱＬ数据库，　框架。　尽管，目前科学文献收录机构、出版单位多采用　基于ｘＭＬ文档方式进行科学文献的管理，并提供检索　服务，但是，这一方式对于数据挖掘来讲并不是非常　数据库的帮助。利用整合架构，可以从大规模的科学　文献中，通过程序代码，将大量的数据从ＸＭＬ文档中　解析出来，实现数据的抓取与存储。　实验过程中，将文献间的关系存在ＭＹＳＱＬ中，将　正文信息存在ＭｏｎｇＯ３Ｂ中，将作者、主题、文献引用　关系等存入Ｎｅ０４３中。通过对ｌ０万余篇文献的处理　与存储可以发现，采用整合后的存储方案能够有效解　决数据的存储问题，保证数据能够实现快速查询与访　问。　选用Ｍｏｒｐｈｉａ作为ＮｏＳＱＬ数据库ＭｏｎｇｏＤＢ的专用ＯＲＭ　便利，在进行数据处理的时候，往往还是需要借助于　Ｍ０ｒＰｈ　ｉ　ａ是一个基于Ｊａｖａ的轻量级０ＲＭ框架，　能够实现Ｊａｖａ对象到Ｎ０ＳＱＬ数据库的持久化和访问　操作。Ｍｏｒｐｈｉａ与传统的Ｈｉｂｅｒｎａｔｅ等关系数据库对　象持久化模型相似，只不过它是专门针对文档式数据　库ｉＯｎｇＯ３Ｂ的强大交互工具。它对ＭＯｎｇＯ３Ｂ的基本　数据库操作进行了ＤＡ０对象封装，实现Ｊａｖａ对象到　ｉＯ　ｎ　ｇＯＤＢ的双向映射，同时也使得开发人员可以直接　采用面向对象的方式对ｉｏｎｇＯＤＢ文档进行处理，可以　将开发人员从复杂计算中解脱出来，将更多的精力投　入到业务逻辑的设计和开发工作中。如下图，所示为　进行整合后的开发架构模型。　５总结　大数据时代的到来，为数据存储提出了新的需　求，传统关系数据库在数据存储方面已经略显不足，　ＮｏＳＱＬ数据库营运而生。本文以ＭｏｎｇｏＤＢ和Ｎｅｏ４Ｊ为　例，将其与关系型数据库Ｍｙ　ＳＱＬ进行整合，并在开源　架构中实现，从而为数据的抽取、存储提供技术解决　方案。最后，以文献作为文本数据的范例，使用该架构，　完成相关的数据从采集、分析到存储的整个过程。利　用该方法采集、存储的科学文献数据，能够用于学术　图２　ＮｏｎｇｏＤＢ与ＭｙＳＱＬ进行整合　文献的推荐、可视化问题、排序算法等领域的研究中，　６３　匾　堡垒　！±！　堑　查堑　塑　浅谈ＰＬＯ技术及三菱ＰＬＯ在机电一体化中的应用　张　丽　（山东省济宁市金乡县职业中等专业学校　山东　金乡　２　７　２　２　０　０）　【摘要】随着我国工业进城的不断加快，自动化技术在工业中的应用逐渐广泛，对生产控制中的电脑、ＰＬＣ、变频器　以及触摸屏等智能工控设备的要求越来越高。本文给出了ＰＬＣ技术及机电一体化的基本概念，三菱ＰＬＣ因其显著的优势　在工业自动化控制中应用广泛，因此本文选取了位置控制、开关逻辑控制、数据处理等方面分析了其在机电一体化中的　具体应用。　【关键词】ＰＬＣ技术；机电一体化；三菱ＰＬＣ；控制　【中图分类号】ＴＨ一３９　【文献标识码ｌ　Ａ　１　ＰＬＯ技术及机电一体化基本概念　【文章编号】ｉ００９－５６２４（２０１７）０４－００６４－０２　电机生产的产品，目前在市场上拥有较高的占有率，由　ＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃａｌ　Ｃｏｎｔｒｏｌｌｅｒ）为可编程　于优异的性能在工业中应用广泛。　２．１位置控制　序逻辑控制器的简称，指的是一种采用可编程的存储器，　用于控制器内部程序的相应指令，并通过相应生产指令　位置控制是目前工业进城过程中比较重要的方面，在　来控制不同类型的机械设备或生产过程的一种技术。ＰＬＣ　工业生产中发挥着非常重要的作用。三菱ＰＬＣ应用于机电　体化的位置控制体现在可应用可编程逻辑控制器对步进　技术以微型处理设备为依托，统筹计算机技术、自动控　一制技术以及通信技术三者协调发展的工业技术。可编程　电机进行智能控制，使工业生产过程中的步进电机绕组发　逻辑控制器的主要结构有电源、ＣＰＵ（中央处理单元）、　出符合生产需求的脉冲信号，从而对步进电机进行合理定　存储器、输入输出接口电路及某些具体的功能模块和通　位，进一步对步进电机实现有效地圆周运动、直线运动等　信模块构成。　根据ＰＬＣ的组成结构，可以分为整体式　位置控制指令。　三菱ＰＬＣ在机电一体化中的应用主要是　和模块式。　用于教学过程中的三菱ＦＸ２Ｎ系列ＰＬＣ、西门　一通过某个单独的输入输出模块完成，具有强大的抗干扰能　子ｓ７—２００ＰＬＣ等都属于整体式的小型ＰＬＣ装置。　机电　力和可靠性等优点，并能保证工业设备的安全、稳定运行。　体化又称机械电子学，可有效地实现机械装置、电子　２．２开关逻辑控制　化设计以及软件的结合。∞　ＰＬＣ技术在工业应用中因使　三菱ＰＬＣ在机电一体化中的开关逻辑控制也是其　用方便、编程简单、性价比较高、硬件配套齐全、适应　ＰＬＣ应用较为广泛的一个方面。ＰＬＣ技术的出现使传统　性强等特点，在机电一体化中得到了广泛的应用。各行　的电气电路逐渐退出了历史的舞台，在工业智能化进程　各业的生产装备设计、制造以及后期维护都与机电一体　中广泛应用，有效地实现了在机电一体化中开关量的逻　化专业知识息息相关。目前教学过程中最能体现我国机　辑控制。三菱ＰＬＣ既可实现对工业设备的单独控制，又　电一体化水平的是智能机器人。机器人作为人工智能及　可实现集群控制，可满足工业一体化中的多重应用需求，　神经网络技术的载体，其中可编程逻辑控制器在机器人　在印刷机、各种生产应用流水线中应用广泛。将三菱　的运动控制、开关逻辑控制等方面有着不可替代的地位。　ＰＬＣ技术引入ＣＮＣ机床数控系统中体现出优越的数据处　理性能和图像显示性能，并能很好地完成逻辑处理任务。　２三菱ＰＬＯ在机电一体化中的应用分析　随着工业进程的不断加快，我国工业自动化程度越　另外，ＰＬＣ技术与ＣＮＣ机床数控装置的的连接可实现开　来越高，对工业应用中的ＰＬＣ开关逻辑控制技术、ＰＬＣ　关逻辑控制电路的高可靠性，特别在对经济性要求较高　数据处理技术等的要求越来越高。三菱ＰＬＣ是大连三菱　的数控机床、数控机床改造等方面，三菱ＰＬＣ体现出极　提高数据存储的效率，使数据分析能力有所增强。　【参考文献】　［１］王珊，王会举，覃雄派，周炬．架构大数据：挑战、现状　与展望［Ｊ】．计算机学报，２　０１１，３４（１　０）１４７卜１４５２．　［２］蔡立志，阎婷．大数据背景下软件测试的挑战与展望［Ｊ］．　计算机应用与软件，２０１　４，３１（２）：５－８．　。　［４】张国杰．大数据视角下图书馆服务发展走向及策略研究　［Ｊ］．图书馆工作与研究，２　０１　４，０６（０６）：８－１　２．　作者简介：张金松（１９８５一）男，汉族，天津市人，讲师，研　究方向：文本挖掘、信息检索；张一进（１　９９０一）女，汉族，　辽宁锦州人，在读博士，研究方向：企业管理。　基金项目：中国博士后科学基金项目“基于主题引文网络的　［３］张滨，陈吉荣，乐嘉锦．大数据管理技术研究综述［Ｊ】．　计算机应用与软件，２　０１　４，３１（１１）：１－５．　学术文献推荐模型研究”（２　０１　６Ｍ５　９１　４２１）；辽宁省社科基金　项目“大数据背景下图书馆服务模式创新研究”（Ｌ１　６ＣＴＱ００１）。　６４