采集平台采集适配插件化开发技术研究与实现

运营创新论坛　采集平台采集适配插件化开发技术研究与实现　郭涛峰，张渊，张攀翔　（中国移动通信集团广东有限公司广州５１０６２３）　摘要：现有专业网管系统存在数据重复采集，接口众多却难以规范化、标准化管理，可扩展性、重用性有限导　致ＩＴ成本居高不下等问题，阐述了通过构建基于插件技术的统一采集平台，以插件方式实现采集适配器的自　动加载和卸载，提高采集适配器的可扩展性和重用性，统一管理采集适配，实现自动匹配和调度，减少对网元　的连接负担，提高采集质量．降低网管数据采集系统的总体成本。　关键词：网管支撑系统；数据采集平台；采集适配器；协议适配器；插件　ｄｏｉ：１０．３９６９６．ｉｓｓｎ．１０００—０８０１．２０１３．０７．０２８　Ｃｏｌｌｅｃｔｉｏｎ　Ｐｌａｔｆｏｒｍ　Ｐｌｕｇ—Ｉｎ　Ｄｅｖｅｌｏｐｍｅｎｔ　Ｔｅｃｈｎｏｌｏｇｙ　Ａｃｑｕｉｓｉｔｉｏｎ　Ａｄａｐｔａｔｉｏｎ　ａｎｄ　Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ　Ｇｕｏ　Ｔａｏｆｅｎｇ，Ｚｈａｎｇ　Ｙｕａｎ，Ｚｈａｎｇ　Ｐａｎｘｉａｎｇ　（Ｃｈｉｎａ　Ｍｏｂｉｌｅ　Ｇｒｏｕｐ　Ｇｕａｎｇｄｏｎｇ　Ｃｏ．，Ｌｔｄ．，Ｇｕａｎｇｚｈｏｕ　５１０６２３，Ｃｈｉｎａ）　Ａｂｓｔｒａｃｔ：Ｅｘｉｓｔｉｎｇ　ｐｒｏｆｅｓｓｉｏｎａｌ　ｎｅｔｗｏｒｋ　ｍａｎａｇｅｍｅｎｔ　ｓｙｓｔｅｍ　ｅｘｉｓｔｓ　ｔｈｅ　ｐｒｏｂｌｅｍｓ　ｔｈａｔ　ｄｕｐｌｉｃａｔｉｏｎ　ｏｆ　ｄａｔａ　ｃｏｌｌｅｃｔｉｏｎ，　ｍｕｃｈ　ｉｎｔｅｒｆａｃｅ　ｗｈｉｃｈ　ｈａｒｄ　ｆｏｒ　ｓｔａｎｄａｒｄｉｚａｔｉｏｎ　ｍａｎａｇｅｍｅｎｔ，ａｎｄ　ｔｈｅ　ｓｃａｌａｂｉｌｉｔｙ，ｒｅｕｓａｂｉｌｉｔｙ　ｌｉｍｉｔｅｄ　ｃａｕｓｅ　ｈｉｇｈ　ＩＴ　ｃｏｓｔｓ　ａｎｄ　ｏｔｈｅｒ　ｉｓｓｕｅｓ．Ａ　ｕｎｉｆｉｅｄ　ｃｏｌｌｅｃｔｉｏｎ　ｐｌａｔｆｏｒｍ　ｂａｓｅｄ　ｐｌｕｇ—ｉｎ　ｔｅｃｈｎｏｌｏｇｙ　ｗａｓ　ｂｕｉｌｔ　ｔｏ　ｃａｐｔｕｒｅ　ａｄａｐｔｅｒ　ｐｌｕｇ　ｍｅａｎｓ　ｔｏ　ａｃｈｉｅｖｅ　ｔｈｅ　ａｕｔｏｍａｔｉｃ　ｌｏａｄｉｎｇ　ａｎｄ　ｕｎｌｏａｄｉｎｇ，ｔｏ　ｉｍｐｒｏｖｅ　ｃｏｌｌｅｃｔｉｏｎ　ａｄａｐｔｅｒ　ｓｃａｌａｂｉｌｉｔｙ　ａｎｄ　ｒｅｕｓａｂｉｌｉｔｙ，　ｕｎｉｉｆｅｄ　ｍａｎａｇｅｍｅｎｔ　ｃｏｌｌｅｃｔｉｏｎ　ａｄａｐｔａｔｉｏｎ，ａｕｔｏｍａｔｉｃ　ｍａｔｃｈｉｎｇ　ａｎｄ　ｓｃｈｅｄｕｌｉｎｇ，ｔｏ　ｒｅｄｕｃｅ　ｔｈｅ　ｂｕｒｄｅｎ　ｏｎ　ｔｈｅ　ｎｅｔｗｏｒｋ　ｅｌｅｍｅｎｔ　ｃｏｎｎｅｃｔｉｏｎｓ．Ｔｈａｔ　ｐｌａｔｆｏｒｍ　ｃｏｕｌｄ　ｉｍｐｒｏｖｅ　ｃｏｌｌｅｃｔｉｏｎ　ｑｕａｌｉｔｙ　ａｎｄ　ｒｅｄｕｃｅ　ｔｈｅ　ｎｅｔｗｏｒｋ　ｍａｎａｇｅｍｅｎｔ　ｄａｔａ　ｃｏｌｌｅｃｔｉｏｎ　ｓｙｓｔｅｍ’Ｓ　ｏｖｅｒａｌｌ　ｃｏｓｔｓ．　Ｋｅｙ　ｗｏｒｄｓ：ｎｅｔｗｏｒｋ　ｍａｎａｇｅｍｅｎｔ　ｓｕｐｐｏｒｔ　ｓｙｓｔｅｍ，ｄａｔａ　ｃｏｌｌｅｃｔｉｏｎ　ｐｌａｔｆｏｒｍ，ｃｏｌｌｅｃｔｉｎｇ　ａｄａｐｔｅｒ，ｐｒｏｔｏｃｏｌ　ａｄａｐｔｅｒ，　ｐｌｕｇ－ｉｎ　１　采集平台采集适配插件化开发技术的引　入背景　１．１　现有专业网管采集现状　随着网络运维管理集中化程度的进一步提高，为了从　统，如综合资源系统、综合监控系统、网络运行分析系统、　集中操作维护系统和无线网优平台等。　各专业网管系统在本专业网的维护过程中发挥了很大　作用，话务网、数据网和传输网对数据的要求也越来越高，　除了需要对本专业的数据进行分析外。更需要对跨专业数　不同专业、不同维度了解和监控移动网络的运行情况，及　时发现网络运行过程中出现的问题。网络维护人员及管理　据进行分析，因此各专业网管系统还需要通过其他专业网　管的接口获取数据（见图１）。为了满足各专业网管系统数　据的需要，各专业网管系统通过自己的采集模块，按照网元　端提供的接口方式（包含ＣＯＲＢＡ、ＦＴＰ、ｆｉｌｅ、指令等）直接从　人员对网管系统不断提出新的需求．从而导致网管集成的　应用功能不断增多，出现了越来越多的上层应用网管系　透薷翱耨涂坛　匝　薹　］　］　莺图１　各专业网管采集现状　网元端采集各种数据．同时按照数据要求，通过各种接１３方　式，触发其他专业的底层采集程序．从网元端采集所需　的资源、性能和告警数据，并根据相关的元数据算法，计　算汇总成相应的指标数据提供给上层应用系统。　１．２现有采集方式的缺陷和不足　现有的数据采集方式存在如下缺陷：没有统一的采集　适配机制，各专业网管直连网元或者触发调用另一专业网　管的采集进行数据获取；同一类型的数据重复采集，采集　方式众多，各接口需要单独维护；接口缺乏标准化、规范　化．包括ＣＯＲＢＡ、Ｗｅｂ　Ｓｅｒｖｉｃｅｓ、ＦＴＰ、数据库接口表、ＭＱ、　Ｑ３等多种接口实现方式；可扩展性低、重用性有限，造成　ＩＴ系统开发维护成本大幅度上升。　１．３统一采集方案研究　针对现存问题．需要有一个更好的方案对不同厂商、　不同型号的通信设备进行数据采集，有一个可以对这些数　据进行标准化、归一化的采集平台，提供最大化采集效率，　避免无用的重复采集．避免统计分析数据源不一致导致　的数据质量问题。为业务发展、公司决策提供准确的分析　数据。　具体分析现有数据的特征不难发现，各种业务数据的　业务逻辑是相对稳定和统一的，因此采集的调度和频度是　统一的。变动变化最多、差异最大的主要是各种不同设备　的采集方式及解析方法，因此可以搭建一套统一采集平　台。将不同设备的采集和解析以插件（ｐｌｕｇ．ｉｎ）的形式实现　统一调度、集中处理。新增设备或设备升级时，只开发相应　的采集插件即可满足生产需要　灵活配置相应的插件即可　实现不同设备的统一采集和调度，同时按统一采集平台标　准开发的采集插件也有利于重复利用资源。当某个省份新　增一种设备时。假如该设备已经在其他省份投入使用并开　发有相应的采集插件，即可直接采用该插件进行采集，可　缩短新设备接人采集平台的时间，避免重复开发，提高资　源利用效率。　２采集平台采集适配插件化开发技术方案　２．１　插件技术原理　插件是一种遵循统一的预定义接口规范编写出来的程　序．应用程序在运行时通过接口规范对插件进行调用，以扩　展应用程序的功能．它的特点是：当需要它的时候激活它．　不需要它的时候禁用或删除它：且无论是激活还是禁用，都　不影响系统核心模块的运行．也就是说插件是一种非侵入　式的模块化设计，实现了核心程序与插件程序的松散耦合。　２．２采集平台插件化技术框架　图２是基于插件技术的统一采集平台数据采集的示　意，主要涉及话务网管、数据网管、传输网管等上层网管系　统，采集平台的采集适配池、网元／ＯＭＣ等。　统　番集　采集适配池管理　｛｝协议适配　｛｝协议适配　｛　议适配　网ＹＬｓ／ＯＭＣ　图２统一采集平台系统不惹　具体说明如下。　（１）话务网管，数据网管／传输网管等上层网管系统　话务网等上层网管系统为数据消费系统．根据统　一采集平台提供的接口规范和插件的类定义，对相应　的业务类进行扩充，开发适配模块。以使采集适配器满　足统一采集适配器接口规范的要求，满足系统对采集　适配器的各种查询和管理要求．同时上层网管系统向　统一采集平台发送适配器的加载（注册）和卸载（取消）　请求．同时通过类ＸＭＬ文件传递参数触发采集动作和　接收采集结果。　（２）采集适配池　采集适配池对采集适配器进行管理，包含适配器动态　加载、策略接收、任务生成、任务下发、任务执行、指标计　算、结果返回等操作。　・适配器动态加载是指进行新的数据源数据接人时．　能够把新的采集适配器方便地加载到系统中，完成　数据接人。　・策略接收负责接收数据消费系统订阅的数据采集　策略，并对该策略进行判重和验证等工作。　电信科学　盘嬲蠹　・任务生成则根据消费系统订阅的策略转换成具体　的采集任务命令。　配负责协议的连接关闭和访问等，采集适配负责与具体　业务相关的部分，二者组合起来形成具体适配器实例。　适配器接口、协议适配器接口和采集适配器之间为继承　关系，即适配器接口定义适配器与平台的通用接口；协议适　配器继承适配器接日，实现协议访问；采集适配器继承协　议适配器，进行具体采集和解析工作。采集平台和适配器　（采集适配、协议适配）的整体方案、调用时序说明如下。统　一・任务下发负责根据各采集机器的负荷情况，动态地　将采集任务分发到负荷比较轻的采集机。　任务执行则根据采集适配器的具体连接网元方式，通　过采集协议适配，执行采集指令．获取相应数据。　・・指标计算是指根据转换算法把原始ｃｏｕｎｔｅｒ值转换　为指标数据，指标计算是不借助外部资源数据、不　发生时间、空间粒度变化的处理。　采集平台协议适配、接口适配如图３所示。　（１）统一采集平台实现采集适配器类捕件的开发接口，　各专业网管系统根据自己的业务逻辑模块实现该模块规　定的接口。实现了具体业务逻辑接口的插件，可以在统一　采集平台中注册。　（２）实现各适配器接口中定义的函数，各类插件的接口　中都规定该插件的初始化函数，一般包括以下内容：从配　・结果返回是指计算完成后生成指定格式的文件或　消息，将数据消息发送给订阅消息的系统，将文件　上传北向接口。　（３）网元／ＯＭＣ　不同的网元提供不同的接人方式，包含ＣＯＲＢＡ、ｉｆｌｅ、　ＦＴＰ、ＭＱ、Ｑ３、ＤＢ、Ｔｅｌｎｅｔ等。统一采集平台配置这些网元的　基础信息，包括网元、ＯＭＣ、ＥＭＳ等设备或系统的地址、采　集源数据库访问信息、访问用户名称、设备厂商ＩＤ号、软　件版本等信息，上层网管系统在进行采集策略订阅时需要　指明具体的采集源信息。　（４）平台与适配器的接口　适配器接口为平台与适配器之间的接口约定．只要实　现了该接口的类，均可在平台正确部署和使用。实现该接　口一般包括协议适配实现和采集适配实现两部分．协议适　置文件读取是否加载该插件以及该插件的初始化信息．若　加载该插件，将其提供的服务在统一采集平台中注册：若　卸载该插件，则将其在统一采集平台内核中删除。　（３）实现该插件的业务逻辑，根据上层网管系统要求　的功能而定．通过自定义函数实现用户提供的功能。例如　是实时查询数据还是周期性消息订阅等。　（４）将该插件实现的业务逻辑函数在统一采集平台内　核中注册事件，一般在插件接口函数中实现，例如ｉｎｉｔｆ）函　数或者ａｄｄｔａｓｋ（）函数。　图３统一采集平台协议适配、接口适配示意　逐慧剑耨凳坛　（５）在配置文件和内存中，配置加载该插件以及所需的　初始化参数。该部分的配置一般放在ＸＭＬ文件中．只需根　据实际需求，在该文件中配置相应的字段即可完成。　（６）统一采集平台根据订阅策略，转换成相应的采集　・从资源利用来看，采集到的数据是开放的，统一共　享的，一次采集多处复用。　３。２现网实施效果　目前，上述技术已在中国移动通信集团广东有限公司　统一采集平台项目中试运行，已完成４１个适配器的开发　及测试，涵盖４种接口类型，包括矗ｌｅ、指令、数据库、　ＣＯＲＢＡ等；接人１４种网元类型．涉及２６万个网元．６５９个　原始测量表，完成８０％语音网统计类数据测试：同时完成　５０％新ＩＨ系统数据核对，指标数据很好地保持了和现网系　统的一致。在性能方面，插件化平台处理效率提升了２０％　３０％，如以ＧＺＯＭＣ的采集计算对比，３０６个ＢＳＣ、小区数量　２３　５９８个、２５张原始测量表、最大表数据量为３８４４４０个．采　集计算整体过程新平台总耗时１　２４４　ｓ，比起原来总耗　时１　６２６　ｓ缩短２３．５％，如图４所示。在源数据时延较大的情　任务，调用采集适配器的方法，把本次任务的参数信息传　递给采集适配器实例，采集适配器实现Ｒｕｎｎａｂｌｅ接口的　ｍｎ方法，通过线程启动执行采集。　（７）适配器把采集到的数据进行格式封装。然后调用　统一采集平台提供的方法，将数据以消息方式发送出去．　如实时告警数据。　（８）采集适配器采集到的原始ｃｏｕｎｔｅｒ根据元数据描述　的算法，计算生成相应的指标数据，计算完成后根据生成　指定格式的文件或消息，数据消息发送给订阅消息的系　统，文件上传北向接口；并反馈任务及自身运行状态信息　给统一采集平台管理控制模块。　况下（第４个时间点），效率也有２０％１）２上的提升，有不错的　应用效果，推广实施后预期会有更大的规模效应体现。　２　５００　２　０００　３　采集平台采集适配插件化开发技术优势　及实施　３．１　技术优势　翟Ｉ　５００　１　０００　５００　采集平台采集适配插件化开发技术已应用于广东移　动网管数据统一采集平台项目，相对于传统采集技术，具　有以下技术优点。　０　・ｌ　２　３　４　５　６　７　从采集适配技术本身，适配器抽象了各专业网管系　统的业务需求，并可由各专业网管系统根据自己的　业务逻辑进行扩充，具有很强的通用性．便于保护　在网管采集能力方面的已有投人。　从平台框架能力出发．当采集平台接收新的数据源　接入时，可在不需要更改整个软件架构的基础下．　将新的采集适配器方便地加载到系统中．完成数据　接人，具有很强的模块独立性和扩展性：如果已有　时间点　图４采集总耗时对比　４　结束语　本文阐述了通过构建基于插件技术的统一采集平台，　以插件方式实现采集适配器的自动加载和卸载，提高采集　适配器的可扩展性和重用性，统一管理采集适配，实现自　动匹配和调度，减少对网元的连接负担，提高采集质量。但　是目前平台的开放性还有待进一步加强．第三方开发的　采集插件存在较多兼容性问题，需要制定更加开放、更　加具备兼容能力的采集插件规范，这是今后继续努力的　方向。　（收稿日期：２０１３－０５－３０）　－采集适配器不再使用，能够把这些采集适配器方便　地从系统中卸载，不影响平台核心程序的运行。　・从平台业务支撑出发，平台是开放性的，支持第三　方适配器插件，具备全业务、全专业采集接入能力，　能够去除重复采集、降低设备负荷。　更正声明　本刊２０１３年第６期上刊文《接人型服务资源配置研究》，应作者要求，申文俊的简介改为“申文俊，中通服软件科技有　限公司研发中心主任、首席架构师”．特此声明！　《电信科学》编辑部　豢　ｉ§　囊