互联网背景下大数据研究的具体应用
2021-05-16
来源:步旅网
2015年第5期 信息通信 1NFORMATION&C0MMUNICATIONS 2O15 (总第149期) (Sum.No 149) 互联网背景下大数据研究的具体应用 龚启波 (福建瑞聚信息技术股份有限公司,福建福州350001) 摘要:大数据具有种类多、规模大、生成速度快等特点,在当前互联网背景下,信息技术和网络技术的飞速发展,也使得大 数据在社会发展中占据着愈发重要的地位。文章结合太数据的相关概念,对互联网背景下大数据的具体应用进行了阐述。 关键词:互联网 ;大数据;具体应用 中图分类号:F626;F49 文献标识码:A 文章编号:1673—1131(2015)05.0156.01 科学技术的进步要推动了泛在网络进程的不断加快,使 得各种各样的数据信息飞速增加,几乎每隔两年,全球信息总 量就会增长一倍左右,这种数据的爆炸式增长,也标志着大数 据时代的到来。在信息化时代,互联网技术的快速发展,使得 信息的传播速度不断加快,做好大数据的研究和运用,是当前 社会各界重点研究的课题。 1大数据概述 在当前信息化时代,大数据在社会发展中的作用是极其 重要的,相关研究人员将大数据价值链分为了四个阶段,包括 数据的生成、采集、储存和分析。其中,数据分析时大数据价 值链的最终阶段,同时也是最为重要的阶段,是大数据价值的 实现,也是大数据应用的基础。从本质上讲,大数据与一般数 据并没有太大的区别,可以看做是一种比较特殊的数据,因此 传统的数据分析方法在大数据分析中同样可以使用,如聚类 分析、相关分析、回归分析、数据挖掘等,不过这些方法在实际 应用中,存在若效率低下、难以处理复杂数据等问题,因此,相 关研究人员提出了专门针对大数据的分析方法,这里对其进 行简要分析: (1)Bloom Filter:布隆过滤器,其实质是一个位数组以及 一系列的Hash函数,在数据分析中,BloomFilter的基本原理, 是利用位数组,对数据的Hash值进行储存,结合Hash函数, 对数据进行有损压缩存储的位图索引。这种数据分析方法的 优点在于,查询速度快,空间效率高,不过存在着一定的错误 识别率,同时删除比较困难,适用于允许存在较低错误识别率 的大数据分析场合。 (2)索引:索引的优势在于能够有效减少磁盘读写开销,提 升增删改查速率,因此在传统关系数据库的结构化数据管理以 及半结构化和非结构化数据管理中,有着非常广泛的应用,不 过其需要额外的开销存储索引文件,同时需要随着数据的更 新,进行相应的动态维护。 (3)并行计算:并行计算是相对于传统串行计算而言,指同 时使用多个计算资源完成相应的运算,通过将问题进行分解处 理,可以有效提升数据分析速率,比较典型的并行计算模型包 括MPI、Dryad、Map Reduce等。 (4)Trie树:也称字典树,属于Hash树的一种变种,一般用 于数据的快速检索以及词频统计,能够最大限度地减少字符 串的比较,提升数据查询的效率。 2互联网背景下大数据的应用 在互联网技术飞速发展的背景下,大数据的应用范围也 得到了不断拓展,这里对几种比较典型的应用进行简单讨论。 2.1企业应用 可以说,目前大数据的主要来源是企业,主要应用也是企 业。作为大数据前辈的商业智能以及OLAP,都为大数据在企 156 业内部的应用奠定了良好的基础,而大数据的合理应用,能够 在很大程度上提升企业的生产效率及核心竞争力。从市场领 域分析,结合相应的数据关联分析,企业能够及时准确地了解 消费者的行为和消费观念,并从自身实际发展情况出发,挖掘 出全新的商业模式,使得企业能够获得长远发展的动力;从供 应链方面分析,结合大数据分析技术,可以实现产品库存优化、 物流优化等,缓和工序矛盾,同时能够有效控制预算开支,提 供更加优质的服务;从电子商务方面看,在淘宝、京东等大型 购物网站上,每天都有着数以万计的交易产生,这些交易中所 蕴含的各种信息,可以为商家提供消费者的年龄特点、兴趣爱 好等,从而使得其可以对自身的生产和库存决策进行制定和 改进,提升企业的经济效益。 2.2物联网应用 在社会运营中,物联网与企业一样,不仅是大数据的主要 来源之一,同时也是大数据的主要应用市场。物联网中的每 一个物体,都可以是大数据的生产者和消费者,只是物体种类一 不同,物联网的应用也有所差异。智慧城市是基于物联网大 数据应用典型体现,也是当前研究的热点项目,以美国佛罗里 达州迈阿密戴德县为例,其可以看做是智慧城市的一‘个典型 样板,通过与IBM的智慧城市项目合作,将许多关键县政工作 与迈阿密市紧密联系在了一起,能够帮助政府领导层更好地 解决城市发展中的各种问题,实现政府各个部门的相互协作 及可视化管理,推动了城市的快速发展。 2.3社交网络应用 大数据在社交网络中的应用,主要体现在即时信息、在线 社交、共享空间等方面,从社交网络的特性看,此类大数据的 应用受到了社会各界的广泛关注。在线社交网络大数据的分 析,主要是结合数学、信息学、社会学等相关理论和方法,从群 体互动、网络结构以及信息传播三个维度出发,以理清人类社 会中的各种关系为目的所提供的一种分析方法。从目前的发 展情况看,在线社交网络大数据的应用,主要包括了社会化营 销、政府决策支持、在线教育等。 3结语 大数据得到了前所未有的发展,其应用也受到了社会各 界的关注。对于相关技术人员而言,应该加大对于大数据的 研究力度,对其在不同领域的应用进行分析,确保大数据作用 的充分发挥,进而推动社会的快速发展。 参考文献: [1]张弓{,陈敏,廖小飞.大数据应用的现状与展望[J].计算机研 究与发展,2013(¥2):216.233 [2 林荣耀.2]大数据及在当代互联网应用中昀研究[D】.厦门大 学,2014