发布网友 发布时间:2022-04-20 09:22
共2个回答
懂视网 时间:2022-05-02 19:27
摘要: 10月27日下午,2018中国计算机大会上举办了主题“存储软硬件之国产化挑战与机遇”的技术论坛,共同探讨存储软硬件栈上的关键系统与技术的国产化发展道路。论坛上,阿里数据库资深技术专家黄贵针对存储软硬件国产化进行了《存储新硬件给数据库自研带来的机会》的报告。
10月27日下午,2018中国计算机大会上举办了主题“存储软硬件之国产化挑战与机遇”的技术论坛,共同探讨存储软硬件栈上的关键系统与技术的国产化发展道路。论坛上,阿里数据库资深技术专家黄贵针对存储软硬件国产化进行了《存储新硬件给数据库自研带来的机会》的报告。
专家简介:
黄贵,阿里巴巴数据库事业部资深技术专家,近10年一直从事分布式存储、分布式数据库的设计与研发工作,经历过连续6年双11的数据库大考,见证了阿里从商业数据库到开源数据库再到自主研发分布式数据库的过程。目前的方向是打造全面兼容MySQL生态,新一代跨地域高可用,高可扩展,高性能低成本分布式数据库X-DB。
首先,黄贵介绍了阿里巴巴随着业务迅猛增长而实现的数据库的进化,一直发展到目前已被广泛应用到阿里各项业务的异地多活,云化,分布式数据库X-DB。
其次,黄贵详述了阿里巴巴数据库面临的特殊挑战,以及为了应对这些挑战而做的设计,具体思路就是利用现代存储的多层次结构,根据业务访问数据特点,设计出一套分层的存储架构,结合了内存数据库和磁盘数据库技术,同时达成高性能和低成本。
最后,黄贵详述了数据库存储引擎X-Engine的设计思想,包括存储方式、应对超大并发事务的流水线事务处理模式、元数据索引结构、数据布局、数据访问加速、数据压缩等特性,同时指出其利用NVM引入新的存储层次,将存储层次分为冷数据、暖数据及热数据三类,三个层次采用Flash/HDD、NVM、DRAM不同存储类型,以应对不同数据特性。X-Engine结合大数据访问热点集中的特点,采用了基于数据访问频率区分冷热数据,并基于数据的冷热进行封层存储的架构,并在此架构上进行充分的优化以满足不断增长的需求。
阿里巴巴黄贵谈存储新硬件带来数据库的机遇
标签:ace 兼容 sha 图片 dram 包括 事务 nvm 磁盘
热心网友 时间:2022-05-02 16:35
1,阿里巴巴本身就是个例子: 阿里巴巴是全球B2B电子商务的著名品牌,是目前全球最大的商务交流社区和网上交易市场。他曾两次被哈佛大学商学院选为MBA案例,在美国学术界掀起研究热潮,两次被美国权威财经杂志《福布斯》选为全球最佳B2B站点之一,多次被相关机构评全球最受欢迎的B2B网站、中国商务类优秀网站、中国百家优秀网站、中国最佳贸易网,被国内外媒体、硅谷和国外风险投资家誉为与Yahoo, Amazon, eBay,AOL比肩的五大互联网商务流派代表之一。其创始人、首席执行官马云也被著名的"世界经济论坛"选为"未来领袖"、被美国亚洲商业协会选为"商业领袖",并曾多次应邀为全球著名高等学府麻省理工学院、沃顿商学院、哈佛大学讲学,是50年来第一位成为《福布斯》封面人物的中国企业家。
也许是取决于“良好的定位,稳固的结构,优秀的服务”,阿里巴巴如今巳成为全球首家拥有210万商人的电子商务网站,成为全球商人网络推广的首选网站,被商人们评为"最受欢迎的B2B网站",杰出的成绩使阿里巴巴受到各界人士的关注。WTO首任总干事萨瑟兰出任阿里巴巴顾问,美国商务部、日本经济产业省、欧洲中小企业联合会等*和民间机构均向本地企业推荐阿里巴巴。
"倾听客户的声音,满足客户的需求"也许是阿里巴巴生存与发展的根基,根据相关的调查显示:阿里巴巴的网上会员近五成是通过口碑相传得知阿里巴巴并使用阿里巴巴;各行业会员通过阿里巴巴商务平台双方达成合作者占总会员比率近五成。
在产品与服务方面,阿里巴巴公司为中国优秀的出口型生产企业提供在全球市场的"中国供应商"专业推广服务。中国供应商是依托世界级的网上贸易社区,顺应国际采购商网上商务运作的趋势,推荐中国优秀的出口商品供应商,获取更多更有价值的国际订单。截至2003年5月底加盟企业达到近3000家。目前已经有70%的被推荐企业已在网上成交,众多类别市场名额已满。2002年3月开始为全球注册会员提供进入诚信商务社区的通行证-"诚信通"服务。阿里巴巴积极倡导诚信电子商务,与邓白氏、ACP、华夏、新华信等国际国内著名的企业资信调查机构合作推出电子商务信用服务,帮助企业建立网上诚信档案,通过认证、评价、记录、检索、反馈等信用体系,提高网上交易的效率和成功的机会。每月赢收以双位数增长。 阿里巴巴以50万元人民币创业资本起步,吸纳了国际资本2500万美元,经过3年的发展,于2001年底实现当月盈利,2002年实现每月收入双位数的增长,实现全年盈利,从而保证对客户的持久服务能力。
下面是对阿里巴巴公司商业的模式进行分析。
阿里巴巴的营运模式是遵循一个循序渐进的过程。首先抓住基础的,然后在实施过程中不断捕捉新出现的收入机会。从最基础的替企业架设站点,到随之而来的网站推广,以及对在线贸易资信的辅助服务,交易本身的订单管理,不断延伸。出色赢利模式符合:赢利的强有力,可持续,可拓展。
1、架设企业站点
很少有企业把它理解为是一项重要的业务,理由在于这是一个高度离散的行业。你可以很从容的获得一个或者几个制作企业站点的机会,但不等于能够获得很多。这里存在收入收集上的困难。有一些公司主营这项业务,它们往往将业务定格在高端客户。阿里巴巴是一个很大的商业社区站点,这就是说它有与许多潜在顾客频繁接触的机会。更重要的是它能顺利的把潜在机会转化为现实收入。阿里巴巴的目标受众每年都要参加许多类似广交会之类的展销会议,这时候阿里巴巴的工作人员就出现了,有一些低成本的推广活动。线上与线下的营业推广相结合,实践证明能有效的收集商业机会。中小企业存在很大的伸缩性,这是说业务流程和业务规模都在迅速的发生变化。有时候它或许会找邻居帮助设计一个主页,这在当时可能已经足够了,但是很快它就有了更高的需求,这就超过了邻居的能力。阿里巴巴则有能力提供从低端到高端所有的站点解决方案。它能在企业的成长过程中获得全部收益。更大的优势在于制作商品交易市场型的站点。阿里巴巴只是替商品交易市场做一个外观主页,然后将其链接在自己的分类目录下。交易市场有了一个站点,实际上这和阿里巴巴的站点是同一个站点,这就提高了被检索的机会。网页设计毕竟是一项倾向于劳动密集型的业务。网站设计其实和开发应用程序没有什么不同,这是说存在国际转包的内在需求,这和印度班加罗尔的故事相同。这也解释阿里巴巴为什么把它的人手更多集中在劳动力成本相对低廉的杭州。国际转包的实现除了需要品牌,还要有对应的机构设置。无疑,阿里巴巴一直就是往这一方向走。
2、站点推广
对于网站的媒体定为一直十分模糊,它应当是广播式的,还是特定用户检索式的?其他从事于企业站点设计的公司存在一个很大的问题,没有对应的推广能力。而网站设计一旦完成,推广是自然需求。网站实际上是另一种媒体,广告收入对大多数网站都很重要。无论一些针对企业的服务是否被称之为广告。广播式的模式容易让人理解,但是逻辑上我们更倾向于检索式的。原因很简单,网站首页的空间是有限的,换句话说注意力本身是一种稀缺资源。一些站点的合适位置已经充满了形式各异的广告,我们忍不住困惑,增长的潜力在那里?如果我们定义为检索式的,这同时就表明了有几乎无限可供销售的广告位置。这好像就是最初网站在股市受到追捧的原因。跟大多数人的认识相反,中小企业存在很强烈的营销愿望。这一愿望没有更多转化为现实的理由是:首先通常营销的费用超过了中小企业可承受的范围。其次以前并不存在相应很好的方式。在阿里巴巴今天的收入中,站点推广的收入占了一半还多。“中国供应商”和“网上有名”。 “中国供应商”面对的是出口型的企业,“网上有名”则针对内销或工厂的出口主要以买断形式进行的那一种。其中的价格依据是,如果某家企业愿意以3万人民币的价格租赁两周的广交会展销摊位,那么它为似乎也会愿意以同样的价格购置一年的在线展销时段。今年这一价格已经上升到4万。对于一个新生事物,某种意义上阿里巴巴要证明服务的有效性。阿里巴巴有一个系统服务的思维。除了在网站上的页面设置,还可以通过“商情快递”邮件杂志,检索上的优先派序。至少它能证明付费的顾客要比免费的客户有更多的机会。有人愿意以6万人民币的价格,以便获得更多的服务内容。
3、诚信通
网络可能是虚拟的,但贸易本身必须是真实的。信用分析是企业的日常工作。这很好解释,网友们在拍卖网站上的交易并不是每一次都那么如意。易趣的统计表明在同通过身份认证但只有少数交易经历的所谓一星级顾客交易中,有6%最终受到了投诉。都一样,企业间交易存在相似的压力,所不同的是企业对此有更高的敏感性。在线贸易一方面体现了采购行为更充份的竞争性,另一方面企业对网络信息本身充满了质疑。“诚信通”作为一项服务不难理解。可以在“诚信通”上出示第三方对其的评估,企业在阿里巴巴的交易记录也有据可循。问题是这项服务本身是否会非常成功。阿里巴巴显然是希望所有的注册会员都使用这项付费的服务,最起码新注册的用户是如此。这个问题的确非常有趣。如果这一预想符合了现实,大多数的企业都购买了“诚信通”,那么意味剩下少数也会购买,即便不购买也不再重要。每个“诚信通”的价格都很便宜,但对网站而言几乎不存在成本。这就是说阿里巴巴的运营业绩将会非常的成功。另一种可能是只有少数企业购买了,这就存在用户流失的问题。类似于阿里巴巴模式的网站今天多如牛毛。阿里巴巴的认识是,首先他们在前期的努力已经吸纳了国际贸易中最活跃的顾客群。另一方面在线交易本身必须实现其严肃性。“如果某一商人在支付最基本的费用上都存在问题,那么他根本就没有资格从事生意本身。”我想这一逻辑应该被认为是正确的。
4、贸易通
贸易通是阿里巴巴网站新推出的一项服务,它的功能主要有以下几项:和百万商人安全、可靠地进行即时在线沟通、互动;结识、管理自己的商业伙伴,开展一对一的在线营销;强大的商务搜索引擎,搜尽天下商机;"服务热线"为诚信通会员即时解答网络贸易疑问,方便享受高质量的在线客户服务。其界面有点类似于常用的聊天工具QQ,非常友好且使用简单。不过,有关“贸易通”的收费一直没有行动起来,但这却是最初也是最重要的愿望。阿里巴巴的定义是从企业的每一次日常交易中抽取佣金,这在前期被*认为是不可能的,原因在于B2B贸易存在重复交易,企业通常不会一次就更换一家供应商。这样企业很容易绕开任何中介。这又是一个没有思维,就迅速下判断的例子。当然并不是这样的。“贸易通”可以理解为是一种订单管理软件。我想很多IT评论人都忽略了阿里巴巴这一项服务,实际上它对阿里巴巴未来的潜在影响最大,绝对不能看成电子邮件的豪华版。这里有一个观念上的不同,产品重要的是需求,而不是技术表述。“贸易通”则解决了这所有的问题。而且操作中存在很强的可行性,可以通过短消息*按次计费。这一服务所面临的价格敏感性很小,而且存在一个很大的数量。“贸易通”则延伸了企业软件托管的思路。2, 阿里巴巴电子商务网站Linux应用案例 解决之道 阿里巴巴在2003年年初开始启动是数据库升迁项目。3月底引进基于Linux平台的Oracle9i集群数据库(Oracle9iRAC),4月初开始安装,到4月底便成功上线。新的数据库集群是以Dell 6650为硬件服务器、存储服务器采用Dell/EMC CX200存储阵列、以Red Hat Linux Advanced Server 2.1为操作系统、数据库采用Oracle9i集群数据库,采用三层架构,部署两个节点的集群系统。 在从原有系统向新系统迁移数据时,按数据的不同特征进行,不仅能够快速迁移数据,并且大大减少了由于系统迁移而可能造成的停机时间。阿里巴巴数据库项目主管鲁国良先生说:“我们原有系统采用的数据库也是Oracle数据库,只不过它是基于Linux的单机数据库,因此,在数据迁移过程中,几乎没有遇到大问题。由于Oracle9iRAC在节点间信息交换的性能有了很大的改进,使得我们在从原来的单机系统升级到集群系统时,几乎不需要更改应用,新系统得到快速部署,一个月之内就能够上线。” 应用效益 鲁先生说:“通过采用2个节点的集群系统,我们能够很好地避免在升级Linux系统时可能出现的停机现象。Linux仍在迅速发展之中,其内核技术更新快,为了及时获得Linux更先进的功能,我们需要及时升级Linux内核技术。由于Exos中的数据库集群采用的是2个节点的集群系统,我们可以先对集群中的一个节点升级其Linux内核,然后再升级另一个节点,在此过程中,系统完全能够正常运行。借助基于Linux的Oracle9i集群数据库(Oracle9iRAC)的强大功能,系统的管理工作变得简单得多,并且能够有效弥补Linux操作系统的一些不足,在降低应用成本的同时,获得强大的性能。” 在性能与成本之间获得很好的平衡,全面满足网站的应用需求。采用基于Linux的Oracle9i集群数据库(Oracle9iRAC)作为Exos的数据库平台,阿里巴巴既能够充分利用Linux平台的低成本优势,同时能够获得Oracle9i数据库强大的性能优势,获得对网站发展至关重要的系统性能、安全性、可靠性和可扩展性。 性能提高60%。以基于Linux的Oracle9i集群数据库为动力的“Exos”投入使用后,成功地把阿里巴巴网站性能提高了60%。系统在投入使用后不久,中国部分地区遭受“非典”袭击,为了尽可能避免相互接触,企业纷纷转向网上交易,作为中国最主要的商业网站之一,阿里巴巴成为广大企业进行交易的平台,日交易从“非典”前的4千~5千笔迅速攀升到6月初的9千~1万2千笔。“Exos”的及时投入使用,为阿里巴巴从容应对快速增长的交易量提供了强大的动力,帮助阿里巴巴及时把握住新的发展机遇。 系统管理简单化。借助Oracle9iRAC先进的Data Guard技术,阿里巴巴能够简化数据库的管理工作。Oracle9i Data Guard能够维护关键数据的实时拷贝,从而能够防止由于各种原因引起的数据丢失。工作区之间强大的转接和转回能力,使得硬件和操作系统的维护更为容易,同时又降低了宕机时间。比如,在过去,当主数据库和备用数据库的网络出现异常时,往往需要采用手工方式复制Archive Log,并应用到备用系统,工作量相当大,现在,这些工作都能够自动完成。 大大减少宕机时间。借助基于Linux的Oracle9i集群数据库(Oracle9iRAC)的高可用性,阿里巴巴无论是升级Linux内核还是升级应用,都不需要关闭系统,有效减少了计划内停机时间。同时,集群系统中两个节点互为备份,大幅度减少了意外停机的时间。 减少测试环境和实际应用环境的差异,提高系统部署的效率。现在,Linux已成为成长型企业的首选应用开发和测试平台,比如在Linux系统上运行开发数据库,而在其它系统上运行产品数据库,结果是在开发、测试、产品应用平台之间存在着差异。这种差异往往会影响到系统部署时的投入。阿里巴巴通过采用基于Linux的Oracle9i集群数据库(Oracle9iRAC)作为产品数据库,有效地缩小了这些差异,使很多测试工作变得真正有意义,直接用于产品应用平台,从而提高系统的部署效率。 为什么选择ORACLE 在谈及选择基于Linux的Oracle9i集群数据库的原因时,鲁先生说:“Oracle9i集群数据库在性能、安全性、24x7高可用性、稳定性方面都很好地满足了我们的应用需求,特别是它强大的易扩展性,尤其适合阿里巴巴快速发展的特点。另一方面,Oracle公司对Linux的积极态度和支持力度以及在Linux平台上不断实现的性能突破,坚定了我们采用Linux的信心,使我们既能够满足电子商务网站对性能和安全性的高要求,同时也能够很好地解决了成本控制的问题,这对我们成长型企业来说至关重要。基于Linux的Oracle9i集群数据库使我们能够以较低的成本在Linux平台上获得企业级的性能、可靠性和可扩展性,在Linux平台上运行网站的关键应用系统。其强大的集群能力,使我们能够在以后交易量上升到一定程度需要增加系统容量时,只需简单地增加节点,完全不需要更改应用,我们获得了一个真正按需部署的系统。” 未来计划 我们将继续关注Oracle在Linux方面的合作以及技术的发展。随着阿里巴巴业务的不断发展,我们将充分利用“Exos”系统成功应用基于Linux的Oracle9i集群数据库的经验,改善其它应用系统,逐步把这些系统迁移到Oracle平台上。