DTCC:蔡永承讲eBay数据仓库运维自动化

香港铁算盘 bsk888 4℃ 0评论

  【IT168 现场报道】2013年4月18-20日,第四届中国数据库技术大会(DTCC 2013)在北京福朋喜来登酒店拉开序幕。在为期三天的会议中,大会将围绕大数据应用、数据架构、数据管理(数据治理)、传统数据库软件等技术领域展开深入探讨,并将邀请一批国内顶尖的技术专家来进行分享。本届大会将在保留数据库软件应用实践这一传统主题的基础上,向大数据、数据结构、数据治理与分析、商业智能等领域进行拓展,以满足于广大从业人士和行业用户的迫切需要。

  自2010年以来,国内领先的IT专业网站IT168联合旗下ITPUB、ChinaUnix技术社区已经连续举办了三届数据库技术大会,每届大会超过千人规模,云集了国内技术水平最高的数据架构师、DBA、数据库开发工程师、研发总监、IT经理等,是目前国内最受欢迎的数据库技术盛会。

DTCC:蔡永承讲eBay数据仓库运维自动化
▲2013 DTCC大会现场直播

  在2013年中国数据库技术大会(DTCC)第三天的“数据分析与商业智能”专场,来自eBay数据仓库运维经理蔡永承为大家分享了eBay数据仓库卓越运营。

DTCC:蔡永承讲eBay数据仓库运维自动化
▲eBay数据仓库运维经理蔡永承

  庞大的互联网平台更需要数据也需要技术

  伴随着eBay数据仓库需求不断增长,数据量和新作业呈现出前所未有的增长。据了解,eBay的每天的数据增量在50TB左右,2万个不同的工作在执行。在本次演讲中蔡永承通过一些实例来分享数据仓库运维如何通过改变自己去适应这个变化的。而在自动化运行的过程中涉及质量保障,容量管理,运维数据库,主动监控相关方面的工具介绍。

  eBay的数据平台为不同的用户提供不同的服务,采用不同的技术处理不同量级的应用,而在这些技术之上衍生出的不同平台。分析报告的需求与显示浏览的需求不同,也需要不同的技术实现手段。

DTCC:蔡永承讲eBay数据仓库运维自动化
▲eBay数据平台

DTCC:蔡永承讲eBay数据仓库运维自动化
▲被称为Operation Excellence Stack的“武器库”

  对于eBay数据平台上,从数据层到应用层使用不同的应用进行不同的业务处理。在报告层(Presentation Layer)中的应用中Data Flow, User Cloud, CPU monitor, Failure cloud, Table status , Daily Scorecard, Technical Metadata。而在最新上线的CPU监控项目中是其中的典型应用之一,据蔡永承介绍还有用户云等应用。

DTCC:蔡永承讲eBay数据仓库运维自动化
▲新上线的CPU监控项目

  自动化运维当然离不开移动端应用,在这个框架中运维自动化也要结合移动客户端的应用。而据蔡永承介绍,在eBay的运维框架内已经开始自动化运维与移动终端的结合尝试,并已经部署在一些终端之中。

DTCC:蔡永承讲eBay数据仓库运维自动化
▲作业监控 ETL 监控终端应用截图

转载请注明:今晚特马号_香港铁算盘 » DTCC:蔡永承讲eBay数据仓库运维自动化

喜欢 (0)
发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址