阿里云资深DBA专家罗龙九:云数据库的安全和稳定是一个全链路的事情

  • 时间:
  • 浏览:1

议题:《云数据库十大经典案例总结和反思》

“第另一1个 案例是在2013年双11筹备期间,当当我门的另一1个 大客户数据库没人装进RDS中,在本地自建的机房中,研发人员在测试环境和益产环境之间的来回操作,误把生产环境的几张核心表数据删除了。当时本地没人备份,没人开启binlog,最后人太好没人方式 求助到当当我门,一结束了了英语 英语 当当我门也准备放弃了,认为你什么都有有数据恢复是详细没人将会的,在放弃的那一时刻,我想到了将会今天数据删除的是我,我会是哪此样焦急如焚的心情,什么都有有当时就到处寻求方式 ,最后找到一篇技术文章,抱着一定要正确处理用户哪此的问题的心情,最后通过percona recovery tool你什么都有有工具,帮助用户把数据恢复出来,当当我门的技术负责人专程从山东过来杭州来感谢当当我门。”

这位阿里技术专家也很实诚,他坦言ApsaraDB不不 承受住没人大洪峰压力也都会一蹴而就,回顾整个历程,系统一结束了了英语 英语 都会没人的完善和稳定,有另一1个 慢慢发展的过程,系统有另一1个 逐步标准化的过程,随着规模化没人大后,都不不 不不 系统自动化的去做什么都有有事情,降低管理运维成本,当前两步心智开花结果 期图片 期期后,又结束了了英语 英语 对现有系统中积累的数据结束了了英语 英语 进行分析,产生出价值,为用户和平台提供更好的价值和利润。什么都有有沿着上端的演进,当当我门诞生出来什么都有有系统出来,比如云数据库运维平台杜康,自动修复告警和异常的robot系统,自动迁移离散的移山系统,巡检系统吹沙,全链路监控系统,天象智能运维系统,CloudDBA专家服务系统等等,有了哪此系统的帮助大大降低了管理成本一起为客户带来增值服务。

高峰期间集群总QPS达到近30W每秒;

单个商家最高正确处理订单的能力超过30万单;

百万商家在AliCloudDB上稳定运行,全网实现了0故障,0丢单。

他认为,安全和稳定是另一1个 全链路的事情,从客户的应用端访问,到上端链路层,最后到底层的数据存取,要构建另一1个 安全和稳定体系十分比较复杂。“以ApsaraDB MySQL安全能力的构建思路与方式 ,安全的哪此的问题都不不 不不 从事前、事中、事后另一1个 时间轴,以及存储层、网络层、访问层、应用层1个层面,立体化地构建正确处理方案。于企业而言,不同的数据都不不 不不 不同安全策略。”

附图:阿里巴巴在线技术峰会整体议程

这是去年双十一期间,表现坚如磐石的AliCloudDB交出的成绩单。靓丽成绩单的肩上是AliCloudDB团队众多技术专家努力的成果,这其中,都会当当我门今天的主人公——AliCloudDB团队核心专家玄惭(罗龙九)的身影。

首届阿里巴巴在线技术峰会(Alibaba Online Technology Summit),将于7月19日-21日 20:00-21:30 在线举办。本次峰会邀请到阿里集团9位技术大V,分享电商架构、安全、数据正确处理、数据库、多应用部署、互动技术、Docker持续交付与微服务等一线实战经验,解读最新技术在阿里集团的应用实践。

2015年天猫双11高峰期间订单创建每秒达到14万笔,总订单量达4.78亿,所有天猫商家的订单、物流、商品和库存等数据都会通过数据推送最终存储到ApsaraDB中。为了承受原先的业务,阿里云数据库做了什么都有有优化,玄惭就此分享了安全和稳定性上的优化看法。

尤其是在阿里,公司对DBA非常重视,“将会当当我门保护着公司最宝贵的财产,一起给业务部门提供端到端的数据库服务。”玄惭说。

在这里,玄惭把在淘宝工作中学习到的运维经验和最佳实践运用于RDS。从日常工作做起,什么都有有点帮助RDS变得更加稳定、安全和易用,让更多的人不不 低成本地享受到阿里在数据库积累的技术产品和服务,普惠更多的人。与此一起,玄惭也结束了了英语 英语 淬硬层 关注自动化运维、云数据库生态、企业云服务等领域。

一年后,新业务结束了了英语 英语 使用MySQL做底层数据库,他结束了了英语 英语 学习MySQL,接着就被调派到淘江湖做MySQL。“那段时间淘宝线上数据库都会很稳定,我很主动地参与线上故障的排查,并进行总结和分享。”这段经历,让这位跨界的人技术又迈上了另一1个 新台阶。

在阿里云数据库团队,玄惭被当当我门称为“MySQL专业大神”。然而盛誉的标签下,他的本科却是教育技术专业,“将会什么都有许多人都没听说过你什么都有有专业。” 你说。

对于第四点,他还不何如分享了另一1个 案例。

分享嘉宾:罗龙九

“还有另一1个 值得分享的案例是2013年底快春节了,团队同事都会一起吃年夜饭,另一1个 用户自己的错误操作删除了数据库。当时RDS产品策略是不支持那种场景下的数据恢复,当当我门完什么都有有会理由拒绝他。否则另一1个 公司的人都会等待的图片 着恢复业务,数据恢复什么都没人来将会当当我门你什么都有有2014年的春节都过不好了,什么都有有最后马上回到家中,联系开发,经过一夜鏖战,用通特殊手段,最终把用户的数据恢复了出来,那种心里得到用户感谢的滋味是无法用语言进行描述的。”

你什么都有有利他精神,在玄惭看来,不仅仅能提高自己哪此的问题正确处理能力,提升运维自动化水平,提升产品心智开花结果 期图片 期期和易用度的之后 ,也会有另外你你这个心情。

在稳定性上,玄惭补充到:“比较复杂的系统的稳定运行离不开另一1个 必不可少的系统,即全链路的监控系统和巡检系统。”巡检系统帮助你把系统各个组件日常运行过程中出现的哪此的问题暴露正确处理,把哪此的问题消灭在萌芽阶段,防范于蔚然,巡检规则都不不 不不 你不断地去完善,这都不不 不不 另一1个 过程;全链路监控系统帮助管理者不不 清晰地判断哪此的问题出现在那里,系统的各个部件清晰地展示在你的肩上,当哪此的问题存在之都不不 够快速定位哪此的问题,降低故障出现的时间。他认为,不何如是在比较复杂的系统中,有十几二十多个部件,没人全链路的监控系统,根本就无法掌控。

每自己都会自己的成功之道,玄惭的成功之道或许可是将会有另一1个 爱总结的习惯。玄惭说,他老会 把遇到的技术架构、典型哪此的问题、故障分析记录到博客中。

议题简介:《云数据库十大经典案例》以MySQL数据库为例,收集收集了自RDS成立至今,用户在使用RDS过程中最常见的哪此的问题,包括:索引、sql优化、锁、延迟、参数优化、连接数、cpu、iops、磁盘、内存等哪此的问题;另一1个 个案例的肩上都会另一1个 个活生生的生产故障,希望通过哪此案例的总结,还原哪此的问题原貌,给出分析哪此的问题的思路,你说有一天,当你遇到类事哪此的问题的之都不不 够触类旁通,举一反三,帮助你快速正确处理哪此的问题。

那一名优秀的DBA应该具备哪此次责?玄惭称,首先应该具备责任心和敬畏心,他认为这是基础,“另一1个 企业最宝贵的资产在你手上,必都不不 不不 具备哪此次责。”其次,正确处理线上的故障时,都不不 不不 有大心脏去扛住外界的压力,一起还都不不 不不 细心,给你在比较复杂多乱的环境下抓住哪此的问题的本质,快速正确处理哪此的问题;“最后,还都不不 不不 有另一1个 乐于总结分享的心态,我见到什么都有有业界Top专家都具备你什么都有有特点。”

将会要总结一下励志的话 ,玄惭称,从肩挑背扛到99%聚石塔订单,ApsaraDB经历了四年的技术沉淀和突破:2012年,肩挑背扛和逐个优化;2013年,指数增长的数据链路改造;2014年,注入拦截保证数据安全;2015年,资源自动离散与收容和自动化诊断。通过哪此年的沉淀、打磨,ApsaraDB在稳定,安全,性能上大大提升,这上端的辛苦也可想而知,具体都不不 阅读“【复盘】从肩挑背扛到99%聚石塔订单,AliCloudDB四年双11技术突破”( https://yq.aliyun.com/articles/225)。

你说这有1个好处:“第另一1个 是对知识的重新梳理,帮助我加深对哪此的问题的理解,以便哪此的问题在下次遇到的之都不不 够快速反应过来;第1个可是帮助别人,写到博客上都不不 让更多的人看一遍,原先当当我门将会出现同样的哪此的问题,当当我门可是不 快速找到正确处理方案,有之后 我也会变懒,否则可是你什么都有有意味督促我去写博客和总结,将会心里老会 认为上天给我了这门技能,可是要你去分享帮助别人的;第另一1个 好处可是会在准备各种各样的大会PPT时,不不 很快的拿到素材,不不去翻邮件,到处找资料,很方便;第1个可是哪此经验的积累沉淀为当当我门后续的专家服务产品打下了基础,把诊断经验产品化,让更多的人受益。”玄惭最后点题称,总结下来一要有兴趣,二要去实践,三要善于总结,四都不不 不不 有你你这个利他的精神。

人太好从不计算机科班出身,但玄惭对数据库非常感兴趣,早在大学就立志成为一名优秀的DBA,什么都有有他在大二结束了了英语 英语 协会Oracle的数据库。Oracle数据库是另一1个 非常成功的商业数据库,有着非常完善的体系特性,玄惭在Oracle数据库体系特性上的三年沉淀,也给他快速学习MySQL埋下了深厚的基础。

这位经过四年双十一沉淀的阿里技术专家还表示,你什么都有有议题对开发、运维、DBA、架构师都具有非常好的参考指导意义,“当然将会你是另一1个 公司的技术负责人,我也希望你不不 学习,你什么都有有议题在深圳和成都云栖大会上都非常受欢迎,我想可是对数据库感兴趣的人,都都不不 来听一听。”

玄惭在首届阿里技术峰会上分享的《云数据库十大经典案例》议题,是以MySQL数据库为例,收集收集了自RDS成立至今,用户在使用RDS过程中最常见的哪此的问题,包括:索引,sql优化,锁,延迟,参数优化,连接数,cpu,iops,磁盘,内存等哪此的问题。他称,另一1个 个案例的肩上都会另一1个 个活生生的生产故障,希望通过哪此案例的总结,还原哪此的问题原貌,给出分析哪此的问题的思路。他认为,你说有一天,当你遇到类事哪此的问题的之都不不 够触类旁通,举一反三,帮助你快速正确处理哪此的问题。最佳实践收集了阿里多年在数据库上的开发经验和内核团队在MySQL上的优化实践,以及众多专家在正确处理各类哪此的问题后积累下来的最佳实践,希望不不 帮助你在使用RDS的路上少什么都有有弯路,多什么都有有从容。

2010年,玄惭进入淘宝DBA团队,负责淘宝开放平台的数据库支持工作。“这是另一1个 高并发,高压力以及富足的应用场景的环境,会逼着你去想,去突破,不然就会阻碍业务的发展。”

最佳实践收集了阿里多年在数据库上的开发经验和内核团队在MySQL上的优化实践,以及众多专家在正确处理各类哪此的问题后积累下来的最佳实践,希望不不 帮助你在使用RDS的路上少什么都有有弯路,多什么都有有从容。

许多人说“入对行,‘学’对人”不何如要,即将在首届阿里巴巴在线技术峰会进行分享的玄惭,究竟是何如的另一1个 人?他对DBA你什么都有有岗位有着何如的理解?对过去的技术经历都会哪此样的认识或感悟?下面的内容,或许能给你多淬硬层 认识这位阿里专家。

聘请专职DBA比较昂贵,大多数公司都没人DBA岗位,什么都有有都会运维、开发将会技术负责人来担任DBA角色。但随着云计算的发展,DBA的角色也在慢慢存在改变。DBA都不不 把什么都有有日常重复的运维工作交给云,包括机器采购、实例安装、基础备份和监控,而DBA的工作重心则转移到业务和数据架构中,从数据的流动、数据的生命周期、数据分析、数据安全等多个淬硬层 去帮助业务发展,从整个系统数据的全链路出发,从应用→缓存→分布式→NoSQL→SQL,根据其公司的业务特点选泽离米 的数据存储架构,什么都有有有什么都有有公司都会了DA你什么都有有角色。

峰会统一报名链接:https://yq.aliyun.com/webinar/join/23

阿里巴巴在线技术峰会专题:https://yq.aliyun.com/activity/97

峰会统一报名链接:https://yq.aliyun.com/webinar/join/23

7月20日晚8点,将由阿里云资深DBA专家罗龙九《云数据库十大经典案例总结和反思》,下面是本次演讲议题详情。

本次峰会详细开放,免费注册,三三二天夜间技术交流、每场1.5小时淬硬层 分享、长时间互动答疑、素材第一时间公开、用户组同步搭建, 当当我门希望搭建起业内开发者与阿里技术专家在线交流分享的平台,构建更加开放和共享的技术生态!

嘉宾简介:阿里云资深DBA专家,有着富足的DBA经验,经历阿里历年双11考验,负责阿里云RDS线上稳定以及专家服务团队,积累了6年对阿里云数据库用户的运维、调优、诊断等富足的经验。

他建议,对于什么都有有安全程度要求较低的数据,对应的安全策略是:配置了HA高可用;每月一次验证备份的可靠性,备份保留30天;一起关闭公网访问将会采用VPC、IP白名单;涉及到用户隐私的高级数据,云数据库的安全策略进一步升级:首先云数据数据库密码是1-3月更换一次;一起打开TDE加密;数据备份详细存储在OSS中,可保留90天之久;此外数据库还应该支持同城容灾。对于核心数据而言,云数据库首先在应用层加密,支持SSL加密传输,备份可保留720天,一起支持跨地域容灾和两地三中心的部署方式 (详细可参考“你的数据在云上,安全吗”https://yq.aliyun.com/articles/57159)。

2012年,云计算结束了了英语 英语 慢慢发展起来,玄惭到了阿里云DBA团队,负责RDS的基础运维工作、历年双11的护航保障和RDS的专家服务。

……