面向不同用户场景下的公有云资源交付弹性调度体系-田政雄.pdf

面向不同用户场景下的公有云资源交付弹性调度体系阿里云智能-弹性计算田政雄田政雄•毕业后加入华为中央软件部，2012 年加入阿里云弹性计算，10+ 年管控调度研发经验•参与了阿里云飞天操作系统的研发，主导了弹性计算、存储、网络等多个管控模块的架构升级•从 0 到 1 打造了弹性计算资源中台，致力于为用户建设按时按需高性价比的资源交付弹性调度体系，服务于阿里云数百万用户关于我目录 1. 弹性调度的挑战 1）弹性调度规模 2）高弹性成功率诉求 3）高弹性效率诉求 4）高性价比诉求 2. 弹性调度的技术内幕 3. 资源交付弹性调度最佳实践 4. 总结弹性调度规模—可⽤区*规格*售卖形态6 大洲20+ 数据中心60+ 可用区GN6v GPU计算型F1 FPGA 计算型GN5 GPU计算型GA1 GPU可视化型中小型数据库数据处理任务企业后台应用Web服务器；批量计算，分布式分析，高性能科学和工程类应用和平台；广告，游戏高性能数据库数据挖掘和分析Redis, Memcached内存型数据库关系型数据库；NoSQL数仓；内存型数据库Hadoop/Spark集群(实时)MapReduce分布式计算如Hadoop、Spark等；分布式文件系统；日志和数据处理基因组学研究；视频编解码、图像转码；金融分析深度学习；视频处理；图形可视化；科学计算高性能科学计算高性能前端机GN6i GPU计算型F3 FPGA 计算型EBM 弹性裸金属（神龙）高性能数据库；高性能网站前端机；数据处理任务；企业后台应用；高性能计算、科学计算SCC 超级计算集群X86计算异构计算裸金属&高性能计算E-HPC 弹性高性能计算G6 通用型SN2NE 通用网络增强C6 计算型SN1NE 计算网络增强R6 内存型SE1NE 内存网络增强R5 内存型RE4 内存增强HFC6 高主频计算型HFG6 高主频通用型D1NE大数据型I2 本地SSD型I1 本地SSD型D2大数据型G5 通用型C5 计算型D1大数据型HFR6 高主频内存型400+ 产品规格 （一云多芯）节省计划按量包年包月预留实例容量预留弹性保障专有宿主机DDH抢占式实例SPOT10+ 售卖形态弹性业务持续波动性—⾼弹性成功率诉求某用户持续波动，峰值是正常时的两倍某用户持续增长，半年增长了数十倍弹性业务突发性—⾼弹性效率诉求某用户的活动事件突发，1小时之内增长20倍某用户的每天创建释放量突发弹性业务低成本诉求—⾼性价⽐诉求时间业务负载业务脉冲A临时发生业务脉冲B有明确规划如何结合自己的业务特征来购买达到最优流量波动无状态用户如何降低成本周期性（比如晚高峰）用户如何降成本目录1. 弹性调度的挑战2. 弹性调度的技术内幕 1）弹性供应：机位规划、服务器动态调配 2）资源调度：抢占式实例分时复用、性能 Bursting、画像调度、异常调度和隔离 3）智能售卖：事前购买推荐、容量规划、资源预定；事中多购买形态组合；事后候补生产 4）弹性编排：预测式伸缩能力、预规划调度3. 资源交付弹性调度最佳实践4. 总结弹性的维度时间（24*7）空间（Region、AZ ）规格（大小、能力）数量（资源维度）弹性调度整体架构弹性供应机位规划提货采购搬迁调配智能售卖资源规划资源推荐RI、SP、SPOT等多购买形态推荐候补生产资源池化资源调度性能突发调度画像调度分时复用弹性编排弹性升降配（垂直弹性）弹性伸缩ESS（水平弹性）资源编排ROS弹性成功率弹性效率高性价比售卖形态可用区规格物理机间物理机内多级调度体系弹性供应——持续弹性资源供应规划引擎当前库存销售预测机位容量功耗信息• 资源交付持续有货的保障• 供应链效率的极致优化• 可用区、规格离线资源调度实例腾挪动态调配平衡搬迁采购提拉动态资源规划（多周期多阶段）物理机缺口转换模型过滤器权重器策略规则中心销售预测——多维预测创建量：长短周期比例情况观察长周期增长相对稳定拆分保有量：长周期稳定+短周期波动大客户毛刺剔除按用户系统分层长周期稳定预测数据精细化奇异点分拆短周期稳定预测数据收集数据分析数据清洗算法预测数据补偿• 通过有效的销售预测做好资源规划• 保障用户弹性体验的前提下最大化提升资源利用率资源调度——性能保障• 资源精准交付的保障• 画像错峰调度ECS资源/数据/算法/运维物理机ECS调度系统性能预测/告警计算虚拟化块存储虚拟化网络虚拟化性能项监控物理机管控数据清洗/聚合/可视化性能项及资源利用率监控资源动态调配【单机】物理机/实例性能负载、整机性能画像数据、用户购买行为画像在线画像调度【单元】突发售卖水位线基准售卖水位线实例实例实例实例实例 规格突发模型（垂直弹性） 资源争抢探测修复【中心】 2134 部件服务调度【部件】单元调度中心调度资源调度——垂直弹性• 通过资源消费“面积”积分算法，精确计算用户积分的积攒和消耗• 时域和空间域的错峰弹性，让用户拿到超额的资源累积积分资源利用率累积积分积分累积积分消耗资源利用率百分比Baseline/10%，15%Max积分初始积分时间／分钟100%预支积分0t124+t124超额积分累计积分消耗殆尽，可按需使用计算性能预支积分超额积分－付费按需使用t2智能售卖——千⼈千⾯•全链路：从资源规划期的查询评估和需求管理，到智能主动推荐，到购买时的资源开启•全渠道：满足大中小客户的供应需求•全方式：兼顾不同用户的不同使用方式和习惯，提供控制台，API，企业群，智能客服等多种方式的服务接入智能交付推荐大脑需求管理资源诊断消息中心智能推荐资源交付� 规格查询� 保有资源风险预警� 智能预测需求提醒� 规格不可见� 地域不可见� 购买失败诊断� 产品迭代� 可用区有限关闭� 到货通知� 预定事件� 可用区推荐� 规格推荐� 购买形态推荐� 性能推荐� 指定时间资源预定� 资源保障� 弹性供应组� 候补生产智能售卖——⽔平弹性• 基于用户画像的规划算法，根据用户设定的购买量和简单规则自动帮助用户用最低价格最合适的规格和售卖形态购买资源• 可用区、规格、售卖形态在线资源调度73%可用区C47%可用区D42%计算资源总需求按量付费抢占实例26%可用区A59%可用区B33%可选策略组合（自定义优先、成本优化）可选规格sn1ne，c5，g5等调度系统因子（价格、性能、库存）AACCBBBDDDD规划引擎BBB售卖方式比例30%70%1000vCPU请求弹性供应组（AutoProvisioningGroup） 资源规划交付资源池用户画像（比如高网络负载用户使用网络增强型规格）可用区A sn1ne 按量 *台可用区B sn1ne 按量 *台可用区B c5 SPOT *台……弹性编排——⾼效弹性•ESS 弹性伸缩的几种模式•ROS 资源编排：部署自动化，快速交付集群• 模版• 资源编排引擎• 资源栈定时模式根据配置定时（如周五13:00:00）地增加或减少ECS实例动态模式基于云监控指标(比如CPU使用率)负载情况，根据配置自动伸缩高效弹性生产背后的技术：1. 售卖生产解耦异步化2. 从镜像到存储到虚拟化的全链路优化3. 基于画像的预规划调度，提前资源保障手动+动态模式手动添加包年包月实例（不会被移出伸缩组）确保业务基座定时+动态模式在定时配置进行扩缩容的基础上，根据监控指标动态进一步调整ECS实例数目录1. 弹性调度的挑战2. 弹性调度的技术内幕3. 资源交付弹性调度最佳实践 1）高弹性成功率： SaaS 用户的弹性调度实践 2）高资源确定性：SaaS 用户的资源确定性调度实践 3）高弹性效率：Serverless 容器服务的弹性调度实践 4）极速交付部署：钉钉 10 万台云服务器的快速资源交付实践 5）高性价比：流量波动无状态用户低成本调度实践4. 总结SaaS ⽤户⾼弹性成功率调度实践•【智能售卖-弹性供应组】多可用区多规格调度、重启变配等多项措施保障高弹性成功率•成本最优模式保障价格最优•【智能售卖-资源预定】【事件通知】VPC网络业务调度 弹性供应组成本、性能、稳定性等规划因子ECS可用区列表规格*C*G磁盘规格列表 ECS事件中心可用区、规格等变化事件通知 ECS智能售卖GPU等定制规格提前资源预定重启弹性变配调度到更优资源多可用区多规格资源规划重调度机制业务需求和痛点解决方案&关键技术落地效果•SaaS 用户增长量大，且经常启动，有高弹性成功率诉求•高弹性成功率SaaS ⽤户资源确定性调度实践 某独立软件供应商，内部云平台以按量付费的方式运行在 ECS 上。为保障服务云平台的更新经常需要做自动化系统升级。整个升级过程的主要诉求和痛点为：• 资源确定性：升级过程释放部分 ECS 再开通；需要保证重新开通的资源能够 100% 开通成功• 成本控制：在保证资源确定性的基础上实现成本优化，不能因资源确定性产生额外的闲置资源费用业务需求和痛点• 确定性：提供了升级过程资源保障，支持业务的顺畅运行• 成本：使用节省计划支持用户需求的同时帮助用户相对按量 30%+ 以上的成本优化 采用 立即生效的容量预定（iCR）+节省计划+私有资源池的解决方案【智能售卖】•iCR 保证资源确定性：iCR 对应的私有池相当于小型“独立 IDC” 保证私有池内资源确定性•节省计划和容量调整帮助成本优化：节省计划与纯按量相比，提供了较好的折扣价格；同时私有池的扩容与缩容的功能，能够保证业务顺畅同时减少不必要的资源浪费落地效果解决方案&关键技术Serverless ⾼弹性效率调度实践ServerlessPod调度 ECS成本、性能、稳定性等规划因子ECS可用区列表云桌面规格*C*G磁盘规格列表多可用区多规格推荐规划重调度机制资源复用池•【弹性编排-动态伸缩】多可用区多规格调度•【资源调度】基于画像的预规划调度•计算、网络等资源池复用业务需求和痛点落地效果•Serverless 周期短，频繁创建释放，对弹性速度有诉求•高弹性效率解决方案&关键技术基于画像的预规划调度• 7月27日，在可信云测评上，阿里云使用【弹性伸缩ESS】，在1106秒(约18分)内完成了1万台云服务器的扩容ECS ⾼效交付调度实测•单VM主流规格钉钉 10 万台 ECS ⾼效交付实践钉钉扩容集群ROS ECS资源交付多可用区多规格资源规划ECS•半天扩容了30+万VCPU，ROS资源编排100倍的部署效率提升资源预定报备资源供应规划资源复用网络数据库ROS资源模版ROS资源依赖管理解决方案&关键技术落地效果•机型、时域粒度的资源复用•多地域规模化资源交付【弹性供应】•ROS资源编排流量波动⽆状态⽤户低成本调度实践•使用ESS多可用区多规格+抢占式实例•提前补偿策略，在spot实例到期前弹性伸缩自动选择最低价实例补齐算力，避免spot实例的断崖式释放时间轴spot实例按量实例:时间2时间3208断崖式释放扩容成功替补释放的实例提前补偿机制spot实例要被释放前5分钟开始进行替换实例的准备时间1提前进行补偿操作实例数量spot实例被系统释放重新扩容出来客户业务需求和痛点落地效果•降低70%成本•白天流量是晚上的几十倍，价格敏感，寻求最低成本的算力解决方案&关键技术目录1. 弹性调度的挑战2. 弹性调度的技术内幕3. 资源交付弹性调度最佳实践4. 总结总结&⼯作感悟•弹性是云计算的重要红利，用户有高弹性成功率、高交付效率、高性价比诉求•弹性有多个维度，包括时域、空间、垂直弹性、水平弹性•弹性调度涉及到售卖形态、可用区、规格、物理机、机架等多维调度体系•弹性调度包括弹性供应、资源调度、智能售卖、弹性编排等几个关键技术•弹性调度技术里使用了较多的预测、动态规划等智能模型和算法•更聪明的全力以赴� 用户服务上智能的弹性按时按量更高性价比交付� 工作上有创造性的努力� 技术上有专业权威的深度和广度