为加强DataWorks功能间的资源管理和统一用户体验,DataWorks推出的Serverless资源组涵盖了原独享调度资源组、独享数据集成资源组、独享数据服务资源组的核心功能,通过一个资源组即可完成数据同步、任务调度运行、调用及管理API服务等操作。
Serverless资源组介绍
相较于旧版资源组(独享资源组和公共资源组),Serverless资源组支持的能力更丰富、售卖方式更统一、能有效利用资源碎片避免浪费。更多Serverless资源组介绍以及与旧版资源组的对比,请参见资源组管理。
注意事项
DataWorks支持的各类型节点,一部分会下发至各引擎执行,另一部分将直接在DataWorks的资源组上执行,下发至计算引擎执行的任务由对应计算引擎收取数据计算费用,在DataWorks资源组执行的任务将由DataWorks收取数据计算费用。
Serverless资源组按量计费方式,高峰期可能存在抢占资源情况,无法完全保障资源使用的时效性。
Serverless资源组费用不包含任务调度费用,无论使用Serverless按量付费资源组还是包年包月资源组,任务调度均会按照实例运行成功数收费,具体详情请参见:附录:数据调度计费说明。
包年包月和按量付费方式不支持转换。例如,您通过包年包月方式购买的Serverless资源组,该资源组后续只能使用包年包月方式计费,不能转换为按量付费。
新用户开通DataWorks时会默认购买按量付费Serverless资源组,该资源组用于结算数据计算费用,不使用不计费,计费详情,请参见计费规则。
计费场景
DataWorks的资源费用包括数据计算费用和数据调度费用。其中:
数据计算费用:在DataWorks运行数据同步任务(例如,离线同步任务)、数据服务任务(例如,调用数据服务API)、数据计算任务(例如,ODPS SQL、PyODPS、EMR Hive)、数据质量规则执行等,均会产生数据计算费用。
说明如何识别数据计算任务以及计算型任务列表请参见数据计算计费说明。
数据调度费用:将任务发布至生产环境进行周期性调度,均会产生数据调度费用。
数据计算费用以CU为计费单位,而数据调度费用以成功运行实例数(不包括空跑)为计费单位,当前Serverless资源组仅支持支付数据计算费用,因此,无论使用Serverless按量付费资源组还是包年包月资源组,数据调度费用均需另行计费。计费详情,请参见附录:数据调度计费说明。
性能指标及购买建议
Serverless资源组的包年包月和按量付费购买方式均基于CU量进行计费,1CU = 1核CPU + 4GiB内存
。
使用Serverless资源组时,需要根据实际开发场景和对应的任务类型来规划资源组规格。
建议规格是基于一般情况提供的指导性配置。您可根据自身的具体业务需求和实际情况对资源进行调整,以确保任务能够高效且稳定地运行。
数据集成
离线同步
离线同步任务并发配置 | 建议规格 | 运行最低规格 |
<4 | 0.5 CU | 0.5 CU |
>=4 |
|
实时同步
同步任务类型 | 建议规格 | 运行最低规格 | |
MySQL实时同步 | 数据库数1 | 2.5 CU | 运行一个实时同步任务最低规则:1 CU |
数据库数2~5 | 4 CU | ||
数据库数6以上 | 7 CU | ||
DRDS(PolarDB-X 1.0)实时同步 | 7 CU | ||
kafka实时同步 | 2.5 CU | ||
其它类型单表级别实时任务 | 2.5 CU | ||
整库实时同步 | - | 运行一个整库同步任务最低规则:2 CU |
数据计算
DataWorks支持的各类型节点任务(例如,PyODPS、EMR Hive),一部分会通过调度下发至各引擎执行(由对应计算引擎收取数据计算费用),另一部分直接在DataWorks的资源组上执行或通过DataWorks资源组启动资源再下发至引擎执行,会占用DataWorks资源组的计算资源,由DataWorks收取数据计算费用。
使用Serverless资源组运行数据计算任务会消耗CU,计算型任务列表及运行计算型任务的默认CU和运行CU详情,请参见计算型任务列表。
任务调度
Serverless资源组最大并发运行实例数:200。
数据服务
最大每秒请求(QPS) | 最低规格 | 服务可用性(SLA) |
500 | 4 CU | 99.95% |
1000 | 8 CU | |
2000 | 16 CU |
计费详情
计费方式
Serverless资源组根据计费方式分为预付费的资源组(包年包月)和后付费的资源组(按量付费)。
Serverless资源组(包年包月)
您需提前确定所需CU量及使用时长,并支付相应费用。除支付的包年包月费用外,使用Serverless资源组在DataWorks进行数据同步、数据计算,以及调试/调用数据服务API,DataWorks侧将不再收取相关费用。
Serverless资源组(按量付费)
您可先使用产品相关功能,后续根据使用的CU总量统一支付相应费用。使用按量付费Serverless资源组运行部分任务(例如,离线同步任务、数据服务任务、数据开发任务)会产生相应数据计算费用。
不同计费方式的功能对比如下:
功能类别 | 功能场景/说明 | Serverless资源组(按量付费) | Serverless资源组(包年包月) |
配额 | 资源组总共可用的CU量。 | 按照实际使用量计算。 | 购买时指定的CU量。 |
使用场景 | 数据计算、数据集成、数据服务 | 支持 | 支持 |
操作 | 扩容、缩容、续费 | 不涉及 | 支持 |
配额管理 | 用于控制不同场景可使用的CU上限。数据计算、数据集成、数据服务均支持。 | ||
设置数据调度并发上限。 | 支持,最大支持200个任务实例并发执行。 | ||
网络配置 | 绑定的专有网络个数。 |
| 取决于购买的CU量。
|
计费规则
Serverless资源组费用不包含任务调度费用,无论使用Serverless按量付费资源组还是包年包月资源组,任务调度均会按照实例运行成功数收费,具体详情请参见:附录:数据调度计费说明。
包年包月
统一按CU使用量收费,费用 = 月单价 * 月数 * 每月购买的CU量
。
按量付费
统一按照CU时 * CU单价计费,费用 = CU时 * CU单价
,按小时出账。
CU时计算方式:
若一个数据计算任务配置了2CU,执行0.5小时后结束(无论任务运行成功、失败或手动终止),则该任务消耗的CU时为2CU * 0.5小时 = 1CU时。
在资源组配额管理中,如果为数据服务当前配置了1CU,则无论数据服务功能是否被使用,CU的消耗将持续,直至将数据服务当前配额的占用CU调整为0后才会停止。
计费单价
包年包月
地域 | 月单价(CNY/月/CU) |
华北3(张家口) | 180.3046 |
华北6(乌兰察布) | 214.5624 |
华东2(上海)、华东1(杭州)、华北2(北京)、华南1(深圳) | 240 |
英国(伦敦) | 329.5431 |
美国(弗吉尼亚) | 348.3241 |
马来西亚(吉隆坡) | 409.3401 |
中国香港、新加坡、德国(法兰克福)、印度尼西亚(雅加达) | 436.7817 |
美国(硅谷) | 469.9517 |
日本(东京) | 500.3647 |
按量付费
地域 | 单价(CNY/CU时) | 示例 |
华北3(张家口) | 0.375635 | 示例:上海地域某数据同步任务配置了2CU,且该任务在0.5小时后运行成功,上海地域CU的单价为0.5元/CU时,则该任务消耗的CU时及费用如下:
|
华北6(乌兰察布) | 0.447005 | |
华东2(上海)、华东1(杭州)、华北2(北京)、华南1(深圳) | 0.5 | |
英国(伦敦) | 0.686548 | |
美国(弗吉尼亚) | 0.725675 | |
马来西亚(吉隆坡) | 0.852792 | |
德国(法兰克福)、印度尼西亚(雅加达)、中国香港、新加坡 | 0.909962 | |
美国(硅谷) | 0.979066 | |
日本(东京) | 1.042426 |
附录:数据调度计费说明
计费场景
在DataWorks运行的数据同步任务、数据开发任务,只要发布至生产环境进行周期性调度,均会产生调度费用。DataWorks支持调度的任务列表,请参见支持的节点类型。
计费单位及规则
按照实例运行成功数阶梯计费。DataWorks根据每日成功运行的实例数量,将调度费用分为12档阶梯价格,按日收取实例运行成功数所在的阶梯费用。
空跑的实例(即实例运行后,平台直接返回运行成功,不会真实执行任务)不收取费用,不计入成功运行的实例数量。
每天实例个数统计示例:假设调度任务为小时任务,在每天00:00~23:59之间,每小时调度一次,那么每天将生成24个实例。
计费单价
地域 | 计费阶梯 | 计费周期 | 费用 |
华东1(杭州) 华东2(上海) 华北2(北京) 华北3(张家口) 华北6(乌兰察布) 华南 1(深圳) 中国香港 | 1~10成功实例数/日 | 日 | 0 CNY/日 |
11~500成功实例数/日 | 日 | 0.99 CNY/日 | |
501~5000成功实例数/日 | 日 | 60 CNY/日 | |
5001~20000成功实例数/日 | 日 | 150 CNY/日 | |
20001~50000成功实例数/日 | 日 | 270 CNY/日 | |
50001~120000成功实例数/日 | 日 | 600 CNY/日 | |
120001~300000成功实例数/日 | 日 | 1320 CNY/日 | |
300001~700000成功实例数/日 | 日 | 3000 CNY/日 | |
700001~1500000成功实例数/日 | 日 | 6300 CNY/日 | |
1500001~3200000成功实例数/日 | 日 | 13400 CNY/日 | |
3200001~7000000成功实例数/日 | 日 | 28000 CNY/日 | |
7000001~14000000成功实例数/日 | 日 | 55500 CNY/日 | |
新加坡 马来西亚(吉隆坡) 印度尼西亚(雅加达) 日本(东京) 美国(硅谷) 美国(弗吉尼亚) 德国(法兰克福) 英国(伦敦) 阿联酋(迪拜) | 1~10成功实例数/日 | 日 | 0 CNY/日 |
11~500成功实例数/日 | 日 | 1.49 CNY/日 | |
501~5000成功实例数/日 | 日 | 90 CNY/日 | |
5001~20000成功实例数/日 | 日 | 225 CNY/日 | |
20001~50000成功实例数/日 | 日 | 405 CNY/日 | |
50001~120000成功实例数/日 | 日 | 900 CNY/日 | |
120001~300000成功实例数/日 | 日 | 1980 CNY/日 | |
300001~700000成功实例数/日 | 日 | 4500 CNY/日 | |
700001~1500000成功实例数/日 | 日 | 9450 CNY/日 | |
1500001~3200000成功实例数/日 | 日 | 20100 CNY/日 | |
3200001~7000000成功实例数/日 | 日 | 42000 CNY/日 | |
7000001~14000000成功实例数/日 | 日 | 83250 CNY/日 | |
华东2(上海)金融云 华南1(深圳)金融云 | 1~10成功实例数/日 | 日 | 0 CNY/日 |
11~500成功实例数/日 | 日 | 1.881 CNY/日 | |
501~5000成功实例数/日 | 日 | 114 CNY/日 | |
5001~20000成功实例数/日 | 日 | 285 CNY/日 | |
20001~50000成功实例数/日 | 日 | 513 CNY/日 | |
50001~120000成功实例数/日 | 日 | 1140 CNY/日 | |
120001~300000成功实例数/日 | 日 | 2508 CNY/日 | |
300001~700000成功实例数/日 | 日 | 5700 CNY/日 | |
700001~1500000成功实例数/日 | 日 | 11970 CNY/日 | |
1500001~3200000成功实例数/日 | 日 | 25460 CNY/日 | |
3200001~7000000成功实例数/日 | 日 | 53200 CNY/日 | |
7000001~14000000成功实例数/日 | 日 | 105450 CNY/日 |
到期说明及续费
若Serverless包年包月资源组即将到期,您可对资源组进行续费。如果未续费,则资源组将会被停服或释放。续费详情,请参见到期说明及续费操作。
资源组扩缩容费用说明
Serverless包年包月资源组支持在购买后根据实际需要进行扩缩容,扩缩容涉及费用变更,扩缩容前后费用计算逻辑,请参见升配事项介绍。
后续步骤
您可购买资源组并选择在数据集成、数据开发、数据服务等任务中使用。购买资源组、绑定资源组至工作空间、连通资源组网络的相关操作,请参见新增和使用Serverless资源组。