长任务管理、异步提交和查询队列是火山引擎ByteHouseELT的核心能力。未
09月09日 01:29
(资料图片)
2023-09-08 15:18:26 作者:姚立伟
在数据分析场景中,企业使用的数据通常具备来源多样化的特点,如支付交易记录、用户行为等,且数据格式各异,有的为行式存储结构,有的为列式存储结构。这就要求企业数仓具备一定的数据转换能力。
传统方式是采用Extract-Transform-Load (ETL)来将业务数据转换为适合数仓的数据模型,然而,这依赖于独立于数仓外的ETL系统,导致维护成本较高。但随着云计算时代的到来,云数据仓库具备更强扩展性和计算能力,也要求改变传统的ELT流程。
火山引擎ByteHouse是一款基于开源ClickHouse推出的云原生数据仓库,为用户提供极速分析体验,能够支撑实时数据分析和海量数据离线分析,同时还具备便捷的弹性扩缩容能力,极致分析性能和丰富的企业级特性。凭借其强大的计算能力,火山引擎ByteHouse目前已全面支持Extract-Load-Transform (ELT)的能力,让用户免于维护多套异构系统,产品易用性实现飞跃。
通过ByteHouse的ELT能力,用户只需将数据导入,用自定义SQL语句在ByteHouse内部进行数据转换,无需依赖独立的ETL系统及资源。具体来说,ByteHouse主要通过以下三个能力实现ELT能力:
首先,长任务管理。ByteHouse的查询时间为秒级,一旦查询中出故障,系统会直接返回错误并重试。在ETL场景下,如果一个任务已经执行50分钟才发生故障,重试意味着浪费了前50分钟的资源,影响任务推进。在ByteHouse中,SQL查询会被转化为一系列的算子,研发团队则通过提升算子的容错能力,来应对长时间查询下的系统故障问题,即当某个算子无法获得足够的内存时,系统允许该算子将一部分数据缓存在磁盘上,保证在资源紧张的情况下仍能够完成工作。
其次,异步提交能力。面对大量长耗时的ETL任务时,传统的同步执行方式需要客户端等待服务端返回,容易出现超时问题,影响后续任务执行,而ByteHouse提供的异步提交能力,通过客户端的间歇性轮训来获得用户任务的最终状态,由此保障任务在规定时间内完成。
最后,查询队列。当面临大量离线加工请求时,系统会出现超载。ByteHouse为此提供了查询队列能力,允许用户从队列大小、总CPU占用率、总内存占用率三个维度定义一个队列。
具体来说,当用户向某队列提交查询时,ByteHouse可以通过组件监听各个队列中的查询指标,如果队列未达到上限,则会将查询入队,否则拒绝。除此之外,ByteHouse还会检查队列的资源利用率,当空闲资源高过某阈值时,自动将等待中的查询出队。利用查询队列,用户在编排ETL任务时无需担心底层资源过载,让开发更加便捷。
长任务管理、异步提交和查询队列是火山引擎ByteHouse ELT的核心能力。未来,ByteHouse也会进一步迭代,支持转换函数、长任务容错、优先级队列等更丰富ELT功能,为用户提供更极致、更便捷的使用体验。(作者:何雅逸)
关键词:
长任务管理、异步提交和查询队列是火山引擎ByteHouseELT的核心能力。未
09月09日 01:29
机遇亦是挑战。智能投影产业如何更高质量发展?未来发力点在哪里?
09月09日 01:40
太极股份(002368)09月08日在投资者关系平台上答复了投资者关心的问题。
09月09日 01:38
今天来聊聊铁站东莞站是指哪里,广深高铁东莞站在哪里的文章,现在就为
09月09日 01:31
证券代码:301227证券简称:森鹰窗业公告编号:2023-052哈尔滨森鹰窗业
09月09日 01:29
诸多的对于玩游戏哪个手机好?,玩游戏哪个手机好这个问题都颇为感兴趣
09月09日 01:38
患难与共 huànnànyǔgòng 〖解释〗共同承担危险和困难。指彼
09月09日 01:36
世博淞园明日街区市集五大体验板块喜乐开场潮流文创区30多个手工文创摊
09月09日 01:30
环保资质经营范围,保资质经营范围的基本详情介绍很多人还不知道,那么
09月09日 01:31
这是9月7日拍摄的德州市行政中心绿地花园。山东省德州市是国家首批园林
09月09日 01:35
来源:证券之星2023年9月8日芯瑞达(002983)发布公告称公司于2023年9
09月09日 01:34
截至2023年4月30日,除ST摩登等6家公司外,A股市场共有5158家上市公司
09月09日 01:34
会议现场。北京师范大学供图中国青年报客户端讯(中青报·中青网记者叶
09月09日 01:24
亚洲杯功臣发文炮轰!唐佳丽肖裕仪委屈,水庆霞走上贾秀全路子,王霜,贾
09月09日 01:21
儿子创业老爹买单巴奴为子品牌“假羊肉”赔付超800万,巴奴,羊肉,火锅,
09月09日 01:22
你支持谁?阿媒发起互动:下场劳塔罗、阿尔瓦雷斯谁首发,阿媒,拳击,劳
09月09日 01:35
人民网莫斯科9月8日电(记者隋鑫、肖新新)驻俄罗斯使馆6日举办“一带一
09月09日 01:30
原创广东:天气太热了,女子买内脏,网友:我这样穿我妈会杀了我,时尚,
09月09日 01:24
外资看空?这家老牌外资机构仍在“以长期视角投资中国”,基金,股权,富
09月09日 01:25
据@广州天气微博消息,据广州市气象台监测,广州市达到解除气象灾害(
09月09日 01:29
“幸福生活是奋斗出来,不是天上掉下来的。”陕西省渭南市大荔县小坡村
09月09日 01:23
果然不出所料,今天华为再次搞“突然袭击”正式上架华为Mate60Pro+、华
09月09日 01:22
编织手链是一项时尚有趣的手工艺活动,但是在编织过程中也要注意一些忌
09月09日 01:20
巨星农牧股东巨星集团质押1166万股用于自身生产经营2023 9 819:49:15挖
09月09日 01:25
挖贝网9月8日,鑫乐医疗(832294)近日发布2023年半年度权益分派实施公
09月09日 01:27
户外露营区露天营地,放肆玩乐吹着晚风享受生活运动体验区和教练一起动
09月09日 01:25
“师”光不负灿烂向阳在本周,澜精灵们还自主开展各种敬师爱师活动,从
09月09日 01:27
南都湾财社记者注意到,在今年光博会上,3D机器视觉技术依旧是展会热点
09月09日 01:24
近日,巴奴旗下超岛自选火锅被曝出高钙羊肉卷检出鸭成分。经检测,包含
09月09日 01:20
每经AI快讯,万润科技(SZ002654,收盘价:11 4元)9月8日发布公告称,
09月09日 01:20