加入收藏

火山引擎ByteHouse上线ELT能力,进一步降低企业数字化维护成本

2023-09-09 01:29:48 来源:中关村在线


(资料图片)

2023-09-08 15:18:26 作者:姚立伟

在数据分析场景中,企业使用的数据通常具备来源多样化的特点,如支付交易记录、用户行为等,且数据格式各异,有的为行式存储结构,有的为列式存储结构。这就要求企业数仓具备一定的数据转换能力。

传统方式是采用Extract-Transform-Load (ETL)来将业务数据转换为适合数仓的数据模型,然而,这依赖于独立于数仓外的ETL系统,导致维护成本较高。但随着云计算时代的到来,云数据仓库具备更强扩展性和计算能力,也要求改变传统的ELT流程。

火山引擎ByteHouse是一款基于开源ClickHouse推出的云原生数据仓库,为用户提供极速分析体验,能够支撑实时数据分析和海量数据离线分析,同时还具备便捷的弹性扩缩容能力,极致分析性能和丰富的企业级特性。凭借其强大的计算能力,火山引擎ByteHouse目前已全面支持Extract-Load-Transform (ELT)的能力,让用户免于维护多套异构系统,产品易用性实现飞跃。

通过ByteHouse的ELT能力,用户只需将数据导入,用自定义SQL语句在ByteHouse内部进行数据转换,无需依赖独立的ETL系统及资源。具体来说,ByteHouse主要通过以下三个能力实现ELT能力:

首先,长任务管理。ByteHouse的查询时间为秒级,一旦查询中出故障,系统会直接返回错误并重试。在ETL场景下,如果一个任务已经执行50分钟才发生故障,重试意味着浪费了前50分钟的资源,影响任务推进。在ByteHouse中,SQL查询会被转化为一系列的算子,研发团队则通过提升算子的容错能力,来应对长时间查询下的系统故障问题,即当某个算子无法获得足够的内存时,系统允许该算子将一部分数据缓存在磁盘上,保证在资源紧张的情况下仍能够完成工作。

其次,异步提交能力。面对大量长耗时的ETL任务时,传统的同步执行方式需要客户端等待服务端返回,容易出现超时问题,影响后续任务执行,而ByteHouse提供的异步提交能力,通过客户端的间歇性轮训来获得用户任务的最终状态,由此保障任务在规定时间内完成。

最后,查询队列。当面临大量离线加工请求时,系统会出现超载。ByteHouse为此提供了查询队列能力,允许用户从队列大小、总CPU占用率、总内存占用率三个维度定义一个队列。

具体来说,当用户向某队列提交查询时,ByteHouse可以通过组件监听各个队列中的查询指标,如果队列未达到上限,则会将查询入队,否则拒绝。除此之外,ByteHouse还会检查队列的资源利用率,当空闲资源高过某阈值时,自动将等待中的查询出队。利用查询队列,用户在编排ETL任务时无需担心底层资源过载,让开发更加便捷。

长任务管理、异步提交和查询队列是火山引擎ByteHouse ELT的核心能力。未来,ByteHouse也会进一步迭代,支持转换函数、长任务容错、优先级队列等更丰富ELT功能,为用户提供更极致、更便捷的使用体验。(作者:何雅逸)

关键词:

相关新闻

资讯

6799元起!OPPO Find N3 Flip今日正式开售
6799元起!OPPO Find N3 Flip今日正式开售

OPPOFindN3Flip今日10:00正式开售,售价分别为12GB+25......更多>

2023东北亚文化旅游美食周暨珲春首届北冰洋帝王蟹节完美收官
2023东北亚文化旅游美食周暨珲春首届北冰洋帝王蟹节完美收官

活动期间,众多国内外游客开启“‘蟹’逅珲春”探寻之......更多>

正平建设集团有限公司中标1.7亿元项目
正平建设集团有限公司中标1.7亿元项目

正平股份(603843)于9月8日发布公告称,近日,以正平......更多>

宏和科技(603256)9月8日14点4分触及跌停板
宏和科技(603256)9月8日14点4分触及跌停板

9月8日盘中消息14点4分宏和科技603256触及跌停板目前......更多>

A股家居板块震荡下挫 菲林格尔触及跌停
A股家居板块震荡下挫 菲林格尔触及跌停

9月8日早间,A股家居板块震荡下挫,菲林格尔触及跌停......更多>

超长黄金周来袭 航空运输业回暖 机构预测这些股业绩大幅增长
超长黄金周来袭 航空运输业回暖 机构预测这些股业绩大幅增长

航空运输行业亏损持续降低,营收规模已恢复至疫情前90......更多>

网传番禺宾馆锦鲤因暴雨“出逃”?记者实探
网传番禺宾馆锦鲤因暴雨“出逃”?记者实探

受“海葵”残余环流和西南季风的影响,广州出现今年以......更多>

恒大近期动作频频,冯仑:死生之际的最后「博弈」
恒大近期动作频频,冯仑:死生之际的最后「博弈」

恒大近期动作频频,冯仑:死生之际的最后「博弈」,冯......更多>

大连:实施购房补贴政策,解除限购政策与住房上市交易限制大连发布
大连:实施购房补贴政策,解除限购政策与住房上市交易限制大连发布

为满足居民刚性和改善性住房需求进一步降低交易成本支......更多>

财讯健闻 | 要闻盘点(9.4-9.8)
财讯健闻 | 要闻盘点(9.4-9.8)

【监管动态】上海医药集团股份有限公司及下属公司四名......更多>

关注

镜相|军训秀出真功夫!山艺戏曲专业学生上演闪转腾挪
镜相|军训秀出真功夫!山艺戏曲专业学生上演闪转腾挪
小反、站提、飞脚、旋子……9月8日,山东艺术学院长清... 更多>
镜相|军训秀出真功夫!山艺戏曲专业学生上演闪转腾挪
小反、站提、飞脚、旋子……9月8日,山东艺术学院长清... 更多>
日本央行或被迫加息至1%?
一位花了30多年时间观察日本国债的银行家正准备迎接这... 更多>
秦岭蔬菜装进粤港澳“菜篮子”
你知道吗?如今,摆在粤港澳大湾区人们餐桌上的土豆,... 更多>
龙之谷学者哪个转职输出最高(龙之谷学者加点器 龙之谷学者加点器权威版)
1、就这样,他在模模糊糊中听到了所谓的神仙大龙之谷... 更多>
好书推荐·赠书|《控制的幻觉:金融危机的根源探究与管理之道》
好书推荐·赠书|《控制的幻觉:金融危机的根源探究与... 更多>
?北京:重点发展基因技术、细胞治疗与再生医学、脑科学与脑机接口、合成生物等细分产业
北京市人民政府办公厅印发《北京市促进未来产业创新发... 更多>
碧水源:目前公司没有放射性物质侦测、核化污染物洗消领域相关产品
每经AI快讯,有投资者在投资者互动平台提问:公司是否... 更多>
41岁李小璐对镜自拍,前凸后翘身材好,评论区被pgone刷屏
照片一被爆出,先是PGone跳出来回应称,贾乃亮是他哥... 更多>
科为·揽月臺7#、12#、15#价格已公示
【科为揽月臺】近期介绍:科为·揽月臺7 、12 、15... 更多>
非法改装偷拍设备最常用到手机 记者“卧底”调查偷拍设备售卖改装产业链
《法治日报》记者近日调查发现,一些微型摄像头、针孔... 更多>
内蒙古:2023年第五批拟入库科技型中小企业名单
近日,内蒙古自治区科学技术厅发布《关于公示内蒙古自... 更多>
深圳龙岗区龙河路有人被冲进河流?谣言!
有网友在社交平台发布视频,称& 34;龙岗区龙河路373... 更多>