京东公开“数据倾斜处理方法、设备”专利

云合 2021-12-21 11:57:09
零售 2021-12-21 11:57:09 阅读 1254 评论 0

12月21日消息,天眼查资料显示,京东关联公司北京京东世纪贸易有限公司12月21日公开一项“数据倾斜处理方法、设备、存储介质及程序产品”专利,申请公布号为CN113821541A,申请日期为2021年9月27日。

format-jpg

该专利摘要显示,本发明实施例提供一种数据倾斜处理方法、设备、存储介质及程序产品。

该方法包括逻辑执行计划中的查询节点对待连接数据表进行查询,获得数据倾斜的键Key,根据所述数据倾斜的Key与数据倾斜策略对所述逻辑执行计划进行修改,以使从所述待连接数据表中拆分得到的所述数据倾斜的Key对应的第一待连接子表在Spark执行物理执行计划时进行映射端链接Map Join,根据修改后的所述逻辑执行计划,生成所述物理执行计划。

本实施例提供的方法通过对逻辑执行计划进行修改,从根源上规避了数据倾斜带来的诸多问题,减少了场景限制,避免了对统计信息的依赖,提高了数据倾斜处理的全面性和准确性。

format-jpg

format-jpg

12月21日,北京京东世纪贸易有限公司还公开“一种数据处理方法及设备、存储介质”、“一种页面埋点信息展示的方法和装置”、“页面创建方法、装置和系统、计算机装置和存储介质”等多项专利。 

天眼查资料显示,北京京东世纪贸易有限公司成立于2007年4月,注册资本139798.5564万美元,法定代表人为徐雷,公司经营范围包括计算机、软件及辅助设备、机械设备、家用电器、电子元器件、五金交电、电子产品、文化用品、照相器材、化妆品及卫生用品、化工产品(不含危险化学品及一类易制毒化学品)、体育用品、百货、邮票、纺织品、服装、日用品、家具、金银珠宝首饰、避孕器具(避孕药除外)、新鲜水果、蔬菜、食盐、饲料、花卉、种子、装饰材料、通讯设备、建筑材料、工艺礼品、钟表眼镜、玩具、汽车和摩托车配件、机器人、仪器仪表、卫生洁具、陶瓷制品、橡胶及塑料制品、摩托车、智能卡、化肥、农药、牲畜(不含北京地区)的批发、佣金代理(拍卖除外)、零售、进出口及代理进出口业务等。

format-jpg

股权穿透图显示,北京京东世纪贸易有限公司由京东香港国际有限公司100%全资持股,认缴金额为139798.5564万美元。

format-jpg

声明:
  1. 该内容为作者独立观点,不代表电商报观点或立场,文章为作者本人上传,版权归原作者所有,未经允许不得转载。
  2. 电商号平台仅提供信息存储服务,如发现文章、图片等侵权行为,侵权责任由作者本人承担。
  3. 如对本稿件有异议或投诉,请联系:info@dsb.cn
请勿发布不友善或者负能量的内容。与人为善,比聪明更重要!
讨论数量: 0
暂无评论