文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

MySQL MaxCompute与AnalyticDB实现数据处理与转换过程详解

2022-12-26 12:30

关注

1、行转列函数

odps 中行转列函数 wm_concat,将列信息转成行显示,可指定分隔符。

语法格式

wm_concat(separator, string) ,其中separator为分隔符,支持字符串去重,即distinct.

select wm_concat('|',sku_id)
from t_business_order_odps
where
create_time >= '2022-09-30 00:00:00';

ads 中行转列函数 group_concat,即将列信息转成行显示,默认逗号分隔。如在mysql中查询表的所有列名。

select group_concat(COLUMN_NAME)
from information_schema.COLUMNS
where
TABLE_NAME = 't_business_order';

2、判空函数

odps 中判空函数 coalesce ,如若无运费,则显示为0。

select coalesce(freight_amount,0)
from t_business_order_odps
where
create_time >= '2022-09-30 00:00:00';

odps 中判断函数 decode ,如若无运费,则显示为0。

语法格式

decode(expression, search, result[, search, result]…[, default])

表示:三元运算符,即实现IF-THEN-ELSE分支选择的功能

select decode(order_amount,freight_amount,0)
from t_business_order_odps
where
create_time >= '2022-09-30 00:00:00';

ads 中判空函数 ifnull,如若无运费,则显示为0。

select ifnull(freight_amount,0)
from t_business_order
where
create_time >= '2022-09-30 00:00:00';

3、时间函数

odps 中 时间字段类型为 datetime,获取当前时间函数为 getdate()。

select coalesce(freight_amount,0),getdate() as etl_time
from t_business_order_odps
where
create_time >= '2022-09-30 00:00:00';

ads 中时间字段类型为 timestamp,获取当前时间函数为 now()。

select ifnull(freight_amount,0),now() as etl_time
from t_business_order
where
create_time >= '2022-09-30 00:00:00';

4、建表语句

odps 中 字符串字段类型为 string,时间字段类型为 datetime。

CREATE TABLE t_business_order_odps (
	prov_name string COMMENT '省名称',
	city_name string COMMENT '地市名',
	cty_name string COMMENT '区县名称',
	order_no string COMMENT '订单号',
	order_amount bigint COMMENT '运费',
	freight bigint COMMENT '运费',
	insert_month bigint COMMENT '插入月份',
	created_time datetime COMMENT '创建时间'
)
COMMENT '业务订单主表;

ads 中字符串字段类型为 varchar,时间字段类型为 timestamp。

CREATE TABLE t_business_orde (
	prov_name varchar COMMENT '省名称',
	city_name varchar COMMENT '地市名',
	cty_name varchar COMMENT '区县名称',
	order_no varchar COMMENT '订单号',
	order_amount bigint COMMENT '运费',
	freight bigint COMMENT '运费',
	insert_month bigint COMMENT '插入月份',
	created_time timestamp COMMENT '创建时间'
)
PARTITION BY HASH KEY (order_no) PARTITION NUM 128
TABLEGROUP ads_sc_rpt
OPTIONS (UPDATETYPE='BATch')
COMMENT '业务订单主表';

知识梳理

OPTIONS 类型有两种

1)batch 批量表,即数据批量入库,适用于从odps同步到ads;

2)realtime 实时表,即数据单条入库,适用于日志等信息单条入库。

到此这篇关于MySQL MaxCompute与AnalyticDB实现数据处理与转换过程详解的文章就介绍到这了,更多相关MySQL MaxCompute与AnalyticDB内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-数据库
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯