在Spark中实现增量合并(upsert/merge实现)
通常会将大量数据抽取到Hadoop分布式文件系统(HDFS)中进行分析。通常情况下，我们需要用新的变化定期更新这些数据。很长一段时间以来，实现这一目标的最常见方法是使用Apache Hive增量地将新的...
Spark合并Hive ODS离线数据和HBase实时数据，并存入Hive DWD层
任务描述抽取 ods 库中表 table4 最新分区的数据，并结合 HBase 中 table4 offline表中的数据合并抽取到 dwd 库中 fact table4 的分区表，分区字段为etl date 且值与 ods 库的相对应表该值相等...
5.14 案例：使用Spark统计连续三周登录的用户数
假设有如下一个用户登录日志表：+------+-------+-------------------+|log_id|user_id| log_time|+------+-------+-------------------+| 1| 1000|2022-03-10 10:08:1...
前端框架vue.js系列教程(1)-安装配置node.js和npm
前端框架vue.js系列教程：安装配置node.js和npmvue.js工程项目创建vue.js框架应用开发vue.js单页面应用开发vue.js中实现echarts绘图vue.js远程访问RESTful API接口示例vue.js使用Fetch API访问R...
前端框架vue.js系列教程(3)-vue.js框架应用开发
前端框架vue.js系列教程：安装配置node.js和npmvue.js工程项目创建vue.js框架应用开发vue.js单页面应用开发vue.js中实现echarts绘图vue.js远程访问RESTful API接口示例vue.js使用Fetch API访问R...
前端框架vue.js系列教程(2)-vue.js工程项目创建
前端框架vue.js系列教程：安装配置node.js和npmvue.js工程项目创建vue.js框架应用开发vue.js单页面应用开发vue.js中实现echarts绘图vue.js远程访问RESTful API接口示例vue.js使用Fetch API访问R...
前端框架vue.js系列教程(5)-vue.js中实现echarts绘图
前端框架vue.js系列教程：安装配置node.js和npmvue.js工程项目创建vue.js框架应用开发vue.js单页面应用开发vue.js中实现echarts绘图vue.js远程访问RESTful API接口示例vue.js使用Fetch API访问R...
前端框架vue.js系列教程(4)-vue.js单页面应用开发
前端框架vue.js系列教程：安装配置node.js和npmvue.js工程项目创建vue.js框架应用开发vue.js单页面应用开发vue.js中实现echarts绘图vue.js远程访问RESTful API接口示例vue.js使用Fetch API访问R...
前端框架vue.js系列教程(6)-vue.js远程访问RESTful API接口示例
前端框架vue.js系列教程：安装配置node.js和npmvue.js工程项目创建vue.js框架应用开发vue.js单页面应用开发vue.js中实现echarts绘图vue.js远程访问RESTful API接口示例vue.js使用Fetch API访问R...
前端框架vue.js系列教程(7)-vue.js使用Fetch API访问RESTful API接口示例
前端框架vue.js系列教程：安装配置node.js和npmvue.js工程项目创建vue.js框架应用开发vue.js单页面应用开发vue.js中实现echarts绘图vue.js远程访问RESTful API接口示例vue.js使用Fetch API访问R...
2024年重庆甘肃安徽等省职业院校技能大赛_大数据应用开发样题解析-模块F：综合分析
任务一：请描述HBase 的rowkey 设计原则。任务二：ClickHouse 有哪些表引擎？列举四种并简要描述。任务三：对于分组排序的理解。任务四：Kafka 中的数据如何保证不丢失？任务五：Spark 的数据本...
2024年重庆甘肃安徽等省职业院校技能大赛_大数据应用开发样题解析-模块E：数据可视化
单击以下链接，可跳转到相应的子任务实现部分。创建Vue工程后端接口说明任务1、 用柱状图展示消费额最高的省份任务2、 用饼状图展示各地区消费能力任务3、 用玫瑰图展示各地区消费能力任务4、 ...
2024年重庆甘肃安徽等省职业院校技能大赛_大数据应用开发样题解析-模块B：数据采集-任务二：实时数据采集
本任务共有两个子任务组成：实时数据采集子任务1实时数据采集子任务2子任务1子任务1描述1、在主节点使用Flume 采集实时数据生成器25001 端口的socket 数据（实时数据生成器脚本为主节点/data_lo...
2024年重庆甘肃安徽等省职业院校技能大赛_大数据应用开发样题解析-模块D：离线数据处理-任务二：离线指标计算
环境说明Hive 的配置文件位于主节点/opt/module/hive-3.1.2/conf/Spark 任务在Yarn 上用Client 运行，方便观察日志；ClickHouse 的jdbc 连接端口8123，用户名/密码：default/123456命令行客户端...
2024年重庆甘肃安徽等省职业院校技能大赛_大数据应用开发样题解析-模块D：离线数据处理-任务一：离线数据清洗
环境说明Hive 的配置文件位于主节点/opt/module/hive-3.1.2/conf/Spark 任务在Yarn 上用Client 运行，方便观察日志；ClickHouse 的jdbc 连接端口8123，用户名/密码：default/123456命令行客户端...
2024年重庆甘肃安徽等省职业院校技能大赛_大数据应用开发样题解析-模块C：实时数据处理-任务二：实时指标计算
环境说明Flink 任务在Yarn 上用per job 模式（即Job 分离模式，不采用Session 模式），方便Yarn 回收资源；建议使用gson 解析json 数据。任务描述编写Java 工程代码，使用Flink 消费Kafka 中dwd...
