排序
2024年重庆甘肃安徽等省职业院校技能大赛_大数据应用开发样题解析-模块E:数据可视化
单击以下链接,可跳转到相应的子任务实现部分。创建Vue工程后端接口说明任务1、 用柱状图展示消费额最高的省份任务2、 用饼状图展示各地区消费能力任务3、 用玫瑰图展示各地区消费能力任务4、 ...
2024年重庆甘肃安徽等省职业院校技能大赛_大数据应用开发样题解析-模块B:数据采集-任务二:实时数据采集
本任务共有两个子任务组成:实时数据采集子任务1实时数据采集子任务2子任务1子任务1描述1、在主节点使用Flume 采集实时数据生成器25001 端口的socket 数据(实时数据生成器脚本为主节点/data_lo...
2024年重庆甘肃安徽等省职业院校技能大赛_大数据应用开发样题解析-模块D:离线数据处理-任务二:离线指标计算
环境说明Hive 的配置文件位于主节点/opt/module/hive-3.1.2/conf/Spark 任务在Yarn 上用Client 运行,方便观察日志;ClickHouse 的jdbc 连接端口8123,用户名/密码:default/123456命令行客户端...
2024年重庆甘肃安徽等省职业院校技能大赛_大数据应用开发样题解析-模块D:离线数据处理-任务一:离线数据清洗
环境说明Hive 的配置文件位于主节点/opt/module/hive-3.1.2/conf/Spark 任务在Yarn 上用Client 运行,方便观察日志;ClickHouse 的jdbc 连接端口8123,用户名/密码:default/123456命令行客户端...
2024年重庆甘肃安徽等省职业院校技能大赛_大数据应用开发样题解析-模块C:实时数据处理-任务二:实时指标计算
环境说明Flink 任务在Yarn 上用per job 模式(即Job 分离模式,不采用Session 模式),方便Yarn 回收资源;建议使用gson 解析json 数据。任务描述编写Java 工程代码,使用Flink 消费Kafka 中dwd...
2024年福建省大数据应用开发赛项样题解析-模块C:实时数据处理-任务二:实时指标计算
任务要求:编写Scala 工程代码,使用Flink 消费Kafka 中dwd 层的Topic数据,表结构与离线数据表结构相同。本任务共有两个子任务组成。点击正文链接,可快速跳转到相应子任务实现部分:查看子任务...
2024年重庆甘肃安徽等省职业院校技能大赛_大数据应用开发样题解析-模块C:实时数据处理-任务一:实时数据清洗
环境说明Flink 任务在Yarn 上用per job 模式(即Job 分离模式,不采用Session 模式),方便Yarn 回收资源;建议使用gson 解析json 数据。任务描述编写Java 工程代码,使用Flink 消费Kafka 中Top...
2024年重庆甘肃安徽等省职业院校技能大赛_大数据应用开发样题解析-模块B:数据采集-任务一:离线数据采集
任务描述编写Scala 工程代码, 将MySQL 的ds_db01 库中表order_master、order_detail、coupon_info、coupon_use、product_browse、product_info、customer_inf 、customer_login_log 、order_ca...
1.2 安装Scala
Scala可以安装在Windows和Linux操作系统下。下面我们分别介绍在这两个操作系统下安装Scala的步骤。 (注:在安装Scala前,请确保已经安装好了JDK 8,并配置好了环境变量。)本节包括如下内容:...
8.4 转义字符、多行字符串及其他
转义字符在Scala中,也支持如下的转义字符:FF转义字符Unicod编码说明\b\u0008退格(BS),将当前位置移到前一列\t\u0009水平制表(HT),跳到下一个TAB位置\n\u000a换行(LF),将当前位置移到下一行...
8.3 使用正则表达式处理字符串
字符串中正则表达式模式匹配通过在String上调用.r方法来创建一个scala.util.matching.Regex对象,然后在findFirstIn中使用该模式来查找一个匹配,在findAllIn中使用该模式来查找所有的匹配。 ...
8.2 字符串插值
Scala中的String构建在Java中的String之上,并添加了额外的特性,如字符串插值(字符串插值是一种将字符串内的值与变量相结合的机制)。字符串插值是根据数据创建字符串的过程。用户可以将任...
8.1 字符串基本使用和相等性判断
在 Scala 中,String 是一个不可变的对象,所以该对象不可被修改。这就意味着如果修改字符串就会产生一个新的字符串对象。但其他对象,如数组就是可变的对象。字符串基本使用Scala中字符串的数...
7.8 枚举
在Scala中没有enum关键字。相反,Scala提供了一个Enumeration类,我们可以扩展这个类来创建枚举类型。object demo10 { // 创建枚举类型 object Stars extends Enumeration { type Stars = ...
7.7 隐式类
在Scala中,可以通过编写隐式转换,并在需要时将它们引入作用域,从而向封闭类添加新功能。这种方法的一个主要好处是,不必扩展现有的类来添加新功能。从Scala 2.10开始,可以定义一个隐式类,...
7.6 模式匹配
在前面的章节已经讲了Scala中的简单模式匹配。模式匹配是一个表达式,因此它会导致一个值,该值可能被分配或返回。例如:44 match { case 44 => true // 如果匹配了44,则结果为true...