大数据共97篇
2-3.大数据国赛第2套任务B-子任务三指标计算-知趣

2-3.大数据国赛第2套任务B-子任务三指标计算

任务要求11.1编写job2脚本1.2编写job3脚本1.3编写job4脚本1.4编写azkaban脚本1.5打包上传azkaban脚本1.6执行azkaban脚本任务要求22.1实现流程概要2.2创建DWS层表2.3统计每个用户每天的消费金额2...
9.2 数值类型间转换-知趣

9.2 数值类型间转换

字符串转数值(解析)Scala提供了将字符串解析为数值的方法。请看下面的代码:// 字符串转数值(解析)println('100'.toInt) // 100println('100'.toDouble) // 100.0println('100'.toFloat) // 100...
one的头像-知趣one1年前
0910228
5.5 嵌套函数-知趣

5.5 嵌套函数

Scala允许用户在函数中定义函数。这称为嵌套函数,其中内部函数称为局部函数。以下代码表示嵌套的函数。def bookAssignAndDisplay(bookId:Int,bookname:String) = { def getBookDetails(bookId:...
one的头像-知趣one1年前
0900266
2.2 数据类型-知趣

2.2 数据类型

与Java语言类似,Scala 语言内置了基本的数据(变量)类型以及在这些类型上允许执行的运算符。但是与Java语言不同的是,Scala没有原始数据类型(基本数据类型)。在Scala中,所有的数据类型都是对...
one的头像-知趣one1年前
0899135
1-1.linux相关命令入门-知趣

1-1.linux相关命令入门

实验环境实验准备实验内容一、环境变量和脚本相关命令二、文件和目录操作命令三、文本编辑器命令四、网络相关命令五、软件包管理命令 实验环境Ubuntu 18.04 64位GNU bash 版本 4.4.20实验环境S...
6.1 Scala函数式编程-知趣

6.1 Scala函数式编程

尽管Scala是一种混合的面向对象和函数式编程语言,但它强调函数式编程。这就是为什么它是一种强大的语言。如果将Scala作为一种函数式编程语言使用,而不只是把它当作另一种面向对象编程语言来使...
one的头像-知趣one1年前
0882111
4-1.大数据国赛第2套任务D-子任务一实时数据采集-知趣

4-1.大数据国赛第2套任务D-子任务一实时数据采集

任务要求1 :1.1实现思路1.2启动Hadoop、Zookeeper、Kafka1.3创建order主题1.4编写flume配置1.5启动flume1.6编写数据生成脚本1.7运行数据生成脚本1.8.查看结果数据任务要求2 :2.1实现思路2.2启动...
Spark合并Hive ODS离线数据和HBase实时数据,并存入Hive DWD层-知趣

Spark合并Hive ODS离线数据和HBase实时数据,并存入Hive DWD层

任务描述抽取 ods 库中表 table4 最新分区的数据,并结合 HBase 中 table4 offline表中的数据合并抽取到 dwd 库中 fact table4 的分区表,分区字段为etl date 且值与 ods 库的相对应表该值相等...
one的头像-知趣one12个月前
0877177
1.4 使用IDEA开发Scala应用程序-知趣

1.4 使用IDEA开发Scala应用程序

接下来,我们就可以开发第一个Scala程序“HelloWorld”了。本节包括如下内容:创建Scala项目创建Scala应用程序注意:确保已经安装好了JDK 8+。 创建Scala项目首先我们在IntelliJ IDEA中创建一...
one的头像-知趣one1年前
0877233
4.8 Scala集合:Option-知趣

4.8 Scala集合:Option

在Scala中,Option[T]是给定类型的0或1个元素的容器。Option 是一个数据类型,用来表明一些数据的“有”或“无”,可以是Some[T]或None[T],其中T可以是任何给定类型。一个Some 实例可以存储任...
one的头像-知趣one1年前
0871261
2-1.大数据国赛第2套任务B-子任务一数据抽取-知趣

2-1.大数据国赛第2套任务B-子任务一数据抽取

MySQL表结构分析表结构分析user. _info表sku_ _info表base. _province表base_ region表order_ info表order_ detail表任务要求11.1实现流程概要1.2任务分解任务要求22.1创建ODS层表2.2创建MySQL...
7.4 特质 - Trait-知趣

7.4 特质 – Trait

Scala做了一些面向对象的创新,其中之一就是特质(Trait)。trait类似于带有部分实现的抽象类。一个特质(trait)代表一个接口,由相关类的层级所支持。它是一个抽象机制,帮助开发模块化、可重用...
one的头像-知趣one1年前
0864129
8.4 转义字符、多行字符串及其他-知趣

8.4 转义字符、多行字符串及其他

转义字符在Scala中,也支持如下的转义字符:FF转义字符Unicod编码说明\b\u0008退格(BS),将当前位置移到前一列\t\u0009水平制表(HT),跳到下一个TAB位置\n\u000a换行(LF),将当前位置移到下一行...
one的头像-知趣one1年前
0858173
大数据国赛培训2023(目录)-知趣

大数据国赛培训2023(目录)

2023年全国职业院校技能大赛赛题 2023年全国职业院校技能大赛赛题第02套 2023年全国职业院校技能大赛评分标准(02) 专题1:2023大数据国赛第2套任务A 1-1.linux相关命令入门 1-2.Hadoop分布式安...
7.3 类的继承和多态-知趣

7.3 类的继承和多态

类的继承继承是一种描述类与类之间的关系,反映的是“is a”这种关系。子类通过关键字extends继承了父类的字段和方法,同时可以自定义相应的字段和方法。需要注意的是,如果父类中的成员,包括...
one的头像-知趣one1年前
0840185
4-3.大数据国赛第2套任务D-子任务二:Flink处理Kafka中的数据-知趣

4-3.大数据国赛第2套任务D-子任务二:Flink处理Kafka中的数据

任务要求1 :1.1实现思路1.2获取Flink流运行环境1.3定义Kafka源1.4创建流1.5定义订单数量统计侧边流标签1.6设置水位线1.7设置事件时间1.8自定义处理函数1.9统计订单数量1.10创建redis连接池1.11...