bigdata共89篇
大数据国赛培训2023(目录)-知趣

大数据国赛培训2023(目录)

2023年全国职业院校技能大赛赛题 2023年全国职业院校技能大赛赛题第02套 2023年全国职业院校技能大赛评分标准(02) 专题1:2023大数据国赛第2套任务A 1-1.linux相关命令入门 1-2.Hadoop分布式安...
5.2 函数方法和函数参数-知趣

5.2 函数方法和函数参数

函数方法也可以使用def关键字来定义有名字的函数。在Scala 中,使用关键字def 定义函数,其语法格式如下:def 函数名(参数1:数据类型,参数2:数据类型):函数返回类型= {   函数体}这种方式,通常...
one的头像-知趣one1年前
0389283
2024年重庆甘肃安徽等省职业院校技能大赛_大数据应用开发样题解析-模块D:离线数据处理-任务一:离线数据清洗-知趣

2024年重庆甘肃安徽等省职业院校技能大赛_大数据应用开发样题解析-模块D:离线数据处理-任务一:离线数据清洗

环境说明Hive 的配置文件位于主节点/opt/module/hive-3.1.2/conf/Spark 任务在Yarn 上用Client 运行,方便观察日志;ClickHouse 的jdbc 连接端口8123,用户名/密码:default/123456命令行客户端...
9.2 数值类型间转换-知趣

9.2 数值类型间转换

字符串转数值(解析)Scala提供了将字符串解析为数值的方法。请看下面的代码:// 字符串转数值(解析)println('100'.toInt) // 100println('100'.toDouble) // 100.0println('100'.toFloat) // 100...
one的头像-知趣one1年前
0911228
4.1 Scala集合:Seq-知趣

4.1 Scala集合:Seq

Scala 有一个丰富的集合库,包含很多不同类型的集合。此外,所有的集合都暴露出相同的接口。因此,一旦熟悉了一个Scala 集合,就可以很容易地使用其它集合类型。Scala中的集合体系主要包括:Ite...
one的头像-知趣one1年前
0750146
3-1.大数据国赛第2套任务C-子任务一特征工程-知趣

3-1.大数据国赛第2套任务C-子任务一特征工程

任务要求11.1实现思路1.2连接Spark1.3查询用户id为38的用户购买的商品id1.4查询其他用户购买的相同商品数量1.5按格式输出结果任务要求22.1实现思路2.2连接Spark2.3实现方式一2.4实现方式二 任...
7.3 类的继承和多态-知趣

7.3 类的继承和多态

类的继承继承是一种描述类与类之间的关系,反映的是“is a”这种关系。子类通过关键字extends继承了父类的字段和方法,同时可以自定义相应的字段和方法。需要注意的是,如果父类中的成员,包括...
one的头像-知趣one1年前
0867185
2024年重庆甘肃安徽等省职业院校技能大赛_大数据应用开发样题解析-模块B:数据采集-任务一:离线数据采集-知趣

2024年重庆甘肃安徽等省职业院校技能大赛_大数据应用开发样题解析-模块B:数据采集-任务一:离线数据采集

任务描述编写Scala 工程代码, 将MySQL 的ds_db01 库中表order_master、order_detail、coupon_info、coupon_use、product_browse、product_info、customer_inf 、customer_login_log 、order_ca...
2023年全国职业院校技能大赛评分标准(02)-知趣

2023年全国职业院校技能大赛评分标准(02)

赛项名称:          大数据应用开发           英文名称:   Big Data Application Development       赛项组别:              高职组     ...
5.1 函数字面量-知趣

5.1 函数字面量

函数是一个可执行代码块,它接收输入参数返回一个值。它概念上与数学中的函数相似,它接收输入并返回一个输出。Scala是一个函数式编程语言,它将函数当作一等公民;一个函数可以像一个变量一样...
one的头像-知趣one1年前
0561207
5.14 案例:使用Spark统计连续三周登录的用户数-知趣

5.14 案例:使用Spark统计连续三周登录的用户数

假设有如下一个用户登录日志表:+------+-------+-------------------+|log_id|user_id|           log_time|+------+-------+-------------------+|     1|   1000|2022-03-10 10:08:1...
one的头像-知趣one1年前
0428103
1-1.linux相关命令入门-知趣

1-1.linux相关命令入门

实验环境实验准备实验内容一、环境变量和脚本相关命令二、文件和目录操作命令三、文本编辑器命令四、网络相关命令五、软件包管理命令 实验环境Ubuntu 18.04 64位GNU bash 版本 4.4.20实验环境S...
9.1 数值类型简介-知趣

9.1 数值类型简介

在Scala中,所有的数值类型都是对象,包括Byte、Char、Double、Float、Int、Long和Short。这七个数值类型继承自AnyVal trait。它们的取值范围与Java一样:数据类型描述大小最小值最大值Char无符...
one的头像-知趣one1年前
0741244
3.3 简单模式匹配-知趣

3.3 简单模式匹配

Scala中没有提供与Java语言中switch类似的语法,但是提供了一个更加强大的模式匹配功能。模式匹配是一个Scala 概念,它看上去与其它语言中的一个switch 语句很类似。不过,它是一个比switch 语...
one的头像-知趣one1年前
0372222
3-2.大数据国赛第2套任务C-子任务二推荐系统-知趣

3-2.大数据国赛第2套任务C-子任务二推荐系统

任务要求11.1实现思路1.2连接Spark1.3实现方式一1.4实现方式二  任务要求1根据子任务一的结果,计算出与用户id为6708的用户所购买相同商品种类最多的前10位用户id(只考虑他俩购买过多少种相...
7.2 单例对象和伴生对象-知趣

7.2 单例对象和伴生对象

 单例对象在面向对象编程中一个常见的设计模式是定义一个只能被实例化一次的类。一个只能被实例化一次的类叫做“单例(singleton)”。Scala不提供任何静态修饰符,这与构建纯面向对象语言的设计...
one的头像-知趣one1年前
0452174