1.3 使用IntelliJ IDEA集成开发环境
在本节中，我们将使用流行的IntelliJ IDEA来展示如何设置编写Scala代码的开发环境。本节包括如下内容：下载IntelliJ IDEA安装IntelliJ IDEA安装Scala插件注意：确保已经安装好了JDK 8+。 下载I...
2024年重庆甘肃安徽等省职业院校技能大赛_大数据应用开发样题解析-模块C：实时数据处理-任务二：实时指标计算
环境说明Flink 任务在Yarn 上用per job 模式（即Job 分离模式，不采用Session 模式），方便Yarn 回收资源；建议使用gson 解析json 数据。任务描述编写Java 工程代码，使用Flink 消费Kafka 中dwd...
2024年重庆甘肃安徽等省职业院校技能大赛_大数据应用开发样题解析-模块D：离线数据处理-任务二：离线指标计算
环境说明Hive 的配置文件位于主节点/opt/module/hive-3.1.2/conf/Spark 任务在Yarn 上用Client 运行，方便观察日志；ClickHouse 的jdbc 连接端口8123，用户名/密码：default/123456命令行客户端...
5.14 案例：使用Spark统计连续三周登录的用户数
假设有如下一个用户登录日志表：+------+-------+-------------------+|log_id|user_id| log_time|+------+-------+-------------------+| 1| 1000|2022-03-10 10:08:1...
1-9.ZooKeeper分布式安装配置
实验环境实验准备实验内容一、下载所需安装包二、安装配置ZooKeeper运行环境三、 分发内容到slave节点 实验环境Ubuntu 18.04Oracle JDK 1.8Hadoop 3.2.4ZooKeeper 3.6.3实验准备点击开始实验按...
第96届奥斯卡获奖作品名单，附影片下载
第96届奥斯卡金像奖颁奖典礼落幕，由《奥本海默》夺下七大奖成为最大赢家。除了奖落谁家，本届典礼及红毯也有不少精彩花絮，John Cena真的全裸颁奖吗？哪一位女星在红毯上摔倒后，自亏“脚踝买...
【windows】一款类似微软WSA，电脑安装安卓app的工具
兆懿是一款类似于微软的Windows Subsystem for Android (WSA)的软件，允许用户将安卓应用安装到 Windows 和 Linux 系统中。这款软件支持多个安卓应用同时运行和显示，使用户能够在电脑上进行多...
3-2.大数据国赛第2套任务C-子任务二推荐系统
任务要求11.1实现思路1.2连接Spark1.3实现方式一1.4实现方式二 任务要求1根据子任务一的结果，计算出与用户id为6708的用户所购买相同商品种类最多的前10位用户id（只考虑他俩购买过多少种相...
5.3 高阶函数
什么是高阶函数?在scala中，函数可以作为参数来传递。下面的代码定义一个接受函数作为参数的函数：// 函数定义def operation(func:(Int, Int) => Int) = { val result = func(4,4) pri...
2024第5期知趣汇总-有趣又有料~
巴黎世家(Balenciaga)推出了一卷 透明胶 带形状的 手镯，作为2024年秋冬新品的一部分，价格约为 3000 欧元（约 23600 人民币）。 稀奇古怪的病 淀粉肠都开始有证明了。 《釜山行》导演延尚昊打...
3.3 简单模式匹配
Scala中没有提供与Java语言中switch类似的语法，但是提供了一个更加强大的模式匹配功能。模式匹配是一个Scala 概念，它看上去与其它语言中的一个switch 语句很类似。不过，它是一个比switch 语...
5.2 函数方法和函数参数
函数方法也可以使用def关键字来定义有名字的函数。在Scala 中，使用关键字def 定义函数，其语法格式如下:def 函数名(参数1:数据类型,参数2:数据类型):函数返回类型= { 函数体}这种方式，通常...
2024年重庆甘肃安徽等省职业院校技能大赛_大数据应用开发样题解析-模块C：实时数据处理-任务一：实时数据清洗
环境说明Flink 任务在Yarn 上用per job 模式（即Job 分离模式，不采用Session 模式），方便Yarn 回收资源；建议使用gson 解析json 数据。任务描述编写Java 工程代码，使用Flink 消费Kafka 中Top...
