任务要求11.1编写job2脚本1.2编写job3脚本1.3编写job4脚本1.4编写azkaban脚本1.5打包上传azkaban脚本1.6执行azkaban脚本任务要求22.1实现流程概要2.2创建DWS层表2.3统计每个用户每天的消费金额2...

环境说明Hive 的配置文件位于主节点/opt/module/hive-3.1.2/conf/Spark 任务在Yarn 上用Client 运行，方便观察日志；ClickHouse 的jdbc 连接端口8123，用户名/密码：default/123456命令行客户端...

Scala做了一些面向对象的创新，其中之一就是特质(Trait)。trait类似于带有部分实现的抽象类。一个特质（trait）代表一个接口，由相关类的层级所支持。它是一个抽象机制，帮助开发模块化、可重用...

Scala语言中提供的数组是用来存储固定大小的同类型元素的。数组的第一个元素索引为0，最后一个元素的索引为元素总数减1。Scala中数组分为定长数组和变长数组。创建定长数组Array的两种方式：先...

实验环境实验准备实验内容一、初始化hadoop集群二、下载所需安装包三、配置Spark环境变量四、完成on yarn相关配置五、采用 client 模式提交任务  实验环境Ubuntu 18.04Oracle JDK 1.8Hadoop 3...

前端框架vue.js系列教程：安装配置node.js和npmvue.js工程项目创建vue.js框架应用开发vue.js单页面应用开发vue.js中实现echarts绘图vue.js远程访问RESTful API接口示例vue.js使用Fetch API访问R...

前端框架vue.js系列教程：安装配置node.js和npmvue.js工程项目创建vue.js框架应用开发vue.js单页面应用开发vue.js中实现echarts绘图vue.js远程访问RESTful API接口示例vue.js使用Fetch API访问R...

实验环境实验准备实验内容一、初始化hadoop集群二、安装配置MySQL 5.7元数据库三、下载所需安装包四、安装配置Hive运行环境  实验环境Ubuntu 18.04Oracle JDK 1.8Hadoop 3.2.4Hive 3.1.3实验...

类型化函数所谓类型化函数，指的是在调用函数时可以指定参数的类型。Scala的类型化函数通过变量的使用提供了更大的灵活性。那么，如何定义一个泛型类型函数将指定其参数的类型？下面我们将创建...

尽管Scala是一种混合的面向对象和函数式编程语言，但它强调函数式编程。这就是为什么它是一种强大的语言。如果将Scala作为一种函数式编程语言使用，而不只是把它当作另一种面向对象编程语言来使...

创建数值型的Range、List和Array有的时候，我们需要创建一个范围、列表或数字数组，用于for循环或测试目的。这时可以使用Int类的to方法创建一个包含所需元素的范围，代码如下：// 创建数值的Ran...

实验环境实验准备实验内容一、初始化hadoop集群二、下载所需安装包三、安装配置Flume运行环境四、启动Flume传输Hadoop日志（namenode或datanode日志）  实验环境Ubuntu 18.04Oracle JDK 1.8Ha...

环境说明Hive 的配置文件位于主节点/opt/module/hive-3.1.2/conf/Spark 任务在Yarn 上用Client 运行，方便观察日志；ClickHouse 的jdbc 连接端口8123，用户名/密码：default/123456命令行客户端...

假设有如下一个用户登录日志表：+------+-------+-------------------+|log_id|user_id|           log_time|+------+-------+-------------------+|     1|   1000|2022-03-10 10:08:1...

类是一个面向对象编程概念，提供了一个高级编程抽象。从本质上来说，类是代码组织技术，将数据和所有数据的操作绑定在一起。从概念上来说，类代表一个属性和行为的实体。类是在运行时创建对象的...

在前面的章节已经讲了Scala中的简单模式匹配。模式匹配是一个表达式，因此它会导致一个值，该值可能被分配或返回。例如：44 match {   case 44 => true     // 如果匹配了44,则结果为true...