bigdata共89篇
5-4.大数据国赛数据可视化-用条形图展示消费总额最高的省份-知趣

5-4.大数据国赛数据可视化-用条形图展示消费总额最高的省份

实验环境实验准备实验内容一、下载安装vue cli二、创建vue.js项目三、编辑App.vue添加MyCharts组件四、写出MyCharts数据可视化组件模板代码五、在模板里添加处理数据的逻辑代码  实验环境Ubun...
5.4 闭包与函数柯里化-知趣

5.4 闭包与函数柯里化

闭包闭包是一个函数,其返回值依赖于在该函数外声明的一个或多个变量的值。请看下面的代码:var y = 3val multiplier = (x:Int) => x * ymultiplier(2)在上面的代码中,multiplier就是一个闭...
one的头像-知趣one1年前
0701160
在Spark中实现增量合并(upsert/merge实现)-知趣

在Spark中实现增量合并(upsert/merge实现)

通常会将大量数据抽取到Hadoop分布式文件系统(HDFS)中进行分析。通常情况下,我们需要用新的变化定期更新这些数据。很长一段时间以来,实现这一目标的最常见方法是使用Apache Hive增量地将新的...
one的头像-知趣one1年前
0456251
9.4 创建数值型集合和格式化数值-知趣

9.4 创建数值型集合和格式化数值

创建数值型的Range、List和Array有的时候,我们需要创建一个范围、列表或数字数组,用于for循环或测试目的。这时可以使用Int类的to方法创建一个包含所需元素的范围,代码如下:// 创建数值的Ran...
one的头像-知趣one1年前
0361108
4.3 Scala集合:Map-知趣

4.3 Scala集合:Map

Map是一个key-value 对的集合。在其它语言中,它被称为词典、关联数组、或HashMap。这是一个根据key查找value的高效的数据结构。下面的代码段演示了怎样创建和使用一个Map:val capitals = Map(...
one的头像-知趣one1年前
0599246
2-2.大数据国赛第2套任务B-子任务二数据清洗-知趣

2-2.大数据国赛第2套任务B-子任务二数据清洗

任务要求11.1实现流程概要1.2任务分解任务要求22.1创建表2.2按id更新数据2.3按id插入数据2.4查询数据任务要求33.1创建表3.2按Id更新数据3.3按ld插入数据3.4查询数据任务要求44.1创建表4.2按Id更...
7.5 样例类(case class)-知趣

7.5 样例类(case class)

Scala中提供了一种特殊的类,用case class进行声明,中文也可以称作“样例类”。样例类是一种特殊的类,经过优化以用于模式匹配。样例类类似于常规类,带有一个case 修饰符的类,在构建不可变类...
one的头像-知趣one1年前
0672236
1.3 使用IntelliJ IDEA集成开发环境-知趣

1.3 使用IntelliJ IDEA集成开发环境

在本节中,我们将使用流行的IntelliJ IDEA来展示如何设置编写Scala代码的开发环境。本节包括如下内容:下载IntelliJ IDEA安装IntelliJ IDEA安装Scala插件注意:确保已经安装好了JDK 8+。 下载I...
one的头像-知趣one1年前
0360230
5-5.大数据国赛数据可视化-折柱混合图展示省份和地区平均消费额-知趣

5-5.大数据国赛数据可视化-折柱混合图展示省份和地区平均消费额

实验环境实验准备实验内容一、下载安装vue cli二、创建vue.js项目三、编辑App.vue添加MyCharts组件四、写出MyCharts数据可视化组件模板代码五、在模板里添加处理数据的逻辑代码  实验环境Ubun...
5.3 高阶函数-知趣

5.3 高阶函数

什么是高阶函数?在scala中,函数可以作为参数来传递。下面的代码定义一个接受函数作为参数的函数:// 函数定义def operation(func:(Int, Int) => Int) = {   val result = func(4,4)   pri...
one的头像-知趣one1年前
0382281
Spark合并Hive ODS离线数据和HBase实时数据,并存入Hive DWD层-知趣

Spark合并Hive ODS离线数据和HBase实时数据,并存入Hive DWD层

任务描述抽取 ods 库中表 table4 最新分区的数据,并结合 HBase 中 table4 offline表中的数据合并抽取到 dwd 库中 fact table4 的分区表,分区字段为etl date 且值与 ods 库的相对应表该值相等...
one的头像-知趣one1年前
0904177
9.3 复合赋值运算与浮点值比较等-知趣

9.3 复合赋值运算与浮点值比较等

复合赋值运算Scala中没有++和--,但同样提供了复合的赋值运算符。// 变量值加1和减1var a16 = 1a16 += 1println(a16)​a16 -= 1println(a16)​var i = 1i *= 2println(i)​i *= 2println(i)​i ...
one的头像-知趣one1年前
0554155
4.2 Scala集合:Set-知趣

4.2 Scala集合:Set

Set 是一个不重复元素的无序集合。它不包含重复元素。此外,它不允许通过索引访问一个元素,因为它并没有索引。下面是一个Set 的例子:val fruits = Set('apple', 'orange', 'pear', 'banana')v...
one的头像-知趣one1年前
0685189
2-3.大数据国赛第2套任务B-子任务三指标计算-知趣

2-3.大数据国赛第2套任务B-子任务三指标计算

任务要求11.1编写job2脚本1.2编写job3脚本1.3编写job4脚本1.4编写azkaban脚本1.5打包上传azkaban脚本1.6执行azkaban脚本任务要求22.1实现流程概要2.2创建DWS层表2.3统计每个用户每天的消费金额2...
7.4 特质 - Trait-知趣

7.4 特质 – Trait

Scala做了一些面向对象的创新,其中之一就是特质(Trait)。trait类似于带有部分实现的抽象类。一个特质(trait)代表一个接口,由相关类的层级所支持。它是一个抽象机制,帮助开发模块化、可重用...
one的头像-知趣one1年前
0866129
Scala语言专题(目录)-知趣

Scala语言专题(目录)

Ch01 Scala开发基础 1.1 Scala简介 1.2 安装Scala 1.3 使用IntelliJ IDEA集成开发环境 1.4 使用IDEA开发Scala应用程序 Ch02 Scala基础语法 2.1 变量 2.2 数据类型 2.3 运算符 2.4 数组 Ch03 程...
one的头像-知趣one1年前
0741179