大数据共97篇
2-1.大数据国赛第2套任务B-子任务一数据抽取-知趣

2-1.大数据国赛第2套任务B-子任务一数据抽取

MySQL表结构分析表结构分析user. _info表sku_ _info表base. _province表base_ region表order_ info表order_ detail表任务要求11.1实现流程概要1.2任务分解任务要求22.1创建ODS层表2.2创建MySQL...
7.6 模式匹配-知趣

7.6 模式匹配

在前面的章节已经讲了Scala中的简单模式匹配。模式匹配是一个表达式,因此它会导致一个值,该值可能被分配或返回。例如:44 match {   case 44 => true     // 如果匹配了44,则结果为true...
one的头像-知趣one1年前
0447101
1.4 使用IDEA开发Scala应用程序-知趣

1.4 使用IDEA开发Scala应用程序

接下来,我们就可以开发第一个Scala程序“HelloWorld”了。本节包括如下内容:创建Scala项目创建Scala应用程序注意:确保已经安装好了JDK 8+。 创建Scala项目首先我们在IntelliJ IDEA中创建一...
one的头像-知趣one1年前
0877233
5-4.大数据国赛数据可视化-用条形图展示消费总额最高的省份-知趣

5-4.大数据国赛数据可视化-用条形图展示消费总额最高的省份

实验环境实验准备实验内容一、下载安装vue cli二、创建vue.js项目三、编辑App.vue添加MyCharts组件四、写出MyCharts数据可视化组件模板代码五、在模板里添加处理数据的逻辑代码  实验环境Ubun...
5.4 闭包与函数柯里化-知趣

5.4 闭包与函数柯里化

闭包闭包是一个函数,其返回值依赖于在该函数外声明的一个或多个变量的值。请看下面的代码:var y = 3val multiplier = (x:Int) => x * ymultiplier(2)在上面的代码中,multiplier就是一个闭...
one的头像-知趣one1年前
0701160
在Spark中实现增量合并(upsert/merge实现)-知趣

在Spark中实现增量合并(upsert/merge实现)

通常会将大量数据抽取到Hadoop分布式文件系统(HDFS)中进行分析。通常情况下,我们需要用新的变化定期更新这些数据。很长一段时间以来,实现这一目标的最常见方法是使用Apache Hive增量地将新的...
one的头像-知趣one12个月前
0427251
9.4 创建数值型集合和格式化数值-知趣

9.4 创建数值型集合和格式化数值

创建数值型的Range、List和Array有的时候,我们需要创建一个范围、列表或数字数组,用于for循环或测试目的。这时可以使用Int类的to方法创建一个包含所需元素的范围,代码如下:// 创建数值的Ran...
one的头像-知趣one1年前
0360108
4.3 Scala集合:Map-知趣

4.3 Scala集合:Map

Map是一个key-value 对的集合。在其它语言中,它被称为词典、关联数组、或HashMap。这是一个根据key查找value的高效的数据结构。下面的代码段演示了怎样创建和使用一个Map:val capitals = Map(...
one的头像-知趣one1年前
0596246
前端框架vue.js系列教程(7)-vue.js使用Fetch API访问RESTful API接口示例-知趣

前端框架vue.js系列教程(7)-vue.js使用Fetch API访问RESTful API接口示例

前端框架vue.js系列教程:安装配置node.js和npmvue.js工程项目创建vue.js框架应用开发vue.js单页面应用开发vue.js中实现echarts绘图vue.js远程访问RESTful API接口示例vue.js使用Fetch API访问R...
one的头像-知趣one12个月前
0362121
2-2.大数据国赛第2套任务B-子任务二数据清洗-知趣

2-2.大数据国赛第2套任务B-子任务二数据清洗

任务要求11.1实现流程概要1.2任务分解任务要求22.1创建表2.2按id更新数据2.3按id插入数据2.4查询数据任务要求33.1创建表3.2按Id更新数据3.3按ld插入数据3.4查询数据任务要求44.1创建表4.2按Id更...
7.5 样例类(case class)-知趣

7.5 样例类(case class)

Scala中提供了一种特殊的类,用case class进行声明,中文也可以称作“样例类”。样例类是一种特殊的类,经过优化以用于模式匹配。样例类类似于常规类,带有一个case 修饰符的类,在构建不可变类...
one的头像-知趣one1年前
0670236
1.3 使用IntelliJ IDEA集成开发环境-知趣

1.3 使用IntelliJ IDEA集成开发环境

在本节中,我们将使用流行的IntelliJ IDEA来展示如何设置编写Scala代码的开发环境。本节包括如下内容:下载IntelliJ IDEA安装IntelliJ IDEA安装Scala插件注意:确保已经安装好了JDK 8+。 下载I...
one的头像-知趣one1年前
0359230
5-5.大数据国赛数据可视化-折柱混合图展示省份和地区平均消费额-知趣

5-5.大数据国赛数据可视化-折柱混合图展示省份和地区平均消费额

实验环境实验准备实验内容一、下载安装vue cli二、创建vue.js项目三、编辑App.vue添加MyCharts组件四、写出MyCharts数据可视化组件模板代码五、在模板里添加处理数据的逻辑代码  实验环境Ubun...
5.3 高阶函数-知趣

5.3 高阶函数

什么是高阶函数?在scala中,函数可以作为参数来传递。下面的代码定义一个接受函数作为参数的函数:// 函数定义def operation(func:(Int, Int) => Int) = {   val result = func(4,4)   pri...
one的头像-知趣one1年前
0382281
Spark合并Hive ODS离线数据和HBase实时数据,并存入Hive DWD层-知趣

Spark合并Hive ODS离线数据和HBase实时数据,并存入Hive DWD层

任务描述抽取 ods 库中表 table4 最新分区的数据,并结合 HBase 中 table4 offline表中的数据合并抽取到 dwd 库中 fact table4 的分区表,分区字段为etl date 且值与 ods 库的相对应表该值相等...
one的头像-知趣one12个月前
0877177
9.3 复合赋值运算与浮点值比较等-知趣

9.3 复合赋值运算与浮点值比较等

复合赋值运算Scala中没有++和--,但同样提供了复合的赋值运算符。// 变量值加1和减1var a16 = 1a16 += 1println(a16)​a16 -= 1println(a16)​var i = 1i *= 2println(i)​i *= 2println(i)​i ...
one的头像-知趣one1年前
0554155