大数据 第5页
4-1.大数据国赛第2套任务D-子任务一实时数据采集-知趣

4-1.大数据国赛第2套任务D-子任务一实时数据采集

任务要求1 :1.1实现思路1.2启动Hadoop、Zookeeper、Kafka1.3创建order主题1.4编写flume配置1.5启动flume1.6编写数据生成脚本1.7运行数据生成脚本1.8.查看结果数据任务要求2 :2.1实现思路2.2启动...
前端框架vue.js系列教程(5)-vue.js中实现echarts绘图-知趣

前端框架vue.js系列教程(5)-vue.js中实现echarts绘图

前端框架vue.js系列教程:安装配置node.js和npmvue.js工程项目创建vue.js框架应用开发vue.js单页面应用开发vue.js中实现echarts绘图vue.js远程访问RESTful API接口示例vue.js使用Fetch API访问R...
8.4 转义字符、多行字符串及其他-知趣

8.4 转义字符、多行字符串及其他

转义字符在Scala中,也支持如下的转义字符:FF转义字符Unicod编码说明\b\u0008退格(BS),将当前位置移到前一列\t\u0009水平制表(HT),跳到下一个TAB位置\n\u000a换行(LF),将当前位置移到下一行...
3.2 循环结构-知趣

3.2 循环结构

Scala同样提供了对程序流程控制的语法。Scala中的程序流程控制结构虽然与Java类似,但也有自己的一些独特的方法。循环结构经常地,我们需要遍历集合中的元素,或者对集合中的每个元素进行操作,...
1-8.Hudi安装配置-知趣

1-8.Hudi安装配置

实验环境实验准备实验内容一、下载所需安装包二、安装配置Maven运行环境三、使用maven对Hudi进行构建四、安装配置Spark运行环境五、启动spark-shell运行案例  实验环境Ubuntu 18.04Spark 3.2....
7.1 类和构造函数-知趣

7.1 类和构造函数

类是一个面向对象编程概念,提供了一个高级编程抽象。从本质上来说,类是代码组织技术,将数据和所有数据的操作绑定在一起。从概念上来说,类代表一个属性和行为的实体。类是在运行时创建对象的...
1-3.Spark on Yarn安装配置-知趣

1-3.Spark on Yarn安装配置

实验环境实验准备实验内容一、初始化hadoop集群二、下载所需安装包三、配置Spark环境变量四、完成on yarn相关配置五、采用 client 模式提交任务  实验环境Ubuntu 18.04Oracle JDK 1.8Hadoop 3...
在Spark中实现增量合并(upsert/merge实现)-知趣

在Spark中实现增量合并(upsert/merge实现)

通常会将大量数据抽取到Hadoop分布式文件系统(HDFS)中进行分析。通常情况下,我们需要用新的变化定期更新这些数据。很长一段时间以来,实现这一目标的最常见方法是使用Apache Hive增量地将新的...
4.9 Scala集合类上的高阶方法-知趣

4.9 Scala集合类上的高阶方法

Scala集合的真正强大之处在于带来了其高阶方法。一个高阶方法使用一个函数作为其输入参数。需要特别注意的是,一个高阶方法并不改变集合。下面是Scala集合的一些最主要的高阶方法。1、mapScala ...
4-2.Flink快速入门-知趣

4-2.Flink快速入门

api流程图批处理wordcount流处理wordcount集合sourceKafka SourceKafka SinkRedis Sink  api流程图批处理wordcount在src/main/scala/org/example目录下新建WordCount.scala文件,编写批处理代...
前端框架vue.js系列教程(6)-vue.js远程访问RESTful API接口示例-知趣

前端框架vue.js系列教程(6)-vue.js远程访问RESTful API接口示例

前端框架vue.js系列教程:安装配置node.js和npmvue.js工程项目创建vue.js框架应用开发vue.js单页面应用开发vue.js中实现echarts绘图vue.js远程访问RESTful API接口示例vue.js使用Fetch API访问R...
8.3 使用正则表达式处理字符串-知趣

8.3 使用正则表达式处理字符串

字符串中正则表达式模式匹配通过在String上调用.r方法来创建一个scala.util.matching.Regex对象,然后在findFirstIn中使用该模式来查找一个匹配,在findAllIn中使用该模式来查找所有的匹配。  ...
3.1 选择结构-知趣

3.1 选择结构

Scala同样提供了对程序流程控制的语法。Scala中的程序流程控制结构虽然与Java类似,但也有自己的一些独特的方法。选择结构Scala的if/else语法结构和Java或者C++一样。不过,在Scala中if/else表...
1-9.ZooKeeper分布式安装配置-知趣

1-9.ZooKeeper分布式安装配置

实验环境实验准备实验内容一、下载所需安装包二、安装配置ZooKeeper运行环境三、 分发内容到slave节点 实验环境Ubuntu 18.04Oracle JDK 1.8Hadoop 3.2.4ZooKeeper 3.6.3实验准备点击开始实验按...
6.1 Scala函数式编程-知趣

6.1 Scala函数式编程

尽管Scala是一种混合的面向对象和函数式编程语言,但它强调函数式编程。这就是为什么它是一种强大的语言。如果将Scala作为一种函数式编程语言使用,而不只是把它当作另一种面向对象编程语言来使...
1-4.Flume安装配置-知趣

1-4.Flume安装配置

实验环境实验准备实验内容一、初始化hadoop集群二、下载所需安装包三、安装配置Flume运行环境四、启动Flume传输Hadoop日志(namenode或datanode日志)  实验环境Ubuntu 18.04Oracle JDK 1.8Ha...