大数据 第6页
2024年重庆甘肃安徽等省职业院校技能大赛_大数据应用开发样题解析-模块B:数据采集-任务一:离线数据采集-知趣

2024年重庆甘肃安徽等省职业院校技能大赛_大数据应用开发样题解析-模块B:数据采集-任务一:离线数据采集

任务描述编写Scala 工程代码, 将MySQL 的ds_db01 库中表order_master、order_detail、coupon_info、coupon_use、product_browse、product_info、customer_inf 、customer_login_log 、order_ca...
5.8 尾递归函数-知趣

5.8 尾递归函数

在本节中,我们将学习如何创建尾递归(tail recursive)函数,以及如何使用@annotation.tailrec注解,这将指示编译器应用任何进一步的优化。如何定义尾递归函数?在下面的示例中,我们定义一个...
1-5.Hive安装配置-知趣

1-5.Hive安装配置

实验环境实验准备实验内容一、初始化hadoop集群二、安装配置MySQL 5.7元数据库三、下载所需安装包四、安装配置Hive运行环境  实验环境Ubuntu 18.04Oracle JDK 1.8Hadoop 3.2.4Hive 3.1.3实验...
4.1 安装Apache Flume-知趣

4.1 安装Apache Flume

Flume是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受...
1.1 Scala简介-知趣

1.1 Scala简介

Scala是一种非常适合开发大数据应用程序的语言,是使用Apache Spark的首选语言。使用Scala语言来学习Spark,具有以下优点:首先,开发人员可以通过使用Scala实现显著的生产力提升。其次,它帮助...
4.7 Scala集合:Range和Tuple-知趣

4.7 Scala集合:Range和Tuple

RangeRange定义一个范围,指定开始、结束和步长,通常用于填充数据结构和遍历for循环。object RangeDemo { def main(args: Array[String]): Unit = {   // 使用方法to来创建Range(包含上限)  ...
5-1.大数据国赛数据可视化-用柱状图展示各省份消费额的中位数-知趣

5-1.大数据国赛数据可视化-用柱状图展示各省份消费额的中位数

实验环境实验准备实验内容一、下载安装vue cli二、创建vue.js项目三、编辑App.vue添加MyCharts组件四、写出MyCharts数据可视化组件模板代码五、在模板里添加处理数据的逻辑代码  实验环境Ubun...
8.1 字符串基本使用和相等性判断-知趣

8.1 字符串基本使用和相等性判断

在 Scala 中,String 是一个不可变的对象,所以该对象不可被修改。这就意味着如果修改字符串就会产生一个新的字符串对象。但其他对象,如数组就是可变的对象。字符串基本使用Scala中字符串的数...
2.3 运算符-知趣

2.3 运算符

数据存储在变量中,要对数据进行运算,就需要使用运算符。Scala语言中提供了这几种运算符:算术运算符、关系运算符、逻辑运算符、位运算符、赋值运算符等。注:实际上,Scala没有传统意义上的运...
2024年重庆甘肃安徽等省职业院校技能大赛_大数据应用开发样题解析-模块B:数据采集-任务二:实时数据采集-知趣

2024年重庆甘肃安徽等省职业院校技能大赛_大数据应用开发样题解析-模块B:数据采集-任务二:实时数据采集

本任务共有两个子任务组成:实时数据采集子任务1实时数据采集子任务2子任务1子任务1描述1、在主节点使用Flume 采集实时数据生成器25001 端口的socket 数据(实时数据生成器脚本为主节点/data_lo...
5.7 类型化函数,多态函数和符号函数-知趣

5.7 类型化函数,多态函数和符号函数

类型化函数所谓类型化函数,指的是在调用函数时可以指定参数的类型。Scala的类型化函数通过变量的使用提供了更大的灵活性。那么,如何定义一个泛型类型函数将指定其参数的类型?下面我们将创建...
1-6.HBase分布式安装配置-知趣

1-6.HBase分布式安装配置

实验环境实验准备实验内容一、初始化hadoop集群二、安装zookeeper集群三、下载hbase所需安装包四、安装配置HBase运行环境五、分发内容到slave节点六、启动Hbase进行安装检查  实验环境Ubuntu ...
4.2 Flume集成Kafka-知趣

4.2 Flume集成Kafka

在生产环境下,通常使用Flume采集日志数据,并将采集到的日志数据发送到Kafka上。这里Flume充当了Kafka生产者角色。而对于Kafka来说,关键是如何接收来自Flume的数据。我们需要在Kafka中创建一...
1.2 安装Scala-知趣

1.2 安装Scala

Scala可以安装在Windows和Linux操作系统下。下面我们分别介绍在这两个操作系统下安装Scala的步骤。 (注:在安装Scala前,请确保已经安装好了JDK 8,并配置好了环境变量。)本节包括如下内容:...
4.6 Scala集合:Vector-知趣

4.6 Scala集合:Vector

什么是向量?根据Scala文档,Vector是类似于List的数据结构。但是,它解决了List中随机访问的低效问题。【示例】学习如何使用Scala的不可变向量来执行一些常见的操作,比如初始化Vector,访问特...
5-2.大数据国赛数据可视化-用玫瑰图展示各地区消费能力-知趣

5-2.大数据国赛数据可视化-用玫瑰图展示各地区消费能力

实验环境实验准备实验内容一、下载安装vue cli二、创建vue.js项目三、编辑App.vue添加MyCharts组件四、写出MyCharts数据可视化组件模板代码五、在模板里添加处理数据的逻辑代码  实验环境Ubun...