国赛共25篇
排序
1-3.Spark on Yarn安装配置-知趣

1-3.Spark on Yarn安装配置

实验环境实验准备实验内容一、初始化hadoop集群二、下载所需安装包三、配置Spark环境变量四、完成on yarn相关配置五、采用 client 模式提交任务  实验环境Ubuntu 18.04Oracle JDK 1.8Hadoop 3...
4-2.Flink快速入门-知趣

4-2.Flink快速入门

api流程图批处理wordcount流处理wordcount集合sourceKafka SourceKafka SinkRedis Sink  api流程图批处理wordcount在src/main/scala/org/example目录下新建WordCount.scala文件，编写批处理代...
1-9.ZooKeeper分布式安装配置-知趣

1-9.ZooKeeper分布式安装配置

实验环境实验准备实验内容一、下载所需安装包二、安装配置ZooKeeper运行环境三、 分发内容到slave节点 实验环境Ubuntu 18.04Oracle JDK 1.8Hadoop 3.2.4ZooKeeper 3.6.3实验准备点击开始实验按...
1-4.Flume安装配置-知趣

1-4.Flume安装配置

实验环境实验准备实验内容一、初始化hadoop集群二、下载所需安装包三、安装配置Flume运行环境四、启动Flume传输Hadoop日志（namenode或datanode日志）  实验环境Ubuntu 18.04Oracle JDK 1.8Ha...
4-3.大数据国赛第2套任务D-子任务二：Flink处理Kafka中的数据-知趣

4-3.大数据国赛第2套任务D-子任务二：Flink处理Kafka中的数据

任务要求1 :1.1实现思路1.2获取Flink流运行环境1.3定义Kafka源1.4创建流1.5定义订单数量统计侧边流标签1.6设置水位线1.7设置事件时间1.8自定义处理函数1.9统计订单数量1.10创建redis连接池1.11...
1-5.Hive安装配置-知趣

1-5.Hive安装配置

实验环境实验准备实验内容一、初始化hadoop集群二、安装配置MySQL 5.7元数据库三、下载所需安装包四、安装配置Hive运行环境  实验环境Ubuntu 18.04Oracle JDK 1.8Hadoop 3.2.4Hive 3.1.3实验...
5-1.大数据国赛数据可视化-用柱状图展示各省份消费额的中位数-知趣

5-1.大数据国赛数据可视化-用柱状图展示各省份消费额的中位数

实验环境实验准备实验内容一、下载安装vue cli二、创建vue.js项目三、编辑App.vue添加MyCharts组件四、写出MyCharts数据可视化组件模板代码五、在模板里添加处理数据的逻辑代码  实验环境Ubun...
1-6.HBase分布式安装配置-知趣

1-6.HBase分布式安装配置

实验环境实验准备实验内容一、初始化hadoop集群二、安装zookeeper集群三、下载hbase所需安装包四、安装配置HBase运行环境五、分发内容到slave节点六、启动Hbase进行安装检查  实验环境Ubuntu ...
5-2.大数据国赛数据可视化-用玫瑰图展示各地区消费能力-知趣

5-2.大数据国赛数据可视化-用玫瑰图展示各地区消费能力

实验环境实验准备实验内容一、下载安装vue cli二、创建vue.js项目三、编辑App.vue添加MyCharts组件四、写出MyCharts数据可视化组件模板代码五、在模板里添加处理数据的逻辑代码  实验环境Ubun...
1-7.Flink on Yarn安装配置-知趣

1-7.Flink on Yarn安装配置

实验环境实验准备实验内容一、初始化hadoop集群二、下载所需安装包三、安装配置Flink on Yarn运行环境  实验环境Ubuntu 18.04Oracle JDK 1.8Hadoop 3.2.4Flink 1.14.0实验准备1、 点击开始实...
5-3.大数据国赛数据可视化-用折线图展示每年上架商品数量的变化-知趣

5-3.大数据国赛数据可视化-用折线图展示每年上架商品数量的变化

实验环境实验准备实验内容一、下载安装vue cli二、创建vue.js项目三、编辑App.vue添加MyCharts组件四、写出MyCharts数据可视化组件模板代码五、在模板里添加处理数据的逻辑代码  实验环境Ubun...
2-1.大数据国赛第2套任务B-子任务一数据抽取-知趣

2-1.大数据国赛第2套任务B-子任务一数据抽取

MySQL表结构分析表结构分析user. _info表sku_ _info表base. _province表base_ region表order_ info表order_ detail表任务要求11.1实现流程概要1.2任务分解任务要求22.1创建ODS层表2.2创建MySQL...
5-4.大数据国赛数据可视化-用条形图展示消费总额最高的省份-知趣

5-4.大数据国赛数据可视化-用条形图展示消费总额最高的省份

实验环境实验准备实验内容一、下载安装vue cli二、创建vue.js项目三、编辑App.vue添加MyCharts组件四、写出MyCharts数据可视化组件模板代码五、在模板里添加处理数据的逻辑代码  实验环境Ubun...
2-2.大数据国赛第2套任务B-子任务二数据清洗-知趣

2-2.大数据国赛第2套任务B-子任务二数据清洗

任务要求11.1实现流程概要1.2任务分解任务要求22.1创建表2.2按id更新数据2.3按id插入数据2.4查询数据任务要求33.1创建表3.2按Id更新数据3.3按ld插入数据3.4查询数据任务要求44.1创建表4.2按Id更...
5-5.大数据国赛数据可视化-折柱混合图展示省份和地区平均消费额-知趣

5-5.大数据国赛数据可视化-折柱混合图展示省份和地区平均消费额

实验环境实验准备实验内容一、下载安装vue cli二、创建vue.js项目三、编辑App.vue添加MyCharts组件四、写出MyCharts数据可视化组件模板代码五、在模板里添加处理数据的逻辑代码  实验环境Ubun...
2-3.大数据国赛第2套任务B-子任务三指标计算-知趣

2-3.大数据国赛第2套任务B-子任务三指标计算

任务要求11.1编写job2脚本1.2编写job3脚本1.3编写job4脚本1.4编写azkaban脚本1.5打包上传azkaban脚本1.6执行azkaban脚本任务要求22.1实现流程概要2.2创建DWS层表2.3统计每个用户每天的消费金额2...
12