大数据国赛培训2023 第2页
本赛项涉及的典型工作任务包括大数据平台搭建（容器环境）、离线数据处理、数据挖掘、数据采集与实时计算、数据可视化、综合分析、职业素养，引入行业内较为前沿的数据湖架构作为创新、创意的范围与方向。
排序
3-2.大数据国赛第2套任务C-子任务二推荐系统
任务要求11.1实现思路1.2连接Spark1.3实现方式一1.4实现方式二 任务要求1根据子任务一的结果，计算出与用户id为6708的用户所购买相同商品种类最多的前10位用户id（只考虑他俩购买过多少种相...
1年前
1-2.Hadoop分布式安装配置
实验环境实验准备实验内容一、下载所需安装包二、安装配置Java运行环境三、master节点安装配置Hadoop四、配置节点hosts解析五、配置及节点ssh免密登录六、分发内容到slave节点七、初始化Hadoop...
1年前
4-1.大数据国赛第2套任务D-子任务一实时数据采集
任务要求1 :1.1实现思路1.2启动Hadoop、Zookeeper、Kafka1.3创建order主题1.4编写flume配置1.5启动flume1.6编写数据生成脚本1.7运行数据生成脚本1.8.查看结果数据任务要求2 :2.1实现思路2.2启动...
1年前
1-8.Hudi安装配置
实验环境实验准备实验内容一、下载所需安装包二、安装配置Maven运行环境三、使用maven对Hudi进行构建四、安装配置Spark运行环境五、启动spark-shell运行案例 实验环境Ubuntu 18.04Spark 3.2....
1年前
1-3.Spark on Yarn安装配置
实验环境实验准备实验内容一、初始化hadoop集群二、下载所需安装包三、配置Spark环境变量四、完成on yarn相关配置五、采用 client 模式提交任务 实验环境Ubuntu 18.04Oracle JDK 1.8Hadoop 3...
1年前
4-2.Flink快速入门
api流程图批处理wordcount流处理wordcount集合sourceKafka SourceKafka SinkRedis Sink api流程图批处理wordcount在src/main/scala/org/example目录下新建WordCount.scala文件，编写批处理代...
1年前
1-9.ZooKeeper分布式安装配置
实验环境实验准备实验内容一、下载所需安装包二、安装配置ZooKeeper运行环境三、 分发内容到slave节点 实验环境Ubuntu 18.04Oracle JDK 1.8Hadoop 3.2.4ZooKeeper 3.6.3实验准备点击开始实验按...
1年前
1-4.Flume安装配置
实验环境实验准备实验内容一、初始化hadoop集群二、下载所需安装包三、安装配置Flume运行环境四、启动Flume传输Hadoop日志（namenode或datanode日志） 实验环境Ubuntu 18.04Oracle JDK 1.8Ha...
1年前