大数据共97篇
排序
Scala语言专题（目录）
Ch01 Scala开发基础 1.1 Scala简介 1.2 安装Scala 1.3 使用IntelliJ IDEA集成开发环境 1.4 使用IDEA开发Scala应用程序 Ch02 Scala基础语法 2.1 变量 2.2 数据类型 2.3 运算符 2.4 数组 Ch03 程...
1年前
2.1 使用IntelliJ IDEA+Maven开发Flink项目
通过结合使用IntelliJ IDEA集成开发工具和Maven项目构建工具，我们可以方便快速地开发Flink项目。在IntelliJ IDEA中创建Flink项目第一步：启动IntelliJ IDEA，创建一个新的项目，如下图所示：第...
12个月前
4.1 安装Apache Flume
Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受...
12个月前
4.2 Flume集成Kafka
在生产环境下，通常使用Flume采集日志数据，并将采集到的日志数据发送到Kafka上。这里Flume充当了Kafka生产者角色。而对于Kafka来说，关键是如何接收来自Flume的数据。我们需要在Kafka中创建一...
12个月前在Spark中实现增量合并(upsert/merge实现)
通常会将大量数据抽取到Hadoop分布式文件系统(HDFS)中进行分析。通常情况下，我们需要用新的变化定期更新这些数据。很长一段时间以来，实现这一目标的最常见方法是使用Apache Hive增量地将新的...
12个月前Spark合并Hive ODS离线数据和HBase实时数据，并存入Hive DWD层
任务描述抽取 ods 库中表 table4 最新分区的数据，并结合 HBase 中 table4 offline表中的数据合并抽取到 dwd 库中 fact table4 的分区表，分区字段为etl date 且值与 ods 库的相对应表该值相等...
12个月前
5.14 案例：使用Spark统计连续三周登录的用户数
假设有如下一个用户登录日志表：+------+-------+-------------------+|log_id|user_id| log_time|+------+-------+-------------------+| 1| 1000|2022-03-10 10:08:1...
12个月前
前端框架vue.js系列教程(1)-安装配置node.js和npm
前端框架vue.js系列教程：安装配置node.js和npmvue.js工程项目创建vue.js框架应用开发vue.js单页面应用开发vue.js中实现echarts绘图vue.js远程访问RESTful API接口示例vue.js使用Fetch API访问R...
12个月前
前端框架vue.js系列教程(3)-vue.js框架应用开发
前端框架vue.js系列教程：安装配置node.js和npmvue.js工程项目创建vue.js框架应用开发vue.js单页面应用开发vue.js中实现echarts绘图vue.js远程访问RESTful API接口示例vue.js使用Fetch API访问R...
12个月前
前端框架vue.js系列教程(2)-vue.js工程项目创建
前端框架vue.js系列教程：安装配置node.js和npmvue.js工程项目创建vue.js框架应用开发vue.js单页面应用开发vue.js中实现echarts绘图vue.js远程访问RESTful API接口示例vue.js使用Fetch API访问R...
12个月前
前端框架vue.js系列教程(4)-vue.js单页面应用开发
前端框架vue.js系列教程：安装配置node.js和npmvue.js工程项目创建vue.js框架应用开发vue.js单页面应用开发vue.js中实现echarts绘图vue.js远程访问RESTful API接口示例vue.js使用Fetch API访问R...
12个月前
前端框架vue.js系列教程(5)-vue.js中实现echarts绘图
前端框架vue.js系列教程：安装配置node.js和npmvue.js工程项目创建vue.js框架应用开发vue.js单页面应用开发vue.js中实现echarts绘图vue.js远程访问RESTful API接口示例vue.js使用Fetch API访问R...
12个月前
前端框架vue.js系列教程(6)-vue.js远程访问RESTful API接口示例
前端框架vue.js系列教程：安装配置node.js和npmvue.js工程项目创建vue.js框架应用开发vue.js单页面应用开发vue.js中实现echarts绘图vue.js远程访问RESTful API接口示例vue.js使用Fetch API访问R...
12个月前
前端框架vue.js系列教程(7)-vue.js使用Fetch API访问RESTful API接口示例
前端框架vue.js系列教程：安装配置node.js和npmvue.js工程项目创建vue.js框架应用开发vue.js单页面应用开发vue.js中实现echarts绘图vue.js远程访问RESTful API接口示例vue.js使用Fetch API访问R...
12个月前2024年重庆甘肃安徽等省职业院校技能大赛_大数据应用开发样题解析-模块F：综合分析
任务一：请描述HBase 的rowkey 设计原则。任务二：ClickHouse 有哪些表引擎？列举四种并简要描述。任务三：对于分组排序的理解。任务四：Kafka 中的数据如何保证不丢失？任务五：Spark 的数据本...
12个月前