排序
2024年重庆甘肃安徽等省职业院校技能大赛_大数据应用开发样题解析-模块F:综合分析
任务一:请描述HBase 的rowkey 设计原则。任务二:ClickHouse 有哪些表引擎?列举四种并简要描述。任务三:对于分组排序的理解。任务四:Kafka 中的数据如何保证不丢失?任务五:Spark 的数据本...
5.2 函数方法和函数参数
函数方法也可以使用def关键字来定义有名字的函数。在Scala 中,使用关键字def 定义函数,其语法格式如下:def 函数名(参数1:数据类型,参数2:数据类型):函数返回类型= { 函数体}这种方式,通常...
8.2 字符串插值
Scala中的String构建在Java中的String之上,并添加了额外的特性,如字符串插值(字符串插值是一种将字符串内的值与变量相结合的机制)。字符串插值是根据数据创建字符串的过程。用户可以将任...
5.3 高阶函数
什么是高阶函数?在scala中,函数可以作为参数来传递。下面的代码定义一个接受函数作为参数的函数:// 函数定义def operation(func:(Int, Int) => Int) = { val result = func(4,4) pri...
2024年重庆甘肃安徽等省职业院校技能大赛_大数据应用开发样题解析-模块C:实时数据处理-任务二:实时指标计算
环境说明Flink 任务在Yarn 上用per job 模式(即Job 分离模式,不采用Session 模式),方便Yarn 回收资源;建议使用gson 解析json 数据。任务描述编写Java 工程代码,使用Flink 消费Kafka 中dwd...
2024年福建省大数据应用开发赛项样题解析-模块C:实时数据处理-任务二:实时指标计算
任务要求:编写Scala 工程代码,使用Flink 消费Kafka 中dwd 层的Topic数据,表结构与离线数据表结构相同。本任务共有两个子任务组成。点击正文链接,可快速跳转到相应子任务实现部分:查看子任务...
5.5 嵌套函数
Scala允许用户在函数中定义函数。这称为嵌套函数,其中内部函数称为局部函数。以下代码表示嵌套的函数。def bookAssignAndDisplay(bookId:Int,bookname:String) = { def getBookDetails(bookId:...
4.8 Scala集合:Option
在Scala中,Option[T]是给定类型的0或1个元素的容器。Option 是一个数据类型,用来表明一些数据的“有”或“无”,可以是Some[T]或None[T],其中T可以是任何给定类型。一个Some 实例可以存储任...
7.7 隐式类
在Scala中,可以通过编写隐式转换,并在需要时将它们引入作用域,从而向封闭类添加新功能。这种方法的一个主要好处是,不必扩展现有的类来添加新功能。从Scala 2.10开始,可以定义一个隐式类,...
2024年重庆甘肃安徽等省职业院校技能大赛_大数据应用开发样题解析-模块E:数据可视化
单击以下链接,可跳转到相应的子任务实现部分。创建Vue工程后端接口说明任务1、 用柱状图展示消费额最高的省份任务2、 用饼状图展示各地区消费能力任务3、 用玫瑰图展示各地区消费能力任务4、 ...
4.5 Scala集合:Stream流
什么是Stream流?根据Scala文档,流是类似于列表的数据结构,只是流的元素是惰性计算机制。因此,可以拥有无限长的流!Stream(流)与List类似,但是它是延迟计算的,所以可以非常非常长。// 创建...
4.3 Scala集合:Map
Map是一个key-value 对的集合。在其它语言中,它被称为词典、关联数组、或HashMap。这是一个根据key查找value的高效的数据结构。下面的代码段演示了怎样创建和使用一个Map:val capitals = Map(...
2024年重庆甘肃安徽等省职业院校技能大赛_大数据应用开发样题解析-模块C:实时数据处理-任务一:实时数据清洗
环境说明Flink 任务在Yarn 上用per job 模式(即Job 分离模式,不采用Session 模式),方便Yarn 回收资源;建议使用gson 解析json 数据。任务描述编写Java 工程代码,使用Flink 消费Kafka 中Top...
9.1 数值类型简介
在Scala中,所有的数值类型都是对象,包括Byte、Char、Double、Float、Int、Long和Short。这七个数值类型继承自AnyVal trait。它们的取值范围与Java一样:数据类型描述大小最小值最大值Char无符...
7.5 样例类(case class)
Scala中提供了一种特殊的类,用case class进行声明,中文也可以称作“样例类”。样例类是一种特殊的类,经过优化以用于模式匹配。样例类类似于常规类,带有一个case 修饰符的类,在构建不可变类...
1.4 使用IDEA开发Scala应用程序
接下来,我们就可以开发第一个Scala程序“HelloWorld”了。本节包括如下内容:创建Scala项目创建Scala应用程序注意:确保已经安装好了JDK 8+。 创建Scala项目首先我们在IntelliJ IDEA中创建一...