大数据技术之电影推荐系统

xiaofei
大数据技术
2024-12-15 21:45:18
25

接下来为大家讲解大数据技术之hive，以及大数据技术之电影推荐系统涉及的相关信息，愿对你有所帮助。

简述信息一览：

1、大数据之hadoop/hive/hbase的区别是什么?有什么应用
2、全方位揭秘!大数据从0到1的完美落地之Hive排名函数
3、大数据Hive仓库是什么?

大数据之hadoop/hive/hbase的区别是什么?有什么应用

1、Hadoop、Hive、HBase是大数据处理中关键的三大工具，它们由Apache开源社区维护，分别在大数据处理过程中发挥不同作用。Hadoop是一个分布式计算平台，主要解决海量数据存储和分析问题，包含HDFS和MapReduce两个核心模块。

2、Hive是基于Hadoop的数据仓库工具，专为离线应用设计，能将数据文件映射为数据库表，并提供SQL查询功能。Hive实际上是MapReduce的封装，它将可读的HQL语句转化为MapReduce作业，依赖HDFS和MapReduce实现数据处理。HBase是一种Hadoop上的数据库，提供一个大规模存储和查询系统，以分布式、可扩展和大数据为特征。

（图片来源网络，侵删）

3、HBase与Hive的差异与适用场景HBase与Hive在大数据领域中扮演着不同的角色。HBase主要用于实时数据查询，而Hive则专注于数据处理与计算。区别HBase基于列式存储，支持高并发读写操作，尤其擅长处理非结构化与半结构化数据。

4、hbase和hive的主要区别是：他们对于其内部的数据的存储和管理方式是不同的，hbase其主要特点是仿照bigtable的列势存储，对于大型的数据的存储，查询比传统数据库有巨大的优势，而hive其产生主要应对的数据仓库问题，其将存在在hdfs上的文件目录结构映射成表。主要关注的是对数据的统计等方面。

5、Hive使用Hadoop来分析处理数据，而Hadoop系统是批处理系统，因此不能保证处理的低迟延问题；而HBase是近实时系统，支持实时查询。 Hive不提供row-level的更新，它适用于大量append-only数据集（如日志）的批任务处理。而基于HBase的查询，支持和row-level的更新。

（图片来源网络，侵删）

6、对于hive主要针对的是OLAP应用，注意其底层不是hbase，而是hdfs分布式文件系统，重点是基于一个统一的查询分析层，支撑OLAP应用中的各种关联，分组，聚合类SQL语句。

全方位揭秘!大数据从0到1的完美落地之Hive排名函数

排名函数是Hive中用于数据排序和分组的关键工具，主要分为三种：row_number、RANK（）和 DENSE_RANK（）。其中，row_number函数从1开始，按照顺序生成分组内记录的序列，保证值不会重复，即使排序值相同，也按照表中记录的顺序排列。

排名函数是Hive中用于在数据集内排序并生成相应位置或排名的工具。主要有三种类型：row_number、RANK（）和 DENSE_RANK（）。row_number函数从1开始，按照顺序生成分组内记录的序列，其值不会重复，当排序的值相同时，按照原始数据顺序排列。

Hive的视图是数据库中的一种重要概念，它提供了对数据的抽象和查询能力。创建视图就像是建立了一个数据的窗口，用户可以通过这个窗口查询和访问数据，而无需直接与底层的表进行交互。

首先，配置本地环境，适用于Windows与MacOS系统，使用IDEA创建Maven工程，并导入所需的Hadoop依赖包，如`org.apache.hadoop hadoop-common 1`、`org.apache.hadoop hadoop-client 1`和`org.apache.hadoop hadoop-hdfs 1`，为后续操作打下基础。

当缓冲区内容达到阈值（默认80%，或通过mapreduce.map.sort.spill.percent属性设置），一个后台线程开始将内容溢写到磁盘。磁盘位置由mapreduce.cluster.local.dir属性指定。在溢写到磁盘前，数据会根据分区器的逻辑划分为不同的分区，并在每个分区中进行内存排序（QuickSort默认）。

在本地模式下测试MapReduce程序，通过设置ReduceTask数量实现多输出文件。操作流程涉及配置、运行程序，如通过IDE运行或直接在Linux上执行打成的JAR包。本地模式测试有助于在开发初期验证程序逻辑。针对集群环境的YARN模式测试，需要部署Hadoop集群，并确保资源管理框架正确配置。