面试数据处理岗位的问题及答案

简述信息一览：

• 1、大数据Hive面试题(一)
• 2、面试大数据时要怎么准备
• 3、面试被问大数据离线处理和实时处理最大区别在哪?

大数据Hive面试题(一)

1、面试题四：如何在Hive中实现两张表的关联？对于关联操作，若其中一张表为小表，***用map端join加载小表进行聚合。

2、Hive支持存储格式包括TEXTFILE、SEQUENCEFILE、ORC与PARQUET。列式存储和行式存储各有特点，列式存储在查询少数字段时效率高，行式存储在查询整行数据时效率高。

3、**Join、Map与reduce数量、Jvm重用**：优化策略需关注Join操作的效率、Map与reduce的数量设置以及JVM的重用，通过合理配置减少计算资源的浪费。 **解决数据倾斜**：通过了解数据分布，可以***取措施减少数据倾斜带来的性能影响。

4、Hive的sort by和order by的区别在于，order by会进行全局排序，只有一个reduce任务，数据量大时处理速度慢；而sort by不进行全局排序，仅保证每个reduce任务内的数据有序，不能确保全局排序，需设置mapred.reduce.tasks大于1。希望这些关于Hive的面试题能帮助你更好地准备面试。

5、Hive是由Facebook开源用于解决海量结构化日志的数据统计工具；Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。Hive的本质是将HQL转化成MapReduce程序。数据仓库是为企业所有级别的决策制定过程，提供所有类型数据支持的战略***。

6、Hive常见面试问题解答 Hive的排序关键字主要包括全局排序和局部排序。全局排序（order by）是对整个数据进行排序，但只有一个reduce任务处理，处理大数据量时效率较低，仅限于升序。

面试大数据时要怎么准备

1、优就业提醒大家，要尽可能说一些和工作相关的优点，比如“学习能力特别强”、“接受新事物的速度快”等，另外一定要举例子进行证明，让面试官觉得这个优点很真实。你为什么要学习大数据开发 其实这个问题只是面试官想要知道应聘者的态度而已。

2、简历 大家都知道面试一定要带简历，那么怎样才能制作出一份让面试官满意的简历呢。这里小编建议大家可以试试STAR法则，可以着重凸显出自己在数据分析项目中取得的成绩。另外简历一定要结合招聘要求来制作，与招聘要求的匹配度越高才更容易被hr发现，不要偷懒，用一份简历打天下。

3、首先，我觉得面试官有责任保证面试过程是一次高效的交流。你要获取到你需要的信息，对面试者做全方位的考量；面试者也要获取到他需要的信息，面试官（若面试成功很大可能是自己的上级）的水平，公司技术要求水平，自己是否适合这家公司，公司是否需要自己。

面试被问大数据离线处理和实时处理最大区别在哪?

1、流处理与批处理在Flink中有明显区别：流处理处理无限、连续的数据流，低延迟，适用于实时分析，如消息和传感器数据；而批处理处理有限数据，适合离线分析和大规模数据仓库。Flink的流处理通过窗口机制（时间窗口、计数窗口、滑动窗口和会话窗口）处理数据，控制计算数据量以提高效率。

2、您对大数据一词有什么了解？ 大数据是与复杂和大型数据集相关的术语。关系数据库无法处理大数据，这就是为什么使用特殊的工具和方法对大量数据执行操作的原因。大数据使公司能够更好地了解其业务，并帮助他们从定期收集的非结构化和原始数据中获取有意义的信息。

3、你自身的优点 这个问题不仅仅是在大数据面试当中常常被问，在各行各业的面试中都经常出现。所以面试者要尽可能说一些和工作相关的优点，比如“学习能力强”“能抗住压力”等，再举一个自己之前工作的例子进行证明，这会让面试官觉得很真实。

4、中大型公司（10 20人左右）：组长1人，离线5 10人（离线处理、数仓），实时5人左右，JavaEE1人左右（负责对接JavaEE业务），前端1人（有或者没有人单独负责前端）。

5、首先，面试官通常会从求职者的基本情况开始了解，包括工作经历和项目经验。接下来，面试将深入技术层面。面试中，Java是基础，但通常不会深入，重点在于将Javase部分掌握牢固。在数据处理技术方面，Hadoop生态（包括Yarn、Zookeeper、HDFS）是必问内容，尤其是底层原理，因为这些是大数据处理的基础。

关于面试大数据处理，以及面试数据处理岗位的问题及答案的相关信息分享结束，感谢你的耐心阅读，希望对你有所帮助。