大数据面试题2021

本篇文章给大家分享大数据数据处理面试题，以及大数据面试题2021对应的知识点，希望对各位有所帮助。

简述信息一览：

• 1、干货满满,202303最新各大厂大数据核心面试题
• 2、大数据面试题-Spark的内存模型
• 3、大数据面试题集锦-Hadoop面试题(一)

干货满满,202303最新各大厂大数据核心面试题

1、阿里、喜马拉雅：Flink在实际生产中遇到过哪些高级生产问题？请详细描述解决问题的过程。

大数据面试题-Spark的内存模型

1、面试题来源：可1）Spark内存管理的结构；2）Spark的Executor内存分布（参考“内存空间分配”）堆内和堆外内存规划 作为一个JVM 进程，Executor 的内存管理建立在JVM的内存管理之上，Spark对JVM的堆内（On-heap）空间进行了更为详细的分配，以充分利用内存。

2、Spark运行模式包括Local、Standalone、Yarn及Mesos。其中，Local模式仅用于本地开发，Mesos模式在国内几乎不使用。在公司中，因大数据服务基本搭载Yarn集群调度，因此Spark On Yarn模式在实际应用中更为常见。Yarn Cluster与Yarn Client模式区别 这是面试中常见问题，主要考察对Spark On Yarn原理的掌握程度。

3、你在工作当中有遇到内存溢出问题吗？你是如何解决的？ 回答思路：先解释spark的内存模型，再分情况介绍不同情况下的解决方案。总体思想是根据内存模型找出不够的那一块内存，要么提升占比，要么整体增加。

4、Spark 6 之后默认为统一管理（UnifiedMemoryManager）方式，6 之前***用的静态管理（StaticMemoryManager）方式仍被保留，可通过配置 spark.memory.useLegacyMode=true 参数启用静态内存管理方式。下面我们介绍下两种内存管理模型的进化。

5、从而避免资源的浪费。内存优化是指Spark会对内存进行管理和优化，尽量让每个工作节点的内存都得到充分的利用，从而避免内存不足导致的数据处理速度变慢的问题。总之，Spark是一个高性能、通用的大数据处理工具，它具有简单易用、高效可靠、可扩展性强等特点，被广泛应用于各种不同的应用场景中。

6、在面试中，不仅要熟悉这些概念，还要能清晰地阐述自己的经验，例如： 实战经验与问题准备 分享你的项目经验，强调成功案例，同时准备针对大数据分析、配置管理等的专业问题和答案。 选择和评估数据模型 根据项目需求，选择合适的数据模型，并解释数据评估流程的重要性。

大数据面试题集锦-Hadoop面试题(一)

1、Sqoop：将一个关系型数据库中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

2、答案：MapReduce由Map和Reduce两阶段组成，Map阶段对本地磁盘输出排序数据，Reduce阶段对数据进行归并排序，数据按key分组后交给reduce处理。在Hadoop x中排序无法避免，Hadoop x可通过关闭相关配置避免。

3、YARN是Hadoop生态系统中的一个分布式计算框架，用于管理和调度集群资源。YARN高可用（YARN High Availability，简称YARN HA）是指在集群中实现YARN的高可用性，以确保在出现硬件故障、网络故障等异常情况时，集群仍能够正常工作，不会因为某一个节点的故障而导致整个集群瘫痪。

4、大数据（Hadoop）面试题及答案概要 Hadoop是一个由Apache基金会开发的分布式系统框架，旨在处理海量数据的存储和计算。它以四个主要优势——高可靠性、高扩展性、高效性和高容错性，为核心特性。Hadoop技术生态体系包括Sqoop、Flume、Kafka、Spark、Flink等工具，它们在数据处理的不同环节中发挥关键作用。

5、面试题一：如何解决大数据Hive表关联查询中的数据倾斜问题？数据倾斜是Hive表关联查询中的常见问题，主要由以下原因引起：数据分布不均、业务数据特性、建表时考虑不周以及SQL语句设计不合理。避免数据倾斜的一种方法是为数据量为空的情况赋予随机值。解决数据倾斜的策略包括参数调整和SQL语句优化。

6、您对大数据一词有什么了解？ 大数据是与复杂和大型数据集相关的术语。关系数据库无法处理大数据，这就是为什么使用特殊的工具和方法对大量数据执行操作的原因。大数据使公司能够更好地了解其业务，并帮助他们从定期收集的非结构化和原始数据中获取有意义的信息。

关于大数据数据处理面试题，以及大数据面试题2021的相关信息分享结束，感谢你的耐心阅读，希望对你有所帮助。