大数据技术与面试题库

xiaofei
大数据技术
2024-12-17 04:09:19
23

本篇文章给大家分享大数据技术与面试题库，以及大数据面试题2021对应的知识点，希望对各位有所帮助。

简述信息一览：

1、大数据面试题集锦-Hadoop面试题(二)-HDFS
2、快手大数据开发高频面试题及答案
3、大数据面试大厂真题【附答案详细解析】
4、大数据面试题-Spark的内存模型
5、常见大数据公司面试问题有哪些?
6、干货满满,202303最新各大厂大数据核心面试题

大数据面试题集锦-Hadoop面试题(二)-HDFS

在HDFS中，文件物理上是分块存储的，块的大小可以通过配置参数（ dfs.blocksize）来规定。默认大小在hadoopx版本中是128M，老版本中是64M。块大小不能设置得太小或太大。块的大小应足够大以减少寻址开销，同时考虑到磁盘传输速率。

HDFS的容错机制包括故障检测、数据***和数据完整性检查。故障检测通过心跳信号确保DataNode的正常运行。数据***确保数据的冗余存储，提高容错性。数据完整性通过总和检验码和定期数据块报告检查。HDFS的基础概念包括Block、NameNode、DataNode和Secondary NameNode。Block是HDFS存储单元，默认大小为64M或128M。

（图片来源网络，侵删）

Hadoop版本发展上，Hadoop x相比x，新增了Yarn资源调度，进一步拆分了职责。HDFS架构中，NameNode负责元数据管理，DataNode存储数据，而Secondary NameNode负责定期备份元数据。YARN架构则包括ResourceManager、NodeManager和ApplicationMaster等组件，用于任务管理和调度。

快手大数据开发高频面试题及答案

当数据量很大的时候，count（distinct uid）计算失败怎么办？解决方案有二：一是使用数据库函数优化，如使用`APPROX_COUNT_DISTINCT`替代`COUNT（DISTINCT uid）`以减少计算量；二是***用分桶或分批处理策略，将大数据集分割成多个子集进行计算。

参考答案：编程模型方面 Spark基于批处理模型，它将连续数据流分解成微批处理，并在每个微批中执行操作。Flink则***用数据流模型，支持连续和有限数据处理。Flink提供DataStream API，类似于Spark RDD，但更注重事件顺序。数据处理模式 Spark Streaming在微批处理模式下，存在秒级延迟。

（图片来源网络，侵删）

大数据架构团队针对资源调度系统 YARN 做了很多非常好的改进以及资源上的规划。Hadoop狭义上是指MR，HDFS，YARN三种服务。Hadoop 是非常核心的底层基础服务，在快手大数据架构体系中占据着核心地位。最近流行的Fink，Spark，Druid，Clickhouse，他们只是对MR进行的提升和补充。

在构建数据平台过程中，快手面临数据安全、隐私保护、合规性等多方面挑战。为应对这些挑战，快手的建设思路主要围绕以下几个方向展开：建立严格的数据分类分级制度、设计高效的数据引擎安全策略、实施全面的敏感数据保护措施，并构建完善的审计与监控体系，确保数据在全生命周期内的安全与合规。

快手二轮面试当天不会有结果。快手快手是北京快手科技有限公司旗下的产品。快手的前身，叫“GIF快手”，诞生于2011年3月，最初是一款用来制作、分享GIF图片的手机应用。2012年11月，快手从纯粹的工具应用转型为短***社区，用于用户记录和分享生产、生活的平台。

大数据面试大厂真题【附答案详细解析】

答案：Flink通过一个引擎支持DataSet和DataStream API，实现计算上的流批一体。Kafka篇问题：Kafka实现精准一次性答案：0.11版本后引入幂等性，确保重复数据只持久化一条。利用主键序号缓存，相同序号的消息只会持久化一次。跨会话精准一次性通过事务机制保证。

内部表与外部表的区别在于内部表未使用external修饰符，外部表则使用。关键区别在于外部表不会改变其引用的HDFS文件，而内部表会更新其元数据以反映任何更改。 Hive在0版本前支持索引，但功能有限且效率不高，因此不常使用。索引适用于静态字段，以免频繁重建。

中国联通校招对象面向24届同学，提供技术岗与业务岗两大类岗位，包括但不限于网络安全、未来网络、云计算、大数据、物联网、人工智能、区块链、绿色低碳等方向及市场营销、客户运营、产品管理、解决方案等业务岗位，每位毕业生可投递至2家单位，每个单位最多2个岗位，具体以各招聘单位职位为准。

【Web全栈式课程】。Node.JS贯穿学习，Vue.JS、Angular、React.JS生态圈三大框架全囊括，掌握Web全栈脉络。项目贯穿式授课。7大项目阶段贯穿学习，掌握企业真实项目开发顺序，对接企业真实工作需求，培养学员从0到1项目思维。大厂面试真题串讲。

在具体打分中，可根据细则灵活判断。【打分五类标准】第一类：41-50分内容切题，符合题目规定话题要求，针对性、辩证性强。论点正确、见解深刻，论据充分有力，论证严密，内容全面充实，论政清晰、条理清晰，以论为主。体现申论的文体特点。语言准确流畅，文面整洁，书写工整。

如需***版PDF，请联系获取。详细解析和答案，助你全面掌握。回顾往届真题，丰富学习资源。日语学习，兴趣是关键，激发学习热情，事半功倍。“有事者，事竟成；破釜沉舟，百二秦关终归楚；苦心人，天不负；卧薪尝胆，三千越甲可吞吴。”此话激励，助你坚定信心。分享日语考试经验，总结应试技巧。

大数据面试题-Spark的内存模型

面试题来源：可1）Spark内存管理的结构；2）Spark的Executor内存分布（参考“内存空间分配”）堆内和堆外内存规划作为一个JVM 进程，Executor 的内存管理建立在JVM的内存管理之上，Spark对JVM的堆内（On-heap）空间进行了更为详细的分配，以充分利用内存。

RDD与DataFrame概念和特性Spark中的RDD（弹性分布式数据集）和DataFrame是两种常用的数据模型。RDD提供了一种受限的共享内存模型，它是只读的、分区的记录***，通过执行特定操作（如map、join和group by）创建，这使得容错性得以高效实现。尽管如此，RDD仍适用于各种计算，包括MapReduce和迭代编程模型。

Spark 存储体系 Spark 存储体系包含内存、磁盘等存储介质，用于数据的暂存、计算和结果输出。60. Spark 存储体系概述 Spark 提供内存、磁盘等多种存储选项，支持数据的高效存储与处理，优化计算性能。