大数据***集的技术方法笔记

文章阐述了关于大数据***集的技术方法笔记，以及大数据***集的主要方法的信息，欢迎批评指正。

简述信息一览：

• 1、大数据学习笔记2:现代数据湖之Iceberg
• 2、大数据的关键技术
• 3、VBA学习笔记45:随机抽取
• 4、考研复习要如何写好笔记

大数据学习笔记2:现代数据湖之Iceberg

在大数据领域，Iceberg近期备受瞩目，我将结合个人理解分享一些关键信息和特点。首先，对于数据湖的基本概念，读者可以参考我之前的文章《大数据学习笔记1：数仓、数据湖、数据中台》来了解。现代数据湖的发展和业界趋势中，核心需求在于提供高效、灵活的数据存储和处理能力。

Iceberg的数据组织形式基于HDFS等文件系统，数据结构和元数据结构紧密相连。数据架构包括两个主要部分：data目录和metadata目录。数据文件以parquet或类似格式存储于data目录中的分区目录下。metadata目录则包含管理数据结构的元数据文件。Iceberg的元数据***用层次结构存储，核心有两层：snapshot层和manifest层。

数据湖是企业中全量数据的单一存储系统，其主要特性包括存储容量极大、以原始形式存储数据、可存储任意类型的数据以及具备多样化的分析能力。数据湖通常以对象块或文件的形式进行存储。相比之下，数据仓库存在开放性、对机器学习的支持、ACID事务支持及高效Upsert/Delete等方面的问题。

通过使用Spark的DataFrame API，可以加载Iceberg中的数据，操作如spark.table（Iceberg表名）或spark.read.format（iceberg）.load（iceberg数据路径）。每次向Iceberg表中commit数据都会生成快照，查询所有快照可使用_[库名].Iceberg表.snapshots_命令。

大数据的关键技术

1、大数据***集技术：这一技术通过 RFID 数据、传感器数据、社交网络交互数据及移动互联网数据等方式，实现对结构化、半结构化及非结构化的海量数据的获取。 大数据预处理技术：该技术的主要任务是对***集到的数据进行辨析、抽取、清洗、填补、平滑、合并、规格化及检查一致性等操作，以确保数据的质量。

2、分布式计算技术：这是处理大数据时的一项关键技术，它允许将数据和计算任务分布到多个计算机节点上，以实现高效的处理和分析。 非结构化数据库技术：由于大数据中包含了大量的非结构化数据，如文本、图片、***等，因此非结构化数据库技术变得至关重要，它能够存储和查询这些非结构化数据。

3、大数据技术的关键领域包括数据存储、处理和应用等多个方面。根据大数据的处理流程，可以将其关键技术分为大数据***集、预处理、存储及管理、处理、分析和挖掘、以及数据展示等方面。

4、大数据技术的关键技术包括：云计算、大数据存储、分布式处理、数据挖掘、机器学习、流处理、数据可视化、数据管理、ai/ml、iot 和边缘计算，可用于存储、处理和分析海量数据以获得有价值的见解。

5、大数据的关键技术支持包括： 分布式处理技术：分布式处理技术通过将多台计算机通过网络连接起来，实现地理位置不同、功能不同或数据不同的系统协同工作。这种技术能够有效处理大规模数据集，例如Hadoop就是一种流行的分布式处理框架。

VBA学习笔记45:随机抽取

1、学习资源：《Excel VBA从入门到进阶》第45集 by兰色幻想 本集内容围绕“随机抽取”主题展开，通过实例解析随机抽取的原理与实现方法。首先，举例说明如何在A-J10人中随机抽取1人，程序中利用了`Rnd（）`函数，生成0到1之间的随机数，通过转换计算出1到10之间的随机整数。

2、Excel VBA的AutoFilter方法提供了一种强大的筛选功能，能根据指定条件在数据中进行筛选。其语法为Range对象.AutoFilter（Field，Criterial1，Operator，Criteria2，VisibleDropDown）。AutoFilter方法有五个可选参数，分别为Field、CriteriaOperator、Criteria2和VisibleDropDown。

3、首先，我们明确样本分布是离散型分布。由于样本是由多个观察值组成，且这些观察值是离散的，因此其分布特性必然体现为离散型。样本分布的研究主要围绕两个关键方面：一是样本均值的分布，二是样本方差的分布。样本均值和样本方差作为随机变量，其研究对象在总体中随机抽取包含n个元素的样本。

4、学习内容 学习如何利用VBA定位并操作Excel中的特殊单元格。包括选***定单元格区域、使用条件选取特殊单元格以及定位端点单元格等操作。选中工作表中已使用的单元格区域，或者某特定单元格所在的区域，比如选中B3或C7单元格所在区域，程序会自动选中相邻的C7：D8区域。

考研复习要如何写好笔记

数学笔记方面，重点在于公式和错题整理。针对数一，建议准备三个本子，分别记录高数、线代和概率论与数理统计的关键公式、定理与推导过程，同时整理错题，归纳题型与解题策略，便于后期复习。英语学习则侧重于词汇、句子结构、语法知识和写作技巧。

首先，对于数学笔记，需侧重公式与错题整理。以数一为例，需准备三个本子，分别记录公式、定理与推导过程，以及整理错题，分析题型与解题策略。这有利于后期复习时，便捷查找与记忆知识点。其次，英语笔记则围绕单词、句子、语法与写作技巧展开。

逻辑清晰：确保笔记的逻辑结构清晰，便于之后的理解和记忆。重点突出：使用不同颜色的笔或标记来突出重点，使复习时更加直观。结合个人学习风格 个性化：每个人的学习风格不同，笔记也应该根据个人偏好来调整。实用性：笔记的目的是为你服务，确保它们对你真正有用。

***用有效的笔记方法：可以***用康奈尔笔记法、思维导图法、概念图法等，这些方法有助于将信息结构化，便于理解和记忆。归纳总结：在学习一段内容后，要及时归纳总结，提炼出本节课的核心知识点，用自己的话语简洁明了地表达出来。

记笔记不需要仪式感 很多同学的学习特点是，坐到自习室，就开始整理学习工具，桌子擦得倍儿亮，书本摞的整整齐齐，对自己的笔记也是严格要求，写字横平竖直，格式工工整整。这当然是一种好习惯，也会提升我们的卷面分。

第一部分记录重要的公式、定理和关键的推导过程；第二部分记录错题，整理错题题型和各类题型的解题思路。这样，后期复习的时候，无论是记忆知识点还是查找知识点都非常方便。

关于大数据***集的技术方法笔记和大数据***集的主要方法的介绍到此就结束了，感谢你花时间阅读本站内容，更多关于大数据***集的主要方法、大数据***集的技术方法笔记的信息别忘了在本站搜索。