构建大数据技术架构

xiaofei
大数据技术
2025-01-10 09:36:27
21

简述信息一览：

1、大数据平台架构——框架篇
2、大数据技术架构有哪些
3、如何正确建立大数据结构?
4、DMP系统技术架构【技术类】
5、大数据的技术架构是什么样的?

大数据平台架构——框架篇

监控管理是大数据平台的基石，包括数据监控、数据质量检测、元数据管理、血缘关系管理、异常处理与版本控制。监控预警平台如Grafana、Prometheus等，数据治理平台如Altas、Data Hub等，确保数据流线顺畅。大数据安全不容忽视，用户访问权限、数据资源权限管理与审计等成为关键保障。

大数据平台的核心使命，是通过数据***集、存储（Apache Hadoop与HDFS）、计算（MapReduce、Hive、SQL）和精细管理，构建起数据处理的坚实基础。存储与力量的交汇点 - Hadoop：作为分布式存储和计算的中坚力量，它通过HDFS提供海量数据的存储，而Hive则巧妙地引入SQL接口，让复杂的数据操作变得直观易行。

（图片来源网络，侵删）

实时大数据处理框架Lambda架构将大数据系统分为批处理层、实时处理层和服务层，实现高效的数据处理和分析。数据处理框架的选择需考虑数据处理形式和结果时效性。

学习大数据，以下五种框架是不可或缺的：Hadoop、Storm、Samza、Spark和Flink。以下是它们的详细介绍：一：Hadoop大数据框架 Hadoop是由Apache基金会开发的分布式系统基础架构，是应用最广泛的大数据工具。它以容错率高和硬件成本低而著称。

Kafka是一个分布式流处理平台，主要用于构建实时数据流管道和应用。它提供了高吞吐量、可扩展性和容错性，允许发布和订阅记录流。Kafka常用于实时日志收集、消息传递等场景，与Hadoop和Spark等大数据框架结合使用，可以实现高效的数据处理和分析流程。

（图片来源网络，侵删）

大数据技术架构有哪些

1、大数据技术架构包含以下主要组件：数据源；数据***集；数据存储；数据处理；数据分析；数据展示；数据治理；数据生命周期管理；数据集成；监控和预警。该架构是一个复杂的分层系统，用于处理和管理大数据。

2、大数据的三大技术支撑要素：分布式处理技术、云技术、存储技术。分布式处理技术分布式处理系统可以将不同地点的或具有不同功能的或拥有不同数据的多台计算机用通信网络连接起来，在控制系统的统一管理控制下，协调地完成信息处理任务。比如Hadoop。

3、分布式处理技术分布式处理技术允许将多台计算机通过通信网络连接起来，这些计算机可以在不同地点、具有不同功能或存储不同数据。在统一的管理控制下，这些系统能够协同工作，完成信息处理任务。例如，Hadoop就是一个分布式处理框架。

4、数据源层：包括传统的数据库，数据仓库，分布式数据库，NOSQL数据库，半结构化数据，无结构化数据，爬虫，日志系统等，是大数据平台的数据产生机构。

5、大数据的架构主要包括分布式文件系统、NoSQL数据库、列式数据库、云计算平台等。分布式文件系统大数据的存储和管理依赖于分布式文件系统。这类架构将文件分散存储在多个服务器上，利用多台服务器共同处理数据，实现数据的分布式存储和处理。这种架构可以有效地提高数据存储的可靠性和数据处理的速度。

6、大数据技术可以分为数据收集、数据存取、基础架构、数据处理、统计分析、数据挖掘、模型预测、结果呈现。以下是详细介绍：数据收集：在大数据的生命周期中，数据***集处于第一个环节。根据MapReduce产生数据的应用系统分类，大数据的***集主要有4种来源：管理信息系统、Web信息系统、物理信息系统、科学实验系统。

如何正确建立大数据结构?

1、tempdb tempdb也应该被单独的物理硬盘或磁盘阵列上，建议放在RAID 0上，这样它的性能最高，不要对它设置最大值让它自动增长日志文件日志文件也应该和数据文件分开在不同的理硬盘或磁盘阵列上，这样也可以提高硬盘I/O性能。

2、大规模数据管理中，读写分离是非常必要的。在备份数据的同时，也可以利用备份数据建立读写分离，避免写入操作对查询的干扰。通过多台服务器的协同工作，不仅可以保证数据的安全性，还可以提升查询的性能。使用分布式数据库在数据量达到一定程度之后，可以考虑使用分布式数据库系统。

3、所有的数据均添加在表的尾部，而建立了簇索引的表，其数据在物理上会按照簇索引键的顺序存储，一个表只允许有一个簇索引，因此，根据B树结构，可以理解添加任何一种索引均能提高按索引列查询的速度，但会降低插入、更新、删除操作的性能，尤其是当填充因子（FillFactor）较大时。

4、定义目标和问题：明确分析的目的和要解决的问题。确定需要回答的问题和所需信息。收集数据：搜集与分析目标相关的数据，这可能包括结构化和非结构化数据，来源于不同渠道。存储和管理数据：将数据存储在可扩展的大数据存储系统中，例如Hadoop、NoSQL数据库等。

DMP系统技术架构【技术类】

1、技术架构则从技术实现角度划分组件，确保开发协同与功能完整性。架构包含基础资源层、业务层、接口层和公共工具。基础资源层管理数据库、文件、网络和流处理等资源。业务层负责业务逻辑处理，如基于Spark的计算。接口层集成系统，提供API和客户端接口等。公共工具层包含异常处理、类管理等通用组件。

2、DMP，即Dynamic Multi-Pathing的缩写，直译为动态多路径，是一种在网络通信中广泛应用的技术。它的中文拼音为“dòng tài duō lù jìng”，在英文中的流行度达到了4376次，表明它在相关领域具有较高的使用频率。DMP主要应用于计算和网络连接中，特别是涉及到数据传输、路由选择和网络优化的场景。

3、架构与实现：架构设计旨在简化业务功能实现，支撑动态扩展与迭代，保障系统兼容性与开放性，并提供便捷的系统运维。DMP平台架构分为对外模块与业务模块，功能盘点分为业务向与基础向两部分，数据链路与存储***用了离线与实时计算技术，确保了高效率的数据处理。

4、技术架构的创新计算框架由NODE、Module和Operator构建，NODE处理异构数据，Module负责管理和Operator提供接口，确保高效稳定的数据处理。在实时计算领域，58同城DMP平台聚焦于稳定性、容错和性能优化，定制化的监控与自定义系统，确保数据实时流动中的每个环节都得心应手。

5、我们的DMP平台业务架构包括数据层、存储层、计算层、服务层和监控层。