大数据处理流程第一步是什么

xiaofei
大数据处理
2025-01-02 12:45:09
22

简述信息一览：

1、大数据处理对电脑的配置有什么要求吗?
2、大数据NiFi(二十一):监控日志文件生产到Kafka
3、虚拟内存设置多少合适

大数据处理对电脑的配置有什么要求吗?

学大数据是需要电脑的，对电脑的配置还有一定的要求。使用大数据技术需要强大的计算能力和大量的存储空间，因此需要具备一定的硬件配置才能够支持大数据处理。以下是一些常用的配置要求：CPU：推荐使用多核处理器，如 Intel Xeon 或 AMD Opteron，最好拥有高频率的核心。

处理器：至少是双核或者更高，主频0 GHz以上。内存：至少4GB，8GB或以上更好。显卡：独立显卡，显存至少2GB。硬盘：至少是机械硬盘，如果需要处理大量数据，建议使用固态硬盘。其他配置：网络适配器需要适配，显示器分辨率至少1280x768。

（图片来源网络，侵删）

像与编程相关的，对电脑要求都不高的。有8g内存，剩下的就目前来说，可以很随便了。建议4k以内的笔电，都行。

专科大数据对电脑要求不高。因为现在的电脑配置是i5 4代以上的cpu，8g及以上的内存，应该够用的，现在虚拟化技术比较流行，比较吃电脑的cpu和内存资源，如果达不到这个配置估计不够用，但是总得来说一般的电脑配置也就足够应付大数据专科专业的知识了。

其次，内存的大小也非常重要。大数据分析需要大量的内存来存储和处理数据，因此建议选择至少8GB或16GB以上的内存。如果需要进行更复杂的数据分析和处理，可以考虑32GB或更多的内存，以确保能够满足需求。存储方面，大数据科学与技术需要大量的存储空间来存储数据和程序。

（图片来源网络，侵删）

电脑选择如下：一般多买台式机或者性能强的笔记本。大数据电脑一般要求：大内存（底线16G），强CPU（至少6核心），大存储空间内存（500G很勉强），硬盘最好都可以扩展。其实内存16G实在有点捉襟见肘，啥都不干占用了70%。

大数据NiFi(二十一):监控日志文件生产到Kafka

1、启动Kafka集群与NiFi处理流程在“logdata”中写入数据并保存检查Kafka中自动创建的“nifi_topic”内的数据向“logdata”写入数据后，每行后有一空行，这是“TailFile”处理器监控数据的副作用，实际写入3条数据。通过后续业务处理时，可对数据进行trim处理。

2、在下面的列表中，列出属性及其默认值，以及属性是否支持NiFi表达式语言。Producer生产创建并配置处理器GenerateFlowFile 创建处理器组kafka，进入组后创建GenerateFlowFile处理器。每1秒生产一次数据。

3、三一重工泵诵云平台数据接入***用 Nifi + MatrixGate 方案，NiFi 集群由3台配置内存32g，硬盘1T的服务器组成，平均5min 消费 Kafka 数据4GB，每秒处理数据14784条。NiFi 提供多种组件，适用于各类 ETL 场景，实现 HDFS、本地文件系统、主流数据库之间数据流转。

4、Kafka则作为分布式日志流传输系统，特别擅长海量数据传输，顺序磁盘写入、zero-copy等特性显著提升性能。Pulsar***了RocketMQ与Kafka的特点，支持streaming与queue模式，提供更全面的使用场景，包括后台业务开发与大数据领域数据传递，支持pull+push模式与多租户管理。

5、年，Cloudera将重点推动PVC DS私有云数据服务，更好地支持Iceberg版本，以及期待Ozone组件的推出，以支持更多小文件以及更大数据量的存储。