druid 大数据

xiaofei
大数据处理
2025-01-16 23:45:33
20

接下来为大家讲解druid大数据处理例子，以及druid 大数据涉及的相关信息，愿对你有所帮助。

简述信息一览：

1、Druid在有赞的实践
2、记录一次Druid未授权访问的实战应用
3、presto、druid、sparksql、kylin的对比分析,如性能、架构
4、ClickHouse和Druid对比
5、从ClickHouse到自研ByteHouse:实时数据分析场景下的优化实践

Druid在有赞的实践

Druid 是 MetaMarket 公司研发，专为海量数据集上的做高性能 OLAP （OnLine Analysis Processing）而设计的数据存储和分析系统，目前 Druid 已经在Apache基金会下孵化。Druid的主要特性： Druid常见应用的领域：有赞作为一家 SaaS 公司，有很多的业务的场景和非常大量的实时数据和离线数据。

记录一次Druid未授权访问的实战应用

利用Druid Monitor的未授权访问功能，可以获取到大量SESSION信息和URI监控下的路径。结合目标网站的大数据产品平台的登录机制，可以实现对管理员及其他注册成员信息的获取。此漏洞的特征在于特定的URL格式，通过访问xxxx.com/druid/index.ht...，可以访问到相关监控页面。

（图片来源网络，侵删）

攻击流程：首先，访问未授权访问界面，关注Session和URI监控部分，发现大量SESSION信息。通过Session监控收集数据，尝试登录页面替换SESSION，进一步在URI监控中寻找后台登录地址。构造POST包，使用Burp代理验证，通过替换收集到的SESSION数据，获取用户名、用户ID。接着使用用户ID尝试登录，发现密码错误。

解决未授权访问的关键在于加强安全性。首先，最直接的方法是在配置中添加登录用户名和密码。这种策略可以防止未经验证的访问，尤其是当使用复杂的密码，且定期更换，可以有效抵御大部分攻击。然而，这可能会对用户习惯产生影响，并要求密码设置足够复杂和定期更新，以降低被破解风险。

presto、druid、sparksql、kylin的对***析,如性能、架构

1、Kylin是一种MOLAP工具，它通过预聚合数据，将多维查询转换为key-value查询，从而提高了查询效率。选择适合的工具取决于实际应用场景。如果需要实时数据处理和分析，Druid可能是更合适的选择。若追求高性能的查询效率，Kylin将是一个不错的选择。

（图片来源网络，侵删）

2、Spark SQL，UC Berkeley的通用计算框架，处理结构化数据，灵活性较高。Kylin，eBay的预计算OLAP引擎，专为大规模数据分析优化。Druid，MetaMarkets的实时分析引擎，低延迟数据处理与分析的能手，尤其在广告分析和监控报警等领域常见。

3、zeppelin zeppelin定位为web版的notebook，提供交互式数据分析能力，支持SQL、Scala、Python、R等语言，但不被视为典型BI产品。架构***用Java+AngularJS，内置Spark作为数据运算引擎，支持Flink、Hive、Impala、Presto等运算/查询引擎。zeppelin适用于交互式数据分析场景。

ClickHouse和Druid对比

1、ClickHouse和Druid在某些方面存在差异。ClickHouse更侧重于列式存储和大规模数据处理，而Druid则更关注实时数据的快速查询和聚合。Druid在云环境和大规模集群管理方面具有优势，且与特定框架如Helix和ZooKeeper集成，提供更稳定的基础架构支持。对比总结 ClickHouse和Druid在处理实时数据和提供快速查询方面各有优势。

2、除了支持多种的数据源，Drill跟BI工具集成比较好。Druid Druid是专为海量数据集上的做高性能 OLAP而设计的数据存储和分析系统。Druid 的架构是 Lambda 架构，分成实时层和批处理层。Druid的核心设计结合了数据仓库，时间序列数据库和搜索系统的思想，以创建一个统一的系统，用于针对各种用例的实时分析。

3、王海胜通过对比Clickhouse与Presto、Druid等方案，强调了Clickhouse在处理大规模数据集时的显著优势。他展示了Clickhouse在执行简单统计查询（如count）和复杂指标聚合计算时，相比Presto和Druid展现出了更高的效率。