众所周知，湖仓一体架构（Lakehouse）能提供更为统一和高效的数据处理与分析能力。

StarRocks 当前已买通多种数据湖组件，如 Apache Iceberg、Apache Hudi、Delta Lake、Apache Paimon 等，实现了对数据湖的及时查问与剖析。不只可以作为查问引擎干脆读取数据湖中的数据，还支撑物化视图等高级功用，进一步提高查问功能，协助企业“一键实现”湖仓架构。

1. StarRocks 与 Apache Iceberg 的集成

Apache Iceberg 是一个开源的表格式，用于在大数据平台上提供高效、可扩大的数据存储。现在，用户能够干脆在 StarRocks 中查问存储在 Iceberg 中的大范围数据集，无需数据迁徙或转换。

这一集成不只简化了数据处置过程，还明显提高了查问效率。StarRocks 支撑 Iceberg 表的 Snapshot 查问，可以获取数据的最新形态，知足用户对及时数据剖析的需要。

使用实践：微信基于 StarRocks 的湖仓一体实践

腾讯微信团队基于 StarRocks 和 Iceberg 构建了湖仓一体架构，知足海量数据的及时查问需要，数据剖析团队实现了查问效率和数据时效性的明显提高，数据时效性从小时/天级提高至分钟级，查问效率也从分钟级提高至秒级/分钟级。

案例概况：微信基于 StarRocks 的湖仓一体实践

2. StarRocks 与 Apache Hudi 的集成

Apache Hudi方面，StarRocks 提供对 Hudi 表的高效查问能力，经过崭新 Connector 框架，实现了对 Hudi 表的 Snapshot 查问、Incremental 查问和 Read Optimized 查问的支撑。独特是 StarRocks 2.4 及更高版本，经过简化设置流程，用户能够更便捷地查问数据库下全部 Hudi 表格式的数据。

3. StarRocks 与 Delta Lake 集成与应用

Delta Lake 是另一种风行的数据湖格式，专一于提供 ACID 事件和牢靠的批处置。StarRocks 支撑查问 Delta Lake 中的 Parquet 格式数据，支撑多种紧缩格式（如 SNAPPY、LZ4、ZSTD、GZIP 和 NO_COMPRESSION）。

用户能够经过创立 Delta Lake Catalog 来拜访 Delta Lake 中的数据。StarRocks 支撑查问 Delta Lake 中的表。

4. StarRocks 与 Paimon 的集成

Apache Paimon 是一种新一代的湖格式，支撑高效及时更新和一致的批处置与流处置操纵。StarRocks 经过 External Catalog 功用支撑干脆查问存储在 Paimon 数据湖中的数据，并实行 SQL 查问，实现数据的疾速检索。StarRocks 支撑多种查问优化战略，包含 Data Cache 和异步物化视图，能够明显提高查问功能。

StarRocks与Paimon的集成使用早已在多个出产情况中得到验证。在测试中，StarRocks查问Paimon数据的效率是Trino的4.3倍，开启Data Cache后，查问功能更是提高了35.4%。这注解StarRocks与Paimon的集成使用能够明显提高数据湖中的及时数据剖析能力。

使用案例：

汽车之家在数据堆栈建立中，面对及时与离线数据划分处置导致的技术栈纷乱、数据新颖度纷歧及查问效率低劣等痛点。离线数仓利用Hive，数据耽误较高；及时数仓依赖Flink、Kafka等技术，但在处置纷乱SQL时资源耗费大，开辟周期长。只管测验利用Iceberg作为一致存储计划，但发现其在流式处置上的功用不够。

StarRocks+Paimon解决方案：
汽车之家抉择Apache Paimon作为新的数据湖处理计划，联合Flink实现流批一体处置。Paimon的简便强壮架构、增量且有序的数据读取、局部更新等能力，知足了流式湖仓的需要。经过Paimon存储及时与离线数据，减少了开辟和维护难度，提升了数据新颖度。同时，使用StarRocks的物化视图和Sort Compaction功用优化查问效率，降低资源耗费。

实施处理计划后，汽车之家在新用户转化剖析、流量日记入湖及资源入湖等场景中获得了明显功效。新用户转化剖析的宽表时效性从天级提高到分钟级，开辟效率提高5倍以上，资源利用节俭60%。流量日记荡涤SLA提高1小时，查问效率明显提高。资源数据新颖度提高至分钟级，下流营业方腻滑过渡，无需大量开辟调解。另外，Paimon的优化实践如支撑署理用户、优化写入义务内存占用等，进一步提高了系统的稳固性和功能。

利用 Paimon + StarRocks 极速批流一体湖仓分析

StarRocks+Paimon的湖仓剖析计划支撑多种场景，包含Trino兼容、联邦剖析、通明加快、数据建模和冷热交融。原有Trino功课无需批改即可在StarRocks上运转；联邦剖析容许不同数据源之间的结合查问；通明加快经过物化视图优化查问功能；数据建模支撑多层嵌套物化视图，便于数据体制构建；冷热交融则经过TTL机制优化存储成本和查问效率。JNI Connector作为关键技术，实现了C++与Java数据源之间的高效交互。

性能测试：
在EMR情况下，经过比较测试StarRocks与Trino在TPCH 100G数据集上的功能，效果表现StarRocks的查问功能是Trino的15倍，验证了StarRocks+Paimon计划的高效性。

镜舟科技作为基于 StarRocks 开源项目标贸易化公司，深刻介入 StarRocks 社区推行和技术奉献，致力于推进湖仓一体的最佳实践使用于各行各业。将来，镜舟科技将踊跃与数据湖领域的其余优良厂商和开源项目展开协作，一起构建愈加美满的湖仓一体生态。