php ClickHouse如何替代SAP数仓

100人浏览 2024-09-16 08:48:35

一、SAP的应用难点？

系统太重，配置和操作极其复杂，一个业务可能要用很多页面
实现成本很高，二次开发(ABAP语言开发)成本相当高，使用成本也很高。一般需要一些SAP的顾问，每个顾问只关注SAP的某个功能，因为SAP的学习成本很高
许可证比较贵，使用成本高
SAP的报告系统不能完全满足需要
SAP是一个信息孤岛，数据庞大
SAP系统与其他业务系统的联合分析困难
基于流程的功能较弱。一般情况下，企业需要经过审批流程才能生成单据。一般他们需要通过插件系统的工作流软件对文档进行审批，然后将数据写入SAP

二、Clickhouse特性

1、易用性好

提供HTTP、TCP接口，支持JDBC、ODBC访问，可以在JAVA、PHP、C++、PYTHON、GO、NODEJS等多种言语下便捷访问。并得到DataGrip、Dbeaver等多种主流数据库管理客户端支持。

2、可扩展性好

扩展时添加新的服务器到集群即可。

3、分析能力强

有丰富的数据统计分析函数。包括不限于数组、元组、采样计算、JSON处理、高阶聚合函数。万山数据还提供了HTTP操作、自然语言处理、全文检索等扩展功能。

4、数据集成容易

可以直接从kafka、RabbitMQ、Mysql、Postgresql获取数据，可以通过JDBC直接访问几乎所有数据库。

5、成本低

安装于普通设备，维护简单。成本低。

三、Clickhouse能做什么？

1、SAP数据与其他数据融合分析

Clickhouse可以方便简单地集成各种数据库的数据、API接口数据、文件数据、物联网数据（PLC、仪表等），将SAP数据迁移到clickhouse，即实现了SAP数据与其他系统数据、设备数据的贯通融合。跨系统的数据联合分析问题迎刃而解。

2、SAP历史数据挖掘

历史数据的挖掘是一个特别耗时间耗资源的事情，将SAP的历史数据迁移到clickhouse进行分析，可以大大降低SAP的运行压力，同时提升数据分析用户体验。

3、SAP报表加速

在SAP中复杂报表加载速度较慢。将数据迁移动clickhouse中，通过数据治理工具（如ODGC）以实时计算或定时执行任务的方式，将报表数据准备好，可大大提升报表交互的性能。

4、扩展报表使用范围

将SAP的数据拉到clickhouse，使得更多的数据使用场景变得简单，比如可以通过帆软、superset等报表工具实现自主分析；可以更容易地开发固定报表，利用clickhouse的高并发集群让更多人使用（使用人数不受sap的license的限制）。

四、SAP 如何迁移到clickhouse

场景一：HANA迁移到clickhouse

技术方案主要解决两个问题：SAP的数据如何与其他业务系统数据集成到一起？以及如何在数据仓库中进行数据治理，供上层领导驾驶舱、报表、自主分析系统使用。

借助DBH将数据增量或全量同步到clickhouse集群。

业务系统的数据通过DBH增量或全量同步到clickhouse集群。或者通过CDC方式，利用kafka实时同步到clickhouse集群。数据在数据仓库集群中的治理我们借助ODGC进行。ODGC是一款可视化的数据治理工具。通过配置数据治理任务，治理SQL语句在线配置实现数仓分层以及数据治理。

最后大屏系统、ABI等通过JDBC访问数据仓库集群，实现数据展示，支持自主分析等功能。

场景二：sybase迁移到clickhouse

如果SAP的数据仓库是sybase，我们如何对sybase中的数据进行监控？可以通过OGG+KAFKA+CLICKHOUSE物化视图的方式实现，OGG将sybase的数据库日志文件传输到kafka，clickhouse中建立对应的kafka引擎表和物化视图，将sybase中的数据变化实时同步到clickhouse中。该方案的传输延迟在一秒之内。