澳门新葡·(China)游戏网-Baidu App Game

产品简介

澳门新葡游戏app数据支撑平台软件（简称澳门新葡游戏appETL）是澳门新葡游戏app研发的一款数据抽取转换和加载工具，可以实现按秒、分、时、天为间隔的数据抽取操作。其中数据抽取转换清理模块可以定时将数据源中的增量数据取出，并按照指定格式（如XML）输出数据；通过定时扫描的方式实现对增量数据的检测，根据不同的用例将系统划分为数据扫描模块、数据抽取模块和数据输出模块，通过接口将模块之间解耦，增量日志的清除使用独立的线程定时执行任务。每个模块实现线程池，进行多线程处理，提高运行效率。输出各个模块的处理日志，满足程序运行时监控。

免费试用在线咨询

产品架构

免费试用在线咨询

核心功能

1.支持增量数据采集技术
澳门新葡游戏app数据支撑平台中数据抽取转换工具采用增量采集技术，增量采集系统对生产库的日志文件进行增量监控，有变化就把增量数据采集并送到ETL工具端，经过ETL一系列转换和清洗后，最终数据以目标端的组织形式入库。
2.支持多种输入源
平台中数据抽取转换工具支持丰富的输入源，使得用户可以方便高效的从各种来源抽取想要的数据。
3.支持多种输出格式
平台中数据抽取转换工具支持丰富的输出格式，能够满足用户不同的数据存储需求。
4.灵活支持数据转换功能
针对不一致的数据按规则进行转换、数据粒度的转换，以及一些商务规则的计算。
5.数据质量治理
数据支撑平台是专业的数据质量分析，比较，验证和监督的软件，它会对各系统的企业信息进行数据分布验证（如代码、名称的分布情况），基于验证结果，提取关键信息进行比较，转换并提炼唯一的标准企业名称，并保证之后新抓取的数据都会根据已经设定的数据质量治理流程进行标准化处理。
6.支持地址数据标准化
澳门新葡游戏appETL将地址数据标准化步骤如下：
1）将地址的信息分层
2）以地址字典为基础补全地址信息
3）门牌号等数字统一为阿拉伯数字，门牌号等单位统一
4）去除空格、括号、中括号的特殊符号；全角转半角等
7.支持作业调度
澳门新葡游戏app数据支撑平台中数据抽取转换工具的作业调度非常灵活，主要支持按时间调度、按外部条件调度，且可以执行外部作业。
8.平台与作业监控
澳门新葡游戏app数据支撑平台提供完善的平台性能与作业执行情况的统计与监控。平台性能包括CPU、内存、磁盘的实时资源使用情况以及历史的趋势统计，作业统计与监控包括目前正在执行的作业情况以及历史作业的统计与分析。
9.完善的流程监控
支持远程管理和监控ETL过程，可以看到实时的系统状态以及转换执行过程。
10.元数据管理
澳门新葡游戏app数据支撑平台中数据抽取转换工具支持2种元数据管理:
1）基于XML文件的元数据管理
2）基于数据库的元数据管理
两种管理方式都能保证用户的元数据的一致。
11.支持远程执行和管理
支持在远程的服务器上部署和发布ETL服务，并对整个ETL流程能进行监控，方便用户管理和控制整个ETL流程。
12.支持扩展功能
支持用户方便的编写自己的JAVA代码、JAVASCRIPT脚本、sql脚本来扩展功能，这对于一些特定的数据抽取，或者业务处理是非常有用的。

免费试用在线咨询

产品特点

· 跨平台

基于Java提供多平台支持（windows、linux、unix等）

· 大数据适配

提供HBase的输入/输出转换组件，支持与非关系型数据库HBase进行数据交互

· 丰富的系统适配功能

基于标准的JDBC、ODBC接口，实现对各种主流数据库系统的支持

· 丰富的组件

澳门新葡游戏appETL内置大量的任务组件和转换组件，用户可以通过拖拽的方式快速完成各种复杂数据集成需求和集成的调度控制

· 资源统一存储

资源库为澳门新葡游戏appETL的元数据提供了统一的存储机制，并对元数据提供各种管理功能，同时资源库还为澳门新葡游戏appETL的分布式部署提供支撑

· 字段拆分、混合运算

澳门新葡游戏appETL内置众多的字符串函数，例如SUBSTR、Instr等，可以完成字段的拆分、合并等操作。且内置的Expression组件，可增加复杂的多字段混合计算，同时内嵌100多种函数和参数，极大的提高了表达式的灵活性

· 图形化界面、快速开发和部署

澳门新葡游戏appETL内置大量的可视化图形转换组件，是完全图形化的开发产品，无需在组件上编写脚本语言，即可实现数据集成的快速开发和部署

· 高效数据处理

澳门新葡游戏appETL采用并行处理的方式实现数据的高效处理，数据在澳门新葡游戏appETL中类似于流水线上的产品

· 准实时数据接入

与传统的数据同步技术不同，澳门新葡游戏appETL基于数据库日志文件（包括归档日志和重做日志）来实时抽取数据，延迟最低5秒

· 异常恢复

任务流程提供多个调度机制和异常恢复机制，在异常后，支持自动和手动恢复

· 数据完整性和一致性保证

提供按批次抽取功能，并为每一批次数据提供整体事务的控制，一旦出现异常，可以从数据处理的中间状态进行恢复，并保证数据的最终完整性和一致性

· 多种抽取模式

基于数据库日志分析的各种数据抽取模式，如全量同步、增量同步CDC、单向同步、双向同步、文件目录同步等

· 插件式组件管理

提供插件式的组件管理机制，对于特殊的场景（如客户自定义结构的文本）可以方便的

· 支持集群化配置

澳门新葡游戏appETL系统内的数据集成引擎可以集群方式部署在多个服务器或者虚拟机上，统一使用一个监控配置器，监控配置器可以监控整个数据集成集群内各个引擎上所有数据集成服务的运行情况

免费试用在线咨询

澳门新葡·(China)游戏网-Baidu App Game

产品与解决方案

服务与支持

合作发展

如何购买

关于我们