qData 数据中台是一套集数据集成、标准管理、资产治理、质量控制、服务开放与智能分析于一体的企业级数据管理平台,致力于帮助企业实现数据资源的统一管理、高效治理与价值释放。
🔥🔥DatalinkX异构数据源之间的数据同步系统,支持海量数据的增量或全量同步,同时支持HTTP、Oracle、MySQL、ES等数据源之间的数据流转,支持中间transform算子如SQL算子、大模型算子,底层依赖Flink、Seatunnel引擎,提供流转任务管理、任务级联配置、任务日志采集等功能🔥🔥
🔥🔥🔥可视化拖拽式大数据集成平台、大数据平台、大数据,包含数据流、数据源、数据对齐、查询模板、完善的监控等。像画流程图一样且无代码方式同步、清洗数据。
Fire框架是中通大数据自主研发并开源的大数据框架,专为Spark和Flink任务开发设计,可显著降低70%以上的代码量。该框架创新性地采用基于注解的方式进行Spark和Flink任务开发,并集成了实时血缘追踪、根因诊断、动态调优以及参数热调整等多项平台化功能。Fire框架已被数十家公司采用,累计收获了近千个Star,并拥有超过200人的社区,其中包括来自美团、阿里巴巴、作业帮等知名企业的成员。
LarkMidTable 是一站式开源的数据中台,实现中台的基础建设,数据治理,数据开发,监控告警,数据服务,数据的可视化,实现高效赋能数据前台并提供数据服务的产品。
bboss-datatran 由 bboss 开源的数据采集&流批一体化工具,提供数据采集、清洗转换处理以及流批一体化计算功能;数据交换、AI推理以及业务办理工作流编排引擎; 同时也是一个高性能Elasticsearch orm 客户端,100%兼容es各个版本 ,兼容spring boot1.x,2.x,3.x
云雀 是一款数据集成工具,实现异构数据源的整合,帮助企业构建数据仓库、数据湖 等应用架构。
这是一个基于机器学习和大数据的决策对抗系统,包含GIS系统,后端基于springMVC,spring,Mybatis,日志基于logback,算法部分包括机器学习,深度学习对打击做仿真
罗盘是一个大数据任务诊断平台,旨在提升用户排查问题效率,降低用户异常任务成本。
其主要功能特性如下:
非侵入式,即时诊断,无需修改已有的调度平台,即可体验诊断效果。
支持多种主流调度平台,例如DolphinScheduler、Airflow或自研等。
支持多版本Spark、Hadoop 2.x和3.x 任务日志诊断和解析。
支持工作流层异常诊断,识别各种失败和基线耗时异常问题。
提供API编排、ETL等能力,实现数据库到API的可视化转换,以及多系统API的整合、数据抽取与加工处理、自动依赖分析及数据血缘分析、实时MQTT消息的动态监听等;即可用于与低代码前端工具配合,为低代码前端提供接口,也可当成一个简单的ESB使用或ETL工具或数据中台使用