一款纯为爱发电的开源多租户、SAAS、系统,SpringCloud2024、Mysql、Mybatis-Plus、Spring Cloud Alibaba2023 、有BUG第一时间修复
🔥🔥🔥 Apache SeaTunnel 致力于成为世界一流的超高性能数据集成工具,同时支持海量数据的离线和实时同步,每天可以稳定高效同步万亿级数据,已在字节跳动、滴滴、腾讯云、B 站、360、Shopee、印度电信、英国最大零售商Tesco等数千家海内外公司生产上使用
下载最新版请去官网:https://seatunnel.apache.org,加微:easyworkflow 进官方群
分布式下载集群组件
提供两个核心版本: 1.基于netty的HA集群(只依赖mysql,不依赖其他中间件)2.基于nacos和rabbitmq的高可用集群
采用调度和分配策略,结合生产者消费者模型, 天然支持动态调整下载速率(同时下载文件数)、查看下载进度、优先级下载(mq+内部优先队列)、断点下载、动态横向扩容(增加下载节点)等功能。
Fast Distributed Bus (FDBus)
从Json配置里面读取并创建Spark任务并生成DAG流程图,不用再根据不同的需求,开发不同的Spark程序。 目前支持的业务有,指定HDFS文件目录,过滤行,过滤列。Join操作,Union操作,Group分组汇聚操作(max,min,count,sum,avg)。 可自定义输出目录和文件格式。
Elastic-Job是一个分布式调度解决方案,由两个相互独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成。
基于Spring AOP 的声明式和编程式分布式锁,支持RedisTemplate、Redisson、Zookeeper
WeCMDB(Configuration Management Database 配置管理数据库),是源自微众银行运维管理实践的的一套配置管理数据库系统。