DolphinScheduler – 一个分布式可扩展的工作流调度系统

DolphinScheduler 是一个分布式可扩展的工作流调度系统,能够高效处理海量数据。它支持多租户、高可用,并能轻松应对大规模集群的调度需求。无论是数据ETL、机器学习训练还是实时数据处理,DolphinScheduler都能提供可靠的保障。

file

特性

易于部署: 提供四种部署方式,包括独立部署、集群部署、Docker 和 Kubernetes。

易于使用: 可以通过四种方式创建和管理工作流,包括 Web UI、Python SDK 和 Open API。

高可靠性和高可用性: 分布式架构,支持多主和多工作节点,原生支持水平扩展。

高性能: 其性能比其他编排平台快 N 倍,每天可以支持数千万个任务。

云原生: DolphinScheduler 支持编排多云/数据中心工作流,并支持自定义任务类型。

版本控制: 支持对工作流和工作流实例(包括任务)进行版本控制。

多种状态控制: 支持随时暂停、停止和恢复工作流和任务。

多租户支持:支持回填(Web UI 原生)权限控制,包括项目和数据源

安装

不建议在生产中使用 apache/dolphinscheduler-standalone-server Docker 镜像,建议只做体验 DolphinScheduler。

$ DOLPHINSCHEDULER_VERSION=3.1.5
$ docker run --name dolphinscheduler-standalone-server -p 12345:12345 -p 25333:25333 -d apache/dolphinscheduler-standalone-server:"${DOLPHINSCHEDULER_VERSION}"

官方链接

Comments

No comments yet. Why don’t you start the discussion?

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注