Airflow 是一个开源平台，可以帮助你以编程的方式定义、调度和监控工作流。它使用 DAG 来可视化工作流程，并提供丰富的功能，如任务调度、错误处理、监控等。无论你是数据工程师、数据科学家还是运维工程师，Airflow 都能帮助你提高工作效率。
特性
- 纯 Python: 不再需要命令行或 XML 黑魔法！使用标准 Python 特性创建您的工作流，包括用于调度的时间日期格式和用于动态生成任务的循环。这使您在构建工作流时能够保持完全灵活。
- 有用的 UI: 通过一个强大且现代的 Web 应用程序监视、调度和管理您的工作流。无需学习旧的、类似 cron 的界面。您始终可以全面了解已完成和正在进行的任务的状态和日志。
- 强大的集成: Apache Airflow® 提供许多即插即用的操作符，可随时在 Google Cloud Platform、Amazon Web Services、Microsoft Azure 和许多其他第三方服务上执行您的任务。这使得 Airflow 易于应用于当前基础设施并扩展到下一代技术。
- 易于使用: 任何具有 Python 知识的人都可以部署工作流。Apache Airflow® 不限制您的管道的范围；您可以使用它来构建 ML 模型、传输数据、管理您的基础设施等等。
- 开源: 您可以通过打开 PR 来分享您的改进。就这么简单，没有障碍，没有冗长的程序。Airflow 有许多活跃的用户，他们愿意分享他们的经验。有任何问题吗？请查看我们的热闹的 Slack。
安装
pip install "apache-airflow[celery]==2.10.2" --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-2.10.2/constraints-3.8.txt"
