Apache Airflow

Apache Airflow

Airflow je platforma pro programové vytváření, plánování a monitorování datových potrubí.
Airflow je platforma pro programové vytváření, plánování a monitorování datových potrubí.Pomocí Airflow vytvořte pracovní toky jako řízené acyklické grafy (DAG) úkolů.Plánovač Airflow provádí vaše úkoly na řadě pracovníků při dodržení stanovených závislostí.Díky bohatým obslužným programům příkazového řádku je provádění složitých operací u DAG hračkou.Bohaté uživatelské rozhraní usnadňuje vizualizaci potrubí běžících ve výrobě, sleduje pokrok a v případě potřeby řeší problémy .... Zásady Dynamické: Potrubí proudění vzduchu je konfigurace jako kód (Python), což umožňuje dynamické generování potrubí.To umožňuje zápis kódu, který dynamicky spouští potrubí.Rozšiřitelný: Snadno definujte své vlastní operátory, vykonavatele a rozšiřujte knihovnu tak, aby odpovídala úrovni abstrakce, která vyhovuje vašemu prostředí.Elegantní: Potrubí Airflow jsou štíhlé a explicitní.Parametrizace vašich skriptů je zabudována v jádru Airflow pomocí výkonného motoru Jinja Templating.Škálovatelný: Airflow má modulární architekturu a používá frontu zpráv k rozhovoru s cílem uspořádat libovolný počet pracovníků.Proud vzduchu je připraven k měřítku do nekonečna.
apache-airflow

Alternativy k Apache Airflow pro Self-Hosted s bezplatnou licencí