Účelem Luigi je zabývat se všemi instalacemi obvykle spojenými s dlouhodobými dávkovými procesy.Chcete zřetězit mnoho úkolů, automatizovat je a dojde k selhání.Tyto úkoly mohou být cokoli, ale obvykle se jedná o dlouhodobě fungující věci, jako jsou úlohy Hadoop, ukládání dat do / z databází, spuštění algoritmů strojového učení nebo cokoli jiného.Existují další softwarové balíčky, které se zaměřují na aspekty zpracování dat na nižší úrovni, jako je Hive, Pig nebo Cascading.Luigi není rámec, který by je nahradil.Místo toho vám pomůže spojit mnoho úkolů dohromady, kde každý úkol může být dotaz Hive, úloha Hadoop v Javě, úloha Spark v Scale nebo Python, úryvek Python, vyhodit tabulku z databáze nebo cokoli jiného.Je snadné vybudovat dlouhodobé potrubí, které zahrnuje tisíce úkolů a dokončení dnů nebo týdnů.Luigi se stará o spoustu řízení pracovního postupu, takže se můžete soustředit na samotné úkoly a jejich závislosti .... Můžete si vytvořit téměř jakýkoli úkol, který chcete, ale Luigi také přichází s sadou několika běžných šablon úkolů, které vypoužití.Zahrnuje podporu pro spouštění úloh Python mapreduce v Hadoopu, stejně jako úlohy Hive a Pig.Dodává se také s abstrakcemi systému souborů pro HDFS a místními soubory, které zajišťují, že všechny operace systému souborů jsou atomové.To je důležité, protože to znamená, že váš datový potrubí nebude havarovat ve stavu obsahujícím částečná data.