Definição – o que significa encadeamento de tarefas?
Cadeia de tarefas é um termo no MapReduce que se refere ao lançamento de várias etapas na mesma tarefa MapReduce. Com o encadeamento de trabalhos, o primeiro trabalho envia a saída para um trabalho, que envia a saída para o próximo trabalho na cadeia e assim por diante até que o trabalho seja concluído. É uma forma de canalizar jobs MapReduce para torná-los mais gerenciáveis.
Definirtec explica o encadeamento de empregos
O encadeamento de trabalhos no MapReduce refere-se à execução de várias tarefas em um único trabalho MapReduce.
Por exemplo, uma cadeia de empregos pode consistir em:
Mapa1> Reduzir1> Mapa2> Reduzir2
A vantagem do encadeamento de tarefas é que ele elimina a necessidade de dados intermediários entre todas as etapas de um pipeline. Nesse sentido, o encadeamento de tarefas é semelhante ao redirecionamento de entrada / saída no shell do Unix. A saída de um elo da cadeia flui para a entrada no próximo trabalho da cadeia. O MapReduce permite que os desenvolvedores especifiquem dependências ou quais tarefas devem ser concluídas antes de processar as próximas tarefas na cadeia por meio do uso da chamada do método addDependingJob ().
Isso torna mais fácil para um desenvolvedor escrever um programa MapReduce que pode processar grandes quantidades de dados.