Hadoop

おそらく、 Jenkins 的なプロセス管理 + Map Reduce の機構が実態であるような気がする。

https://software.fujitsu.com/jp/manual/manualfiles/m150005/j2ul1563/04z200/j1563-03-17-05-01.html