JobTracker

Forfatter: Roger Morrison
Oprettelsesdato: 19 September 2021
Opdateringsdato: 21 Juni 2024
Anonim
019 MapReduce Daemons JobTracker and TaskTracker Explained
Video.: 019 MapReduce Daemons JobTracker and TaskTracker Explained

Indhold

Definition - Hvad betyder JobTracker?

JobTracker er en dæmon, der kører på Apache Hadoops MapReduce-motor. JobTracker er en vigtig tjeneste, der uddanner alle MapReduce-opgaver til de forskellige noder i klyngen, ideelt til de noder, der allerede indeholder dataene, eller som i det mindste er placeret i det samme rack som noder, der indeholder dataene.


En introduktion til Microsoft Azure og Microsoft Cloud | Gennem denne vejledning lærer du, hvad cloud computing handler om, og hvordan Microsoft Azure kan hjælpe dig med at migrere og drive din virksomhed fra skyen.

Techopedia forklarer JobTracker

JobTracker er den service inden for Hadoop, der er ansvarlig for at tage klientanmodninger. Det tildeler dem til TaskTrackers på DataNodes, hvor de krævede data er lokalt til stede. Hvis det ikke er muligt, prøver JobTracker at tildele opgaverne til TaskTrackers inden for det samme rack, hvor dataene er lokalt til stede. Hvis dette af en eller anden grund også mislykkes, tildeler JobTracker opgaven til en TaskTracker, hvor der findes en kopi af dataene. I Hadoop replikeres datablokke på tværs af DataNoder for at sikre redundans, så hvis en knude i klyngen mislykkes, mislykkes jobbet ikke så godt.

JobTracker-proces:

  1. Jobanmodninger fra klientansøgninger modtages af JobTracker,
  2. JobTracker konsulterer NameNode for at bestemme placeringen af ​​de krævede data.
  3. JobTracker lokaliserer TaskTracker-noder, der indeholder dataene eller i det mindste er i nærheden af ​​dataene.
  4. Jobbet indsendes til den valgte TaskTracker.
  5. TaskTracker udfører sine opgaver, mens den overvåges nøje af JobTracker. Hvis jobbet mislykkes, genindgiver JobTracker simpelthen jobbet til en anden TaskTracker. Dog er JobTracker i sig selv et enkelt mislykkelsespunkt, hvilket betyder, at hvis det mislykkes, går hele systemet ned.
  6. JobTracker opdaterer sin status, når jobbet er afsluttet.
  7. Klientansøgeren kan nu afstemme oplysninger fra JobTracker.