Indhold
- Definition - Hvad betyder MapReduce?
- En introduktion til Microsoft Azure og Microsoft Cloud | Gennem denne vejledning lærer du, hvad cloud computing handler om, og hvordan Microsoft Azure kan hjælpe dig med at migrere og drive din virksomhed fra skyen.
- Techopedia forklarer MapReduce
Definition - Hvad betyder MapReduce?
MapReduce er en programmeringsmodel introduceret af Google til behandling og generering af store datasæt på klynger af computere.
Google formulerede først rammerne til at tjene Googles indeksering af websider, og den nye ramme erstattede tidligere indekseringsalgoritmer. Begynderudviklere finder MapReduce-rammerne fordelagtige, fordi bibliotekrutiner kan bruges til at oprette parallelle programmer uden nogen bekymringer om infra-cluster-kommunikation, opgaveovervågning eller fejlhåndteringsprocesser.
MapReduce kører på en stor klynge af varemaskiner og er meget skalerbar. Det har flere former for implementering leveret af flere programmeringssprog, som Java, C # og C ++.
En introduktion til Microsoft Azure og Microsoft Cloud | Gennem denne vejledning lærer du, hvad cloud computing handler om, og hvordan Microsoft Azure kan hjælpe dig med at migrere og drive din virksomhed fra skyen.
Techopedia forklarer MapReduce
MapReduce-rammen har to dele:
- En funktion kaldet "Kort", der giver forskellige punkter i den distribuerede klynge mulighed for at distribuere deres arbejde
- En funktion kaldet "Reducer", som er designet til at reducere den endelige form for klyngens resultater til et output
Den største fordel ved MapReduce-rammerne er dens fejlagtolerance, hvor der forventes periodiske rapporter fra hver node i klyngen, når arbejdet er afsluttet.
En opgave overføres fra en knude til en anden. Hvis hovednoden bemærker, at en knude har været tavs i et længere interval end forventet, udfører hovednoden omdisponeringsprocessen til den frosne / forsinkede opgave.
MapReduce-rammerne er inspireret af funktionerne "Map" og "Reduce", der bruges i funktionel programmering. Beregningsmæssig behandling foregår på data, der er gemt i et filsystem eller i en database, der tager et sæt inputnøgleværdier og producerer et sæt outputnøgleværdier.
Hver dag udføres adskillige MapReduce-programmer og MapReduce-job i Googles-klynger. Programmer paralleliseres og udføres automatisk på en stor klynge af varemaskiner. Kørselssystemet beskæftiger sig med partitionering af inputdata, planlægning af programmets udførelse på tværs af et sæt maskiner, maskinfejlhåndtering og styring af krævet kommunikation mellem maskiner. Programmerere uden nogen erfaring med parallelle og distribuerede systemer kan nemt bruge ressourcerne i et stort distribueret system.
MapReduce bruges til distribueret grep, distribueret sortering, weblink-graf reversering, statistik over webadgangslog, dokumentklynger, maskinindlæring og statistisk maskinoversættelse.