Indhold
- ETL opretter flaskehalse til Analytics
- Effektivisering af ETL med maskinlæring og AI
- Ingen fejl, ingen stress - Din trinvis vejledning til oprettelse af livsændrende software uden at ødelægge dit liv
Kilde: Pop Nukoonrat / Dreamstime.com
Tag væk:
Data er afgørende for virksomheden, men for at de skal være nyttige, må der ikke være nogen fejl i indsamling, behandling og præsentation af disse data. Kunstig intelligens kan overvåge ETL-processer for at sikre, at de er fejlfri.
ETL (ekstrakt, transformering og indlæsning) er en af de vigtigste processer i big data-analyse - og samtidig kan det være en af dets største flaskehalse. (For mere om big data, se 5 nyttige Nyttige Big Data-kurser, du kan tage online.)
Årsagen til, at ETL er så vigtig, er, at de fleste data, som en virksomhed indsamler, ikke er klar i sin rå form til en analyseopløsning til at fordøje. For at en analyseløsning skal skabe indsigt, skal rådata udvindes fra applikationen, hvor den i øjeblikket ligger, omdannes til et format, som et analytikeprogram kan læse, og derefter indlæses i selve analytikaprogrammet.
Denne proces er analog med madlavning. Dine rå ingredienser er dine rå data. De skal udvindes (købes i en butik), transformeres (koges) og derefter indlæses (udplades), før de kan analyseres (smages). Sværhedsgraden og udgiften kan skalere uforudsigeligt - det er let at lave mac n 'ost til dig selv, men meget vanskeligere at oprette en gourmetmenu til 40 personer på en middagsselskab. Naturligvis kan en fejl på ethvert tidspunkt gøre dit måltid ufordøjelig.
ETL opretter flaskehalse til Analytics
ETL er på nogle måder grundstenen i analyseprocessen, men det har også nogle ulemper. For det første er det langsomt og beregningsmæssigt dyrt. Dette betyder, at virksomheder ofte kun prioriterer deres vigtigste data til analyse og blot gemmer resten. Dette bidrager til, at op til 99% af alle forretningsdata ikke bruges til analytiske formål.
Derudover er ETL-processen aldrig sikker. Fejl i ETL-processen kan ødelægge dine data. For eksempel kan en kort netværksfejl forhindre, at data udvindes. Hvis dine kildedata indeholder flere filtyper, kan de muligvis transformeres forkert. Affald, affald, som de siger - fejl under ETL-processen vil næsten helt sikkert udtrykke sig med hensyn til unøjagtige analyser.
En korrupt ETL-proces kan have dårlige konsekvenser. Selv i det bedste tilfælde er du sandsynligvis nødt til at køre ETL igen, hvilket betyder en forsinkelse af timer - og i mellemtiden er dine beslutningstagere utålmodige. I værste fald bemærker du ikke den unøjagtige analyse, før du er begyndt at miste penge og kunder.
Effektivisering af ETL med maskinlæring og AI
Du kan - og sandsynligvis gøre - tildele nogen til at overvåge ETL, men det er ærligt ikke så enkelt. Dårlige data kan være resultatet af procesfejl, der sker så hurtigt, at de ikke kan bemærkes i realtid. Resultaterne af en korrupt ETL-proces ser ofte ikke anderledes ud end korrekt indlæste data. Selv når fejl er indlysende, er det problem, der skabte fejlen, muligvis ikke så let at spore. (Se Jobroll: Data Analyst for at lære mere om analyse af data).
Den gode nyhed er, at maskiner kan fange hvad mennesker ikke kan. Dette er blot et par måder, hvorpå AI og maskinlæring kan fange ETL-fejl, før de bliver til unøjagtige analyser.
Ingen fejl, ingen stress - Din trinvis vejledning til oprettelse af livsændrende software uden at ødelægge dit liv
Du kan ikke forbedre dine programmeringsevner, når ingen er interesseret i softwarekvalitet.
1. Registrer og advarsler over ETL-metrics
Selvom dine data er et konstant bevægende billede, skal ETL-processen stadig producere konsistente værdier med en konstant hastighed. Når disse ting ændres, er det årsag til alarm. Mennesker kan se store gynger i dataene og genkende fejl, men maskinlæring kan genkende subtile fejl hurtigere. Det er muligt for et maskinlæringssystem at tilbyde realtid afvikelse af anomali og advare IT-afdelingen direkte, så de kan sætte processen på pause og afhjælpe problemet uden at skulle kaste timers beregningsindsats.
2. Præcise specifikke flaskehalse
Selv hvis dine resultater er nøjagtige, kommer de måske stadig ud for langsomt til at være til nytte. Gartner siger det 80% af indsigt afledt fra analyse vil aldrig blive udnyttet til at skabe monetær værdi, og det kan skyldes, at en virksomhedsleder ikke kan se en indsigt i tiden til at drage fordel af den. Maskinlæring kan fortælle dig, hvor dit system er langsommere og give dig svar - hvilket giver dig bedre data, hurtigere.
3. Kvantificer virkningen af ændringshåndtering
Systemerne, der producerer dine data og analyser, er ikke statiske - de modtager konstant programrettelser og opgraderinger. Undertiden har disse indflydelse på den måde, de producerer eller fortolker data - hvilket fører til unøjagtige resultater. Maskinindlæring kan markere resultater, der har ændret sig, og spore dem til den specifikke patched machine eller applikation.
4. Reducer driftsomkostningerne
Standsede analysefunktioner er lige så tabte penge. Den tid du bruger på ikke bare at finde ud af, hvordan du løser problemet, men også hvem der er ansvarlig til at løse problemet er tid, du kan bruge til at bygge værdi. Maskinlæring hjælper med at komme til kernen i sagen ved kun at advare de hold, der muligvis er ansvarlige for at reagere på specifikke slags hændelser, og lade resten af IT-afdelingen frit fortsætte med at udføre centrale jobfunktioner. Derudover vil maskinlæring hjælpe med at eliminere falske positiver, hvilket reducerer det samlede antal advarsler, samtidig med at den information, de kan give, er mere detaljeret. Alert træthed er meget reel, så denne ændring vil have en målbar indvirkning på livskvaliteten.
Når det kommer til at vinde i erhvervslivet, er analytics afgørende. En milepælundersøgelse fra Bain Capital viser, at virksomheder, der bruger analytics, er mere end dobbelt så sandsynligt, at de overpresterer økonomisk. ETL giver grundlaget for succes på denne arena, men forsinkelser og fejl kan også forhindre succes med et analyseprogram. Maskinlæring bliver derfor et uvurderligt værktøj til succes med ethvert analyseprogram, hvilket hjælper med at garantere rene data og nøjagtige resultater.