Indhold
- Definition - Hvad betyder webcrawler?
- En introduktion til Microsoft Azure og Microsoft Cloud | Gennem denne vejledning lærer du, hvad cloud computing handler om, og hvordan Microsoft Azure kan hjælpe dig med at migrere og drive din virksomhed fra skyen.
- Techopedia forklarer webcrawler
Definition - Hvad betyder webcrawler?
En webcrawler er en internetbot, der hjælper med webindeksering. De gennemsøger en side ad gangen gennem et websted, indtil alle sider er indekseret. Webcrawlere hjælper med at indsamle oplysninger om et websted og de relaterede links og hjælper også med validering af HTML-kode og hyperlinks.
En webcrawler er også kendt som en webspider, automatisk indekser eller blot crawler.
En introduktion til Microsoft Azure og Microsoft Cloud | Gennem denne vejledning lærer du, hvad cloud computing handler om, og hvordan Microsoft Azure kan hjælpe dig med at migrere og drive din virksomhed fra skyen.
Techopedia forklarer webcrawler
Webcrawlere indsamler oplysninger såsom webstedets webadresse, metataginformation, websidens indhold, linkene på websiden og de destinationer, der fører fra disse links, titlen på websiden og enhver anden relevant information. De holder styr på de URL'er, der allerede er blevet downloadet for at undgå at downloade den samme side igen. En kombination af politikker som f.eks. Genbesøgspolitik, udvælgelsespolitik, paralleliseringspolitik og høflighedspolitik bestemmer webcrawlerens opførsel. Der er mange udfordringer for webcrawlere, nemlig den store og kontinuerligt udviklende World Wide Web, indholdsudvælgelsesposter, sociale forpligtelser og håndtering af modstandere.
Webcrawlere er de vigtigste komponenter i websøgemaskiner og -systemer, der ser på websider. De hjælper med at indeksere webindgange og tillader brugere at forespørge mod indekset og giver også de websider, der matcher forespørgslerne. En anden anvendelse af webcrawlere er i webarkivering, som involverer store sæt websider, som periodisk skal indsamles og arkiveres. Webcrawlere bruges også i data mining, hvor sider analyseres for forskellige egenskaber som statistik, og derefter udføres dataanalyse på dem.