Techopedia verklaart zoekmachine
Een zoekmachine voert een aantal stappen uit om zijn werk te doen. Eerst speurt een spider/webcrawler het web af naar inhoud die wordt toegevoegd aan de index van de zoekmachine. Deze kleine bots kunnen alle secties en subpagina’s van een website scannen, inclusief inhoud zoals video en afbeeldingen.
Hyperlinks worden geparseerd om interne pagina’s te vinden of nieuwe bronnen om te crawlen wanneer ze naar externe websites verwijzen. Om bots te helpen hun crawlwerk op een efficiëntere manier te doen, dienen grotere websites meestal een speciale XML-sitemap in bij de zoekmachine die fungeert als een routekaart van de site zelf.
Als alle gegevens door de bots zijn opgehaald, voegt de crawler ze toe aan een enorme online bibliotheek van alle ontdekte URL’s. Dit constante en recursieve proces staat bekend als indexeren, en is noodzakelijk voor een website om te worden weergegeven in de SERP. Wanneer een gebruiker vervolgens een zoekopdracht geeft aan een zoekmachine, worden relevante resultaten geretourneerd op basis van het algoritme van de zoekmachine.
Hoe hoger een website in de SERP staat, hoe relevanter deze moet zijn voor de zoekopdracht van de zoeker. Aangezien de meeste gebruikers alleen de bovenste resultaten doorbladeren, is het bijzonder belangrijk voor een website om hoog genoeg te rangschikken voor bepaalde zoekopdrachten om zijn succes in termen van verkeer te verzekeren.
Een hele wetenschap ontwikkelde zich in de laatste decennia om ervoor te zorgen dat een website, of ten minste enkele van zijn pagina’s, de rangschikking “schalen” om de eerste posities te bereiken. Deze discipline staat bekend als Search Engine Optimization (SEO).
Early zoekmachines resultaten waren grotendeels gebaseerd op pagina-inhoud, maar als websites geleerd om het systeem te spelen door middel van geavanceerde SEO praktijken, algoritmen zijn veel complexer geworden en zoekresultaten terug kan worden gebaseerd op letterlijk honderden variabelen.
Elke zoekmachine maakt nu gebruik van zijn eigen algoritme dat vele complexe factoren zoals relevantie, toegankelijkheid, bruikbaarheid, pagina snelheid, kwaliteit van de inhoud, en de gebruiker intentie weegt om de pagina’s te sorteren in een bepaalde volgorde.
Degenen die werkzaam zijn als SEO’s besteden vaak veel energie aan het proberen te ontrafelen van het algoritme, omdat de bedrijven niet transparant zijn met hoe ze werken, als gevolg van de propriëtaire aard van hun bedrijf en hun wens om manipulatie van zoekmachineresultaten te voorkomen.
Er waren vroeger een aantal zoekmachines met een aanzienlijk marktaandeel. Vanaf 2020 controleert Google de overgrote meerderheid van de westerse markt; Microsoft Bing is met een kleine aanwezigheid op de tweede plaats. Hoewel Yahoo veel zoekopdrachten genereert, is hun back-end zoektechnologie uitbesteed aan Microsoft.
In andere regio’s van de wereld hebben andere zoekmachines de meerderheid van de markt in handen. In China bijvoorbeeld is de meest gebruikte zoekmachine Baidu, die oorspronkelijk in 2000 werd gelanceerd, terwijl in Rusland meer dan 50% van de gebruikers Yandex gebruikt.