Techopedia explica o motor de busca
Um motor de busca executa uma série de passos para fazer o seu trabalho. Primeiro uma aranha/web crawler arrasta a web para o conteúdo que é adicionado ao índice do motor de busca. Estes pequenos bots podem procurar todas as seções e subpáginas de um site, incluindo conteúdo como vídeo e imagens.
Hyperlinks são analisados para encontrar páginas internas ou novas fontes para rastrear quando apontam para sites externos. Para ajudar os bots a fazer seu trabalho de rastreamento de uma forma mais eficiente, sites maiores geralmente submetem um sitemap especial em XML ao mecanismo de busca que atua como um roadmap do próprio site.
Após todos os dados terem sido obtidos pelos bots, o rastreador os adiciona a uma enorme biblioteca online de todas as URLs descobertas. Este processo constante e recursivo é conhecido como indexação, e é necessário para que um site seja exibido no SERP. Então, quando um usuário consulta um mecanismo de busca, resultados relevantes são retornados com base no algoritmo do mecanismo de busca.
Quanto mais alto um site é classificado na SERP, mais relevante ele deve ser para a consulta do buscador. Uma vez que a maioria dos utilizadores apenas navega nos resultados mais elevados, é particularmente importante que um website seja classificado suficientemente alto para certas consultas para garantir o seu sucesso em termos de tráfego.
Toda uma ciência desenvolvida nas últimas décadas para garantir que um website, ou pelo menos algumas das suas páginas, “escalem” a classificação para alcançar as primeiras posições. Esta disciplina é conhecida como Search Engine Optimization (SEO).
Os resultados dos motores de busca foram baseados em grande parte no conteúdo da página, mas como os sites aprenderam a jogar o sistema através de práticas avançadas de SEO, os algoritmos se tornaram muito mais complexos e os resultados de pesquisa retornados podem ser baseados literalmente em centenas de variáveis.
Cada motor de busca agora usa seu algoritmo proprietário que pesa muitos fatores complexos, tais como relevância, acessibilidade, usabilidade, velocidade da página, qualidade do conteúdo e intenção do usuário, a fim de classificar as páginas em uma determinada ordem.
Os empregados como SEOs muitas vezes gastam muita energia tentando desvendar o algoritmo, uma vez que as empresas não são transparentes com a forma como funcionam, devido à natureza proprietária do seu negócio e ao seu desejo de evitar a manipulação dos resultados do motor de busca.
Existia um número de motores de busca com quota de mercado significativa. A partir de 2020, o Google controla a grande maioria do mercado ocidental; o Microsoft Bing tem uma pequena presença em segundo lugar. Enquanto o Yahoo gera muitas consultas, sua tecnologia de busca back-end é terceirizada para a Microsoft.
Em outras regiões do mundo, outros mecanismos de busca detêm a maior parte do mercado. Na China, por exemplo, o mecanismo de busca mais utilizado é o Baidu, que foi originalmente lançado em 2000, enquanto na Rússia mais de 50% dos usuários usam Yandex.