Temos experimentado alguns níveis mais elevados de tráfego de bot no Xanga ultimamente, o que nos tem mantido muito ocupados. O tráfego de bot pode fazer com que os servidores fiquem mais lentos (ou pior, inacessíveis), por isso quisemos compartilhar uma atualização sobre o que está acontecendo e o que temos feito para endereçá-lo.
1. LOTES DE BOTS
Há um número crescente de bots “web crawler” que estão tentando rastejar o nosso site, e sites em geral. Como diz a Wikipedia, “um Web crawler é um bot da Internet que navega sistematicamente na World Wide Web, tipicamente com o propósito de indexação da Web”.”
É que apenas grandes motores de busca como o Google ou o Bing se podiam dar ao luxo de comprar muitos servidores e armazenamento, e rastejar websites. Mas as taxas para servidores/armazenamento baixaram muito ultimamente, e temos notado um grande aumento nos bots e nos crawlers da web. A mídia social também é um grande contribuinte: toda vez que alguém pega um post, o Pinterest envia um bot para rastejar a página que está sendo pinçada. Com todos os pinos acontecendo nesses dias, o Pinterest está enviando muitos bots para o mundo!
Como resultado de tudo isso, o tráfego de bot está muito acima na web e isso tem colocado uma tensão em nossos servidores. Nós devemos estar bem por enquanto – e quando o tráfego de bot fica especialmente ruim, nós ajustamos nossas configurações de rede para evitar que os bots sobrecarreguem os servidores.
A manutenção do servidor está provando ser muito trabalho, então estamos procurando outras formas de lidar com o aumento do tráfego de bot.
2. DDOS
Nós experimentamos ataques de Negação de Serviço de tempos em tempos também. (“Em computação, um ataque de negação de serviço (DoS) ou negação de serviço distribuída (DDoS) é uma tentativa de tornar uma máquina ou recurso de rede indisponível aos seus usuários pretendidos”. – Wikipedia)
Recentemente nós fomos o alvo inadvertido de um ataque DDoS em nossos servidores. Nosso webhost tinha um monte de servidores aleatórios comprometidos por uma vulnerabilidade de segurança conhecida como Shellshock. Nossos servidores não foram comprometidos (nós os corrigimos imediatamente após o surgimento da vulnerabilidade de segurança), mas alguns hackers usaram os outros servidores comprometidos para atacar outro conjunto de servidores em nosso host web.
Even, embora não tenhamos sido atacados diretamente, os servidores comprometidos causaram congestionamento significativo na rede de nosso webhost – e esse congestionamento fez com que nossos servidores não conseguissem chegar à Internet. Então Xanga caiu por cerca de 2 horas.
Quando tínhamos descoberto o que estava acontecendo, o webhost tinha resolvido o problema na ponta deles. E com alguns ajustes no servidor do nosso lado, pudemos mais uma vez sair de servidores conectados à Internet. Nosso webhost fez alterações para garantir que isso não acontecerá novamente, e nós continuaremos a monitorar as vulnerabilidades dos servidores para que possamos manter nossos servidores seguros.