Nous avons connu des niveaux plus élevés de trafic de robots sur Xanga ces derniers temps, ce qui nous a beaucoup occupés. Le trafic de bot peut causer un ralentissement des serveurs (ou pire, être inaccessible), donc nous voulions partager une mise à jour sur ce qui se passe et ce que nous avons fait pour y remédier.
1. BEAUCOUP DE BOTS
Il y a un nombre croissant de bots « web crawler » qui essaient d’explorer notre site, et les sites en général. Comme le dit Wikipedia, « un Web crawler est un bot Internet qui parcourt systématiquement le World Wide Web, typiquement dans le but d’indexer le Web. »
Il fut un temps où seuls les grands moteurs de recherche comme Google ou Bing pouvaient se permettre d’acheter beaucoup de serveurs et de stockage, et de crawler les sites Web. Mais les tarifs des serveurs/stockages ont beaucoup baissé ces derniers temps, et nous avons remarqué une forte augmentation des bots et des crawlers web. Les médias sociaux sont également un facteur important : chaque fois que quelqu’un épingle un article, Pinterest envoie un robot pour explorer la page épinglée. Avec tous les épinglages en cours ces jours-ci, Pinterest envoie beaucoup de robots dans le monde!
En conséquence de tout cela, le trafic des robots est en forte hausse sur le web et cela a mis à rude épreuve nos serveurs. Nous devrions nous en sortir pour l’instant – et lorsque le trafic de bots devient particulièrement mauvais, nous modifions nos paramètres de réseau pour empêcher les bots de surcharger les serveurs.
La maintenance des serveurs s’avère être beaucoup de travail cependant, donc nous cherchons à trouver d’autres moyens de faire face à la poussée du trafic de bots.
2. DDOS
Nous subissons également des attaques par déni de service de temps en temps. (« En informatique, une attaque par déni de service (DoS) ou déni de service distribué (DDoS) est une tentative de rendre une machine ou une ressource réseau indisponible pour ses utilisateurs prévus. » – Wikipedia)
Récemment, nous avons été la cible involontaire d’une attaque DDoS sur nos serveurs. Notre hébergeur avait un tas de serveurs aléatoires compromis par une vulnérabilité de sécurité connue sous le nom de Shellshock. Nos serveurs n’ont pas été compromis (nous les avions corrigés immédiatement après que la vulnérabilité de sécurité a été révélée), mais certains pirates ont utilisé les autres serveurs compromis pour attaquer un autre ensemble de serveurs sur notre hébergeur.
Même si nous n’avons pas été directement attaqués, les serveurs compromis ont causé une congestion importante sur le réseau de notre hébergeur – et cette congestion a empêché nos serveurs d’atteindre Internet. Xanga est donc tombé en panne pendant environ 2 heures.
Le temps que nous comprenions ce qui se passait, l’hébergeur avait résolu le problème de son côté. Et avec quelques ajustements de serveur de notre côté, nous avons été en mesure d’obtenir à nouveau nos serveurs connectés à l’Internet. Notre hébergeur a effectué des changements pour s’assurer que cela ne se reproduira pas, et nous continuerons à surveiller les vulnérabilités du serveur afin de garder nos serveurs en sécurité.