We hebben de laatste tijd te maken met veel botverkeer op Xanga, wat ons erg bezig heeft gehouden. Botverkeer kan ervoor zorgen dat de servers langzamer worden (of erger nog, onbereikbaar zijn), dus we wilden een update geven over wat er aan de hand is en wat we hebben gedaan om het aan te pakken.
1.
Er zijn een groeiend aantal “web crawler” bots die proberen om onze site, en sites in het algemeen te crawlen. Zoals Wikipedia het zegt, “een Web crawler is een Internet bot die systematisch het World Wide Web doorzoekt, meestal met het doel om websites te indexeren.”
Het was vroeger zo dat alleen grote zoekmachines zoals Google of Bing het zich konden veroorloven om veel servers en opslag te kopen, en websites te crawlen. Maar de tarieven voor servers/opslag zijn de laatste tijd sterk gedaald, en we zien een grote toename van bots en webcrawlers. Sociale media dragen ook in grote mate bij: elke keer dat iemand een post pint, stuurt Pinterest een bot om de pagina die gepind wordt te crawlen. Met al dat pinnen dezer dagen, stuurt Pinterest een hoop bots de wereld in!
Als gevolg van dit alles, is het botverkeer op het web sterk toegenomen en dat heeft onze servers onder druk gezet. We moeten in orde zijn voor nu – en als bot verkeer wordt bijzonder slecht, we tweaken ons netwerk instellingen om te voorkomen dat de bots van overbelasting van de servers.
Server onderhoud blijkt te zijn veel werk wel, dus we zijn op zoek naar andere manieren om de golf in bot verkeer aan te pakken.
2. DDOS
We ervaren Denial-of-Service-aanvallen van tijd tot tijd ook. (“In de informatica is een denial-of-service (DoS)- of gedistribueerde denial-of-service (DDoS)-aanval een poging om een machine of netwerkbron onbeschikbaar te maken voor de beoogde gebruikers.” – Wikipedia)
Onlangs waren we het onbedoelde doelwit van een DDoS-aanval op onze servers. Onze webhost had een aantal willekeurige servers gecompromitteerd door een beveiligingslek dat bekend staat als Shellshock. Onze servers werden niet gecompromitteerd (we hadden ze direct gepatcht nadat het beveiligingslek aan het licht kwam), maar sommige hackers gebruikten de andere gecompromitteerde servers om een andere set servers op onze webhost aan te vallen.
Ondanks dat we niet direct werden aangevallen, veroorzaakten de gecompromitteerde servers aanzienlijke congestie op het netwerk van onze webhost – en die congestie zorgde ervoor dat onze servers het Internet niet konden bereiken. Dus Xanga lag ongeveer 2 uur plat.
Tegen de tijd dat we doorhadden wat er aan de hand was, had de webhost het probleem aan hun kant opgelost. En met wat aanpassingen aan de server van onze kant, waren we in staat om onze servers weer op het internet te krijgen. Onze webhost heeft wijzigingen aangebracht om ervoor te zorgen dat dit niet meer zal gebeuren, en we zullen blijven controleren op kwetsbaarheden van de server, zodat we onze servers veilig kunnen houden.