Vi har oplevet en større mængde bot-trafik på Xanga på det seneste, hvilket har holdt os meget optaget. Bot-trafik kan medføre, at serverne bliver langsommere (eller endnu værre, at de er utilgængelige), så vi ville gerne dele en opdatering om, hvad der foregår, og hvad vi har gjort for at løse problemet.
1. MASSER AF BOTS
Der er et stigende antal “webcrawler”-bots, der forsøger at gennemsøge vores websted og websteder generelt. Som Wikipedia udtrykker det: “En webcrawler er en internetrobot, der systematisk gennemsøger World Wide Web, typisk med henblik på indeksering af internettet.”
Det plejede at være sådan, at kun store søgemaskiner som Google eller Bing havde råd til at købe masser af servere og lagerplads og crawle websteder. Men priserne på servere/lagerplads er faldet meget på det seneste, og vi har bemærket en stor stigning i bots og webcrawlere. Sociale medier er også en stor bidragyder: Hver gang nogen pinner et indlæg, sender Pinterest en bot til at crawle den side, der bliver pinned. Med al den pinning, der foregår i disse dage, sender Pinterest en masse robotter ud i verden!
Som følge af alt dette er bot-trafikken steget meget på nettet, og det har lagt et stort pres på vores servere. Vi burde klare os fint indtil videre – og når bot-trafikken bliver særlig slem, justerer vi vores netværksindstillinger for at forhindre, at robotterne overbelaster serverne.
Servervedligeholdelse viser sig dog at være meget arbejde, så vi søger at finde andre måder at håndtere den kraftige stigning i bot-trafikken.
2. DDOS
Vi oplever også Denial-of-Service-angreb fra tid til anden. (“Inden for databehandling er et denial-of-service-angreb (DoS) eller distribueret denial-of-service-angreb (DDoS) et forsøg på at gøre en maskine eller en netværksressource utilgængelig for de tilsigtede brugere.” – Wikipedia)
For nylig blev vi utilsigtet udsat for et DDoS-angreb på vores servere. Vores webhost havde en masse tilfældige servere kompromitteret af en sikkerhedsbrist kendt som Shellshock. Vores servere blev ikke kompromitteret (vi havde patchet dem umiddelbart efter, at sikkerhedshullet kom frem i lyset), men nogle hackere brugte de andre kompromitterede servere til at angribe et andet sæt servere på vores webhost.
Selv om vi ikke blev angrebet direkte, forårsagede de kompromitterede servere en betydelig overbelastning på vores webhosts netværk – og denne overbelastning gjorde, at vores servere ikke kunne nå ud til internettet. Så Xanga gik ned i ca. 2 timer.
Men da vi havde fundet ud af, hvad der foregik, havde webhostet løst problemet i deres ende. Og med nogle serverjusteringer fra vores side var vi i stand til at få vores servere forbundet med internettet igen. Vores webhost har foretaget ændringer for at sikre, at dette ikke vil ske igen, og vi vil fortsat overvåge for sårbarheder på serverne, så vi kan holde vores servere sikre.