In letzter Zeit haben wir einen erhöhten Bot-Traffic auf Xanga erlebt, der uns sehr beschäftigt hat. Der Bot-Verkehr kann dazu führen, dass die Server langsamer werden (oder schlimmer noch, dass sie nicht mehr erreichbar sind), also wollten wir ein Update darüber geben, was los ist und was wir getan haben, um das Problem zu lösen.
1. LOTS OF BOTS
Es gibt eine wachsende Zahl von „Web-Crawler“-Bots, die versuchen, unsere Website und Websites im Allgemeinen zu durchsuchen. Laut Wikipedia ist ein „Web-Crawler ein Internet-Bot, der das World Wide Web systematisch durchsucht, typischerweise zum Zweck der Web-Indexierung“.
Früher konnten es sich nur große Suchmaschinen wie Google oder Bing leisten, viele Server und Speicherplatz zu kaufen und Websites zu crawlen. Aber die Preise für Server und Speicherplatz sind in letzter Zeit stark gesunken, und wir haben eine starke Zunahme von Bots und Webcrawlern festgestellt. Auch die sozialen Medien tragen einen großen Teil dazu bei: Jedes Mal, wenn jemand einen Beitrag anpinnt, schickt Pinterest einen Bot, um die angepinnte Seite zu crawlen. Bei all den Pins, die heutzutage getätigt werden, schickt Pinterest eine Menge Bots in die Welt hinaus!
Als Ergebnis all dessen ist der Bot-Verkehr im Web stark angestiegen, was unsere Server belastet hat. Wenn der Bot-Verkehr besonders stark ist, ändern wir unsere Netzwerkeinstellungen, um zu verhindern, dass die Bots die Server überlasten.
Die Wartung der Server ist jedoch sehr arbeitsintensiv, daher suchen wir nach anderen Möglichkeiten, um den Anstieg des Bot-Verkehrs zu bewältigen.
2. DDOS
Auch wir werden von Zeit zu Zeit mit Denial-of-Service-Angriffen konfrontiert. („In der Informatik ist ein Denial-of-Service (DoS)- oder Distributed-Denial-of-Service (DDoS)-Angriff ein Versuch, einen Rechner oder eine Netzwerkressource für die vorgesehenen Nutzer unerreichbar zu machen.“ – Wikipedia)
Kürzlich waren wir versehentlich das Ziel eines DDoS-Angriffs auf unsere Server. Unser Webhost hatte eine Reihe zufälliger Server durch eine als Shellshock bekannte Sicherheitslücke gefährdet. Unsere Server waren nicht betroffen (wir hatten sie sofort nach Bekanntwerden der Sicherheitslücke gepatcht), aber einige Hacker nutzten die anderen betroffenen Server, um eine andere Gruppe von Servern unseres Webhosts anzugreifen.
Auch wenn wir nicht direkt angegriffen wurden, verursachten die betroffenen Server eine erhebliche Überlastung des Netzwerks unseres Webhosts – und diese Überlastung führte dazu, dass unsere Server das Internet nicht mehr erreichen konnten. So fiel Xanga für etwa 2 Stunden aus.
Bis wir herausgefunden hatten, was los war, hatte der Webhost das Problem auf seiner Seite gelöst. Und mit ein paar Anpassungen auf unserer Seite konnten wir unsere Server wieder mit dem Internet verbinden. Unser Webhoster hat Änderungen vorgenommen, um sicherzustellen, dass so etwas nicht mehr vorkommt, und wir werden weiterhin nach Serverschwachstellen suchen, damit unsere Server sicher sind.