Ostatnio doświadczyliśmy zwiększonego ruchu botów na Xandze, który sprawił, że jesteśmy bardzo zajęci. Ruch botów może spowodować, że serwery staną się wolniejsze (lub co gorsza, niedostępne), więc chcieliśmy podzielić się aktualizacją tego, co się dzieje i co robimy, aby temu zaradzić.
1. DUŻO BOTÓW
Istnieje coraz większa liczba botów „indeksujących”, które próbują indeksować naszą stronę i strony w ogóle. Jak to ujmuje Wikipedia, „Web crawler jest botem internetowym, który systematycznie przegląda World Wide Web, zazwyczaj w celu indeksowania stron internetowych.”
Było tak, że tylko duże wyszukiwarki, takie jak Google czy Bing, mogły sobie pozwolić na zakup dużej ilości serwerów i pamięci masowej oraz na przeszukiwanie stron internetowych. Ale stawki za serwery i pamięć masową ostatnio bardzo spadły, a my zauważyliśmy duży wzrost liczby botów i robotów indeksujących. Media społecznościowe również w dużym stopniu przyczyniają się do tego zjawiska: za każdym razem, gdy ktoś przypina post, Pinterest wysyła bota, który przeszukuje przypinaną stronę. W związku z tym Pinterest wysyła mnóstwo botów w świat!
W wyniku tego wszystkiego ruch botów w sieci znacznie wzrósł, co spowodowało obciążenie naszych serwerów. Na razie powinno być w porządku – a kiedy ruch botów staje się szczególnie zły, dostosowujemy nasze ustawienia sieciowe, aby zapobiec przeciążeniu serwerów przez boty.
Obsługa serwerów okazuje się być jednak dużo pracy, więc szukamy innych sposobów na zajęcie się gwałtownym wzrostem ruchu botów.
2. DDOS
Od czasu do czasu doświadczamy również ataków typu Denial-of-Service. („W informatyce, atak typu denial-of-service (DoS) lub distributed denial-of-service (DDoS) to próba uczynienia maszyny lub zasobu sieciowego niedostępnym dla jego zamierzonych użytkowników.” – Wikipedia)
Niedawno byliśmy nieumyślnym celem ataku DDoS na nasze serwery. Nasz webhost miał kilka losowych serwerów skompromitowanych przez lukę w zabezpieczeniach znaną jako Shellshock. Nasze serwery nie zostały naruszone (załataliśmy je natychmiast po ujawnieniu luki w zabezpieczeniach), ale niektórzy hakerzy wykorzystali inne naruszone serwery do zaatakowania innego zestawu serwerów naszego hosta.
Nawet jeśli nie zostaliśmy bezpośrednio zaatakowani, naruszone serwery spowodowały znaczne przeciążenie sieci naszego webhosta – i to przeciążenie spowodowało, że nasze serwery nie były w stanie dotrzeć do Internetu. Tak więc Xanga przestała działać na około 2 godziny.
Do czasu, gdy zorientowaliśmy się, co się dzieje, webhost rozwiązał problem po swojej stronie. I z kilkoma poprawkami serwera na naszej stronie, byliśmy w stanie ponownie uzyskać nasze serwery podłączone do Internetu. Nasz webhost wprowadził zmiany, aby upewnić się, że to się już nie powtórzy, a my będziemy nadal monitorować podatności serwerów, aby nasze serwery były bezpieczne.