最近、Xanga ではボットトラフィックが増加し、私たちはとても忙しくしています。 ボットトラフィックは、サーバーが遅くなる（あるいはもっと悪いことに、アクセスできなくなる）原因になることがあるので、何が起こっていて、それに対処するために私たちが何をしてきたかについての最新情報を共有したいと思いました。 ボットの数
私たちのサイトや一般的なサイトをクロールしようとする「Web クローラー」ボットの数は増え続けています。 Wikipedia によると、「Web クローラーとは、通常 Web インデックス作成の目的で、World Wide Web を体系的にブラウズするインターネット上のロボット」
以前は、Google や Bing などの大規模な検索エンジンだけが、多くのサーバーやストレージを購入し、Web サイトをクロールする余裕があったのですが、現在はそのようなことはありません。 しかし、最近、サーバー/ストレージの料金が大幅に下がり、ボットやWebクローラーが大幅に増加したことに気づきました。 ソーシャルメディアも大きな要因です。誰かが投稿をピンするたびに、Pinterestはピンされたページをクロールするためにボットを送ります。 最近行われているすべてのピン留めで、Pinterest は大量のボットを世界に送り出しています！
これらすべての結果、ボットのトラフィックがウェブ上で大幅に増加し、当社のサーバーに負荷がかかっています。 ボット トラフィックが特にひどくなると、ボットがサーバーに過負荷をかけるのを防ぐために、ネットワーク設定を微調整します。 (“コンピューティングにおいて、サービス妨害 (DoS) または分散型サービス妨害 (DDoS) 攻撃は、マシンまたはネットワーク リソースを意図したユーザーが使用できないようにする試みである。”) – Wikipedia）
最近、私たちのサーバーが不注意にも DDoS 攻撃のターゲットになってしまいました。 私たちの Web ホストは、Shellshock として知られるセキュリティ脆弱性によって、無作為に選んだ多数のサーバーを危険にさらしていました。 私たちのサーバーは侵害されませんでしたが (セキュリティ脆弱性が明るみに出た後、すぐにパッチを適用しました)、一部のハッカーは、侵害された他のサーバーを使用して、私たちの Web ホストの別のサーバー セットを攻撃しました。 そのため、Xanga は約 2 時間ダウンしました。
私たちが何が起こっているかを理解するまでに、ウェブホストはその問題を解決していました。 そして、私たちのほうでサーバーをいくつか調整し、再びサーバーをインターネットに接続することができるようになりました。 私たちのウェブホストは、このようなことが二度と起こらないように変更を加え、私たちのサーバーを安全に保つために、サーバーの脆弱性を監視し続けるつもりです。