やたがらすナビに何が起こったか(その2)のつづき
時系列的にはもう書くことはないのだが、今回起こったことの感想を述べておく。
僕は長年Webサイトを運営しているが、アクセス集中によるサーバーダウンなんてこれまで一度も考えたことがない。何しろ、やたがらすナビは日本語で書かれた日本古典のサイトである。アクセスの大部分は日本からだし、それも地味な古典文学のサイトにアクセスが集中するなんて常識で考えてありえない。
今回はそれが起こった。相手は人間ではなくAIのクローラーらしい。人間でないからこれまでの常識は通用しない。クローラーとはWebsiteを巡回しデーターを収集するプログラムのことである。有名どころでいえばGoogleBotで、こいつはGoogle検索のためにインターネットを巡回しデーターを収集していく。
これまではクローラーといえば、GoogleだのBingだのBiduだのの検索エンジンのためのものだったが、今はそれに加えてAIの学習用データーを収集するクローラーがいる。こいつが今回のアクセス集中の容疑者である。
AIというとチャッピーとかジェミニとか大手ばかりが有名だが、実際には世界中でものすごい数のAIが開発され、想像を絶する数のクローラーが想像を絶するスピードでインターネットを巡回している。勉強熱心なAIは地味な日本古典にまで目をつけたらしい。
早いうちに手を打たなかったのは、やたナビはテキストばかりで容量も少ないからである。すべてのページをダウンロードしても数秒で終わる。いくらアクセスが多いといっても、サーバーダウンさせるほどではないだろうと思っていたのが間違いだった。AIクローラーは容赦なくデーターを収集しサーバーに負荷をかけた。
それにしても効率が悪すぎる。それぞれ別のクローラーが同じデーターにアクセスするからこうなるのだ。クローラー同士で話し合って効率的に手分けして収集するとかできないものだろうか。AIは大変な電力を消費するそうだが、これではAIと無関係のサーバーの電力まで消費させてしまうし、サーバーがダウンしてクローラー自身データー収集ができなくなったら元も子もない。
今回やたがらすナビがAIクローラーのターゲットになった理由は、良質のデータを持っているからだそうだ。これは喜ぶべきことかもしれないが、一方で人間からのアクセスはそれほど増えていない。読まれないよりは読まれた方がいいが、機械にばかり読まれているのは味気ない。AIが勉強して人間が勉強しない時代とはこんなものなのかもしれない。
時系列的にはもう書くことはないのだが、今回起こったことの感想を述べておく。
僕は長年Webサイトを運営しているが、アクセス集中によるサーバーダウンなんてこれまで一度も考えたことがない。何しろ、やたがらすナビは日本語で書かれた日本古典のサイトである。アクセスの大部分は日本からだし、それも地味な古典文学のサイトにアクセスが集中するなんて常識で考えてありえない。
今回はそれが起こった。相手は人間ではなくAIのクローラーらしい。人間でないからこれまでの常識は通用しない。クローラーとはWebsiteを巡回しデーターを収集するプログラムのことである。有名どころでいえばGoogleBotで、こいつはGoogle検索のためにインターネットを巡回しデーターを収集していく。
これまではクローラーといえば、GoogleだのBingだのBiduだのの検索エンジンのためのものだったが、今はそれに加えてAIの学習用データーを収集するクローラーがいる。こいつが今回のアクセス集中の容疑者である。
AIというとチャッピーとかジェミニとか大手ばかりが有名だが、実際には世界中でものすごい数のAIが開発され、想像を絶する数のクローラーが想像を絶するスピードでインターネットを巡回している。勉強熱心なAIは地味な日本古典にまで目をつけたらしい。
早いうちに手を打たなかったのは、やたナビはテキストばかりで容量も少ないからである。すべてのページをダウンロードしても数秒で終わる。いくらアクセスが多いといっても、サーバーダウンさせるほどではないだろうと思っていたのが間違いだった。AIクローラーは容赦なくデーターを収集しサーバーに負荷をかけた。
それにしても効率が悪すぎる。それぞれ別のクローラーが同じデーターにアクセスするからこうなるのだ。クローラー同士で話し合って効率的に手分けして収集するとかできないものだろうか。AIは大変な電力を消費するそうだが、これではAIと無関係のサーバーの電力まで消費させてしまうし、サーバーがダウンしてクローラー自身データー収集ができなくなったら元も子もない。
今回やたがらすナビがAIクローラーのターゲットになった理由は、良質のデータを持っているからだそうだ。これは喜ぶべきことかもしれないが、一方で人間からのアクセスはそれほど増えていない。読まれないよりは読まれた方がいいが、機械にばかり読まれているのは味気ない。AIが勉強して人間が勉強しない時代とはこんなものなのかもしれない。











