サーチコンソールに「みつかりませんでした（404）」が大量にあったので、
URLを見てみると次のような変なURLばかりでした。
- ～/utils/common
- ～/zlib/zstream
- ～/lib/zlib/constants
- ～/lib/deflate
- ～/crc32
- ～/zlib/gzheader
内部リンクやサイトマップにそのようなURLは無い
もちろんそのような内部リンクは存在しないし、サイトマップにも存在しない。
それにも関わらず、Googleはわざわざクロールして404を報告している状態でした。
Googleの検索エンジンのアルゴリズムは非公開なのでなぜそのような挙動を示すのか分かりません。
もしかしたら、スパムや悪意のあるボットが存在しないURLにアクセスを試みた場合、それがリンク情報として検知され、クローラーによって該当のURLにアクセスが行われる可能性があるのかもしれません。
その不審なURLをググってみると多数ヒット
「inurl:/zlib/zstream」でググってみると複数のサイトがヒットしました。
ほとんどがサイト内検索結果ページです。
色々検索してみると、検索ワードにスパム文言が含まれているサイトであったり、
サイト内検索ワードがtitleに入る作りのサイトでは、タイトルがスパムに汚染されていました。
以上のことから、
- 検索結果ページはnoindexを設定する
- titleに検索ワードが反映されないようにする
ことが必須です。
原因はサポート終了した埋め込み版Google翻訳？
サーチコンソールの404に話を戻しますが、
「inurl:/zlib/zstream」でヒットしたURLを見てみるとほとんどのサイトで、
2019年にサポートを終了している埋め込み版Google翻訳が導入されていました。
サーチコンソールで変なURLがクロールされる現象は、”埋め込み版”Google翻訳が原因の可能性が高いと思われます。
”埋め込み版”Google翻訳を使用しているサイトは使用を中止し、別のサービスへの乗り換えを検討しましょう。https://cloud.google.com/translate/