サイトのページをクロールをする前に、ロボットのアクセスがブロックされているページをクロールしないよう、robots.txt ファイルを確認しようとしましたが、robots.txt ファイルの取得時に、サーバーから 5xx（アクセスできません）というエラーが返されました。このファイルで指定されているページをクロールしないよう、クロールを延期しました。
ホスティング プロバイダが Googlebot をブロックしているか、ファイアウォールの設定に問題がある可能性があります。
注: ブラウザで確認できる robots.txt ファイルの内容と Google が認識している内容が異なる場合は、ホスティング会社と協力して、ユーザー エージェントごとに異なる robots.txt コンテンツを表示する可能性があるサーバールールを削除してください。
