クロール予算とは何ですか[そしてそれを最適化する方法]？

クロール予算は、おそらくマーケティング担当者が話しているのを聞いたことがあるSEO用語の1つです。

しかし、それが何を意味し、それが何であるかを知っていますか？

心配しないでください、私たちはあなたをテストするためにここにいるのではありません。 それどころか、私たちはクロール予算、それが重要である理由、そしてそれをチェックして最適化する方法についてすべてを理解するのを助けるためにここにいます。

結局のところ、歩く前に這うことを学ぶ必要がありますよね？

クロール予算とは何ですか？

クロール予算は、特定の期間内にGoogleがウェブサイトでクロールできるページ数です。

ご覧のとおり、ウェブサイトにページを公開するたびに、Googleがそのページをインデックスに登録してランク付けするのを待つ必要があります。そうするためには、ロボットが最初にページをクロールする必要があります。

このプロセスは、Webサイトの大きさ、トピックの人気度、ページへのトラフィック量などの状況に応じて、速くなったり遅くなったりする可能性があります。

しかし、クロールは実際にどのように機能しますか？

確認してみましょう。

クローラーはどのように機能しますか？

10年以上前、Googleはリソースに限りがあり、絶えずオンラインで公開されている終わりのないオンラインコンテンツの限られた割合しか見つけることができないことに気づきました。

その後、2017年に、Googleは公式の「Googlebotにとってのクロール予算の意味」の記事を公開しました。この記事では、クロールの定義やその他の関連する詳細が説明されています。

ここに本質的な事実があります：

• Webサイトに数千を超えるURLがない限り、クロールは効率的です。
• 迅速に応答するページはクロール制限を増やします
• Google検索コンソールを介してウェブサイトのクロール速度を下げることができます
• 人気のあるURLはより頻繁にクロールされる傾向があります
• 価値の低いURL（重複するコンテンツ、ソフトエラーページなど）が豊富にあると、インデックス作成とクロールに悪影響を与える可能性があります。
• クロールは直接的なランキング要素ではありません

基本的に、Webサイトのクロール可能性を最大限に高めるには、読み込み時間を短縮し、重複した低品質のコンテンツを避け、ページの人気を高める必要があります。

ただし、Webサイトの所有者の大多数は、クロールの予算についてあまり心配する必要がないことに注意することが重要です。 これは、eコマースストア、デジタル出版物、人気のあるブログなど、何千ものページがある大規模なWebサイトであり、注意を払う必要があります。

クロール予算が重要なのはなぜですか？

クロール予算は、SEOの取り組みにとって非常に重要です。特に、数千ページあり、毎日多くの新しい記事を公開している場合はなおさらです。 ボットはあなたの新しいコンテンツをクロールしたいと思うでしょうが、同時にあなたのウェブサイトの残りの部分も再訪します。

複数の挫折や混乱を招く問題が発生した場合、インデックスに登録する新しいコンテンツに投資するのではなく、古いページのクロール予算を浪費することになります。 これにより、潜在的に遅延が発生し、一時的（または永続的）にURLがSERPで使用できなくなる可能性があります。

たとえば、できるだけ早く可視性を得るのに重要なニュースや情報を公開しているとします。

投稿がインデックスに登録されるまで1週間待ちたくないでしょう。

結局のところ、ページがインデックスに登録されていない場合、SERPにランク付けすることはできません。 そして、あなたが今日起こった世界の出来事について書いているが、あなたのページは5日後にクロールされたとしましょう。 その時点では、イベントはもはやそれほど関連性がなく新鮮ではないため、最初の目標を達成するには遅すぎます。 言うまでもなく、他の多くのWebサイトがそれについて記述し、時間内に索引付けされます。

クロールボットがページのインデックスを作成するのに最大1週間かかることは珍しくありませんが、正直なところ、それよりも短い時間で済むはずです。

さらに、その間、クロール、インデックス作成、およびターゲットオーディエンスがタイムリーに利用できるようにする必要がある新しいページを引き続き投稿します。 そして、それはインデックス作成のボトルネックのレシピです。

全体として、クロール予算の制限に頻繁に達すると、一部のページがクラックの間をすり抜けてSERPに到達できないリスクがあります。 結果として、これらはオーガニックトラフィックの恩恵を受けず、他のコンテンツよりもはるかに低い可視性になります。

また、クロールの予算を確認する方法がわからない場合は、簡単です。 Google Search Consoleに移動し、[クロール]→[クロール統計]を確認します。

クロール予算の最適化

クロールの予算は、Webサイトのサイズ、Webサイトの状態、およびWebサイトの人気という3つの主要な要因に依存することを覚えておくことが重要です。

これは、次の場合に、クロールの予算の浪費について心配する必要がないことを意味します。

• あなたのウェブサイトは適度に小さく、数千ページ未満を意味します。
• あなたのウェブサイトにはステータスコードエラーがなく、適切な正規化が行われています。
• あなたのウェブサイトは人気があります。つまり、あなたはソーシャルメディアをフォローし、コンテンツを共有してトラフィックを生成するための他のチャネルを開発しました。

これらの基準をカバーするということは、Googlebotがウェブサイトを効率的にクロールできる必要があることを意味します。

これらの3つの要素のいずれかが不足している場合、さまざまなレベルのクロールの問題が発生し、一部のページのオーガニック検索の可視性が失われる可能性があります。

従うべきクロール予算のベストプラクティスは次のとおりです。

ウェブサイトの速度を向上させる

上記のように、Webサイトの速度とページの読み込み時間は、クロール制限に影響を与える可能性があります。 健全で高速なウェブサイトは、Googlebotがより多くのページをより短い時間でクロールできることを意味します。

一方、ページの読み込みが遅いとクロール速度が低下し、大規模なWebサイトでは、全体的なインデックス作成の問題が発生する可能性があります。

一言で言えば、サイトの速度を最適化するようにしてください。 これにより、ボットが簡単になるだけでなく、ユーザーエクスペリエンスも向上します。

内部リンクを適用する

最良のシナリオは、サイトのすべてのページを指すバックリンクを用意することです。 これは、訪問者をサイトに呼び込み、検索エンジンにコンテンツが重要であることを示すための優れたSEO手法であるだけでなく、Googlebotを引き付けます。

簡単に言えば、バックリンクはSEOの黄金の少年です。

しかし、これが取引です。

バックリンクの他に、Googleは内部リンクも大好きです。 すべてのページを検出し、それらがどのように関連しているかをよりよく理解するのに役立ちます。 また、バックリンクを取得するのは難しいかもしれませんが、内部のバックリンクを完全に制御でき、必要な数だけ追加できます（やりすぎないでください）。

この最適化手法を適用すると、より多くのページがクロールされるようになります。

フラットWebアーキテクチャを使用する

Googleにとって人気は非常に重要です。 これが、フラットなWebサイトアーキテクチャを使用することが有益である理由です。 フラットアーキテクチャにより、リンク権限はすべてのページで同じ比率になります。

これは、ボットがWebサイト上のリンクがどのように接続されているかを追跡するのに役立ち、さらに、関連するページをより適切にグループ化し、トピックの権限を取得できるようにします。

実際には、これは、ユーザーと検索エンジンの両方が4回のクリックでWebサイトの任意のページにアクセスできることを意味します。

孤立したページや重複するコンテンツを避ける

孤立したページとは、外部リンクも内部リンクも1つも含まないページです。 これにより、これらのタイプのページは他のコンテンツから分離され、論理的には、Googlebotが検出するのも難しくなります。

所有しているすべての記事とページに少なくとも1つの内部リンクを追加することで、孤立したページを簡単に回避できます。

重複コンテンツの管理

コンテンツが重複していると、多くの問題が発生します。 同様のパラメータを持つ複数のURLがあると、クロールボットにとって混乱を招きます。 これにより、Googlebotの時間が無駄になります。これは、どのページがメインページで、どのページが重複バージョンであるかを把握する必要があるためです。これにより、クロールプロセスが遅くなります。

eコマースプラットフォームのように、サイズや色などのわずかな違いがある複数の類似商品が原因で、複数の類似URLが一般的であるサイトでは、必ず正規タグを使用してください。これにより、Googlebotを優先するページに誘導します。

一部のページのクロールを禁止する

すべてのWebサイトには、ログイン、お問い合わせフォーム、ショッピングカートなどのページがあります。 これらはクロールする必要はなく、それ以上はクロールできません。 ただし、Googleが試行するため、ボットにスキップしてリソースを節約する必要があることをボットに通知することをお勧めします。

このアクションを実行するには、robots.txtファイルを使用して、必要なページのクロールを禁止します。

古いコンテンツを更新して新しいコンテンツを作成する

Googleは新鮮なコンテンツが好きだと言いましたか？ します。

過去数回クロールされたときに新しいものが何もなかったという事実のために、Googleはあなたのページのクロールを停止することさえあります。

想像してみてください。Googlebotは2日に1回、インデックスに登録する新しいコンテンツを見つけるたびにサイトにアクセスします。 その後、突然、何らかの理由で、Webサイトの更新を停止します。 ただし、Googlebotは同じ頻度で引き続きアクセスします。 しばらくすると、ボットはインデックスを作成する新しいコンテンツがないことに気付き、最終的には訪問の頻度を減らします。

反対のシナリオでは、新鮮なコンテンツをより頻繁に提供し始めると、Googlebotはより頻繁にWebサイトにアクセスし始める可能性があります。

ソース

一般に、更新する必要のあるページを確立するときは、関連性を確認してください。記事は2年前のものであり、該当する情報が残っている可能性があります（ただし、更新する必要があります）。 または、すでに鮮度を失っている1か月前の素材である可能性があります。

エラーページを減らす

これは簡単に理解できます。

Googlebotは、5xxエラーコード（サーバーエラー）、4xxエラーコード（見つからないエラー）、3xxエラーコード（リダイレクト）などのページをクロールしようとすると時間を浪費します。その結果、クロール速度の制限が低くなります。

ソース

基本的に、200とは異なるコードになるすべてのページは、時間とクロールリソースの無駄です。 実際には、削除またはリダイレクトしたページにGoogleの注意を向ける必要はありません。 代わりに、ライブURLの修正を優先してください。

一言で言えばクロール予算の最適化

Googleのクロール予算を最適化する手順を要約してみましょう。

1. あなたのウェブサイトをスピードアップ
2. すべてのページに内部リンクを配置する
3. フラットなWebサイトアーキテクチャを適用する
4. 孤立したページや重複するコンテンツを避ける
5. 特定のページでのクロールを防止する
6. 古いコンテンツを更新して新しいコンテンツを作成する
7. エラーページを減らす

ボーナスのヒント

ログファイル分析を実行することで、Webサイトがクロールされている頻度を確認できます。 このようにして、特定のページが他のページよりも頻繁にクロールされているかどうかを判断できます。

さらに、ログファイル分析は、Webサイトの特定の領域に問題があるかどうかを理解するのに役立ちます。

さらに、ログファイル分析は、Webサイトの特定の領域に問題があるかどうかを理解するのに役立ちます。

結論

クロール予算は、ウェブサイトの全体的な検索エンジンの可視性にとって不可欠です。 Googlebotがページをクロールしてインデックスに登録できない場合、実際にはオンラインに存在していません。

記事で説明したすべてのクロール予算最適化手法を適用してください。そうすれば、報酬を得ることができます。

グーグルはあなたのコンテンツをより速く見つけてインデックスを付けることができるでしょう、そして最終的にあなたのウェブサイトは最適化を実行することに失敗するか無視する競争に先んじることになります。

あなたのために1：0！ よくできた！