昔から人々を夢中にさせてやまないSEO（検索エンジン最適化）ですが、Googleの技術の進歩により、最近ではコンテンツSEOが大事だよという認識がようやく浸透してきたように思えます。
しかし、だからといって技術SEOをないがしろにしていいわけではありません。
コンテンツSEOがユーザーにとって有益な情報を与えるということであれば、技術SEOはGoogleがページ内容を正しく認識できるようにするという意味合いが強いです。
今回は、その技術SEOの中でも僕が特に重要だと思うクロールにフォーカスを当て、正しく迅速にクロールを行ってもらうために使える、WordPressのプラグインの紹介をしたいと思います。
本記事の構成は以下のとおりです
１－１．クロールとは
１－２．インデックスとは
２．Search Consoleについて
２－１．Search Consoleでできること
２－２．All in One SEO Packの使い道
２－３．Search Consoleへの登録
２－４．サイトマップの送信
２－５．Fetch as GoogleとWebSub(PubSubHubbub)
それでは順に見ていきましょう。
クロールとインデックスについて
クロールはSEOにとって特に大事と冒頭で説明しましたが、なぜなのか、そもそもクロールってなんやねんという話から。
クロールとは
Google公式ガイドラインでは、クロールについて以下のように説明されています。
新しいウェブページや更新されたウェブページを検出するプロセスのことです。Google はリンクをたどる、サイトマップを読み込むなど、さまざまな手段で URL を検出します。Google はウェブをクロールして新しいページを検出し、（該当する場合は）そのページをインデックスに登録します。
新しいサイトを立ち上げたり、新しい記事を公開したとき、その時点ではまだ検索に載りませんよね。これはなぜかというと、Googleにクロールされていないためです。
Googleはクローラ（Googlebotと名付けられています）という自動プログラムを使い、ウェブ上に公開されたサイト/ページをクロールしようと日夜活動を続けていますが、基本的にとんでもない数のサイトが日々更新し続けられているため、公開してすぐのサイトに速攻でクロールしに来てくれることはまずありません。
クロールされなければまだGoogleに認識すらしてもらえていない状況というわけです。これが、公開した記事がすぐに検索に載らない理由です。
インデックスとは
こちらもガイドラインより引用
Google は認識したすべてのウェブページを「インデックス」に格納します。各ページのインデックス エントリにはそのページのコンテンツと場所（URL）が記述されています。「インデックスに登録する」とは、Google があるページを取得し、そのページを読み込んで、インデックスに追加することを指します。例文: 「今日、私のサイトの一部のページが Google のインデックスに登録されました。」
クロールされたページはGoogleによって構造を理解され、インデックスと呼ばれるデータベースに格納されます。この流れはもはや「インデックスされる」という動詞になってしまってますが、正確には「インデックスに登録される」が正しいんですね。
ユーザーが検索を行うと、このインデックスから、ユーザーが検索した語句に対し最も有益な情報が書かれているであろうページが検索結果に出されるわけです。
以上、クロールとインデックスについてざっくり説明しました。なぜSEOにおいてクロールが重要かおわかりいただけましたでしょうか。
そもそも、クロールされてインデックスに登録されなければ検索に載らないということですね。
極端な話、例えば速報系の情報を扱っているブログであれば、「速報！台風が明日上陸する！」というタイトルの記事を書いても、検索に載るのが３日後とかだったらまったく意味ないですよね。
というわけで、以降はこのクロールを促すという点に絞って、その方法と使用するプラグインを説明していきます。
Search Consoleについて
Search Consoleとは、Googleで提供しているツールの１つで、サイトを登録することでSEO上重要な様々な恩恵を受けることができます。以前は「ウェブマスターツール」という名前だったんですが、Search Consoleに変わりました。無料で使えます。
SEOを意識するのであれば、Search Consoleにサイトを登録しないと話になりません。
前述したクロールの促進のためにも重要なので、Search Consoleについて少し説明させていただきます。
Search Consoleでできること
Search Consoleに登録すると、以下のようなことができるようになります。
- クロールの促進（Fetch as Google、サイトマップ）
- 検索アナリティクス
- サイト上のエラーの通知、改善
- スパム被害やペナルティの通知、改善
- セキュリティの問題の通知、改善
その他にも機能はありますが、SEO上特に重要なのはこのあたりかと思います。
検索アナリティクスとかおもしろいですよね。こんなワードで検索してんのか…ってなります。学びのためにもぜひ見てみてください。
各種通知については、登録したメールアドレス宛てにメールがきます。スパム判定とかされたら相当やばいので、Googleからのメールはこまめにチェックしましょう。
今回はこの中でも、クロールの促進方法について詳しく説明していきます。
All in One SEO Packのインストール
Search Consoleでなんやかんやする前に、まずWordPress側で少し準備をしましょう。
今回使うプラグインは「All in One SEO Pack」です。ご存知の方は多いかと思われますが、このプラグイン、名前の通りSEOに必要なことはだいたいできます。
All in One SEO PackをインストールしていればSearch Consoleへの登録もできますので、まずAll in One SEO Packをインストールしましょう。
Search Consoleへの登録
All in One SEO Packをインストールしたら、一般設定の中に「ウェブマスター認証」という項目がありますので、そこにSearch Consoleの認証コードを入力します。
これだけでSearch Consoleとの連携は完了です。Search Consoleでサイトが正常に登録されたかを確認しましょう。
さらに、All in One SEO PackではGoogle Analyticsも設定できます。
Search ConsoleとGoogle Analytics両方に登録したら、今回のメインテーマはクロールの促進なので、ひとまず他の設定はあとまわし。
サイトマップの送信
次は、Search Consoleで自サイトのサイトマップを送信します。
サイトマップを送信することで、Googlebotくんはサイトの構造を把握しやすくなります。また、どこからもリンクされていないページをクロールするのにも使われます。
サイトマップを送信するにはまずサイトマップを作らないといけないんですが、All in One SEO Packなら拡張機能でサイトマップを作れるうえ、記事が更新されるたびにサイトマップも自動で書き換わり、さらに自動で送信してくれます。
これは使わない手はないです。人によってはGoogle XML Sitemapというプラグインを使う人もいるようですが、プラグイン１個で済むならプラグイン同士の競合が発生することもないし、All in One SEO Packではサイトップ生成についても細かく設定ができて便利です。
拡張機能を有効にする
All in One SEO Packの「機能管理」を選択し、その中の「XMLサイトマップ」を有効にします。
サイトマップの設定はほとんどそのままでいいと思うんですが、僕は下記２点に注意しています。
更新を予約
サイトマップを更新し、Googleにサイトマップを送信するスケジュールです。記事を更新する頻度に合わせて設定します。
投稿タイプ
All in One SEO Packの一般設定でnofollowとしているページをここでチェックしていると、Search Consoleでエラーになります。
ということですね。
サイトマップの生成ができたら、Search Consoleの管理画面からサイトマップを送信します。
フィードの送信
サイトマップの他にも、フィードの送信をすることも可能です。
これは僕も最近はじめて知りました。
サイトマップはサイトの構造をGoogleに伝えるのに対し、フィードを送信することで、更新したページの情報をダイレクトにGoogleに伝えることができます。
Googleも、サイトマップとは別にフィードの送信をすることを推奨しています。
自サイトのフィードのURLは、WordPressサイトであればだいたい/feed/となっているはずです。実際にアクセスして確認してみてください。
Fetch as GoogleとWebSub(PubSubHubbub)
Search Console上からFetch as Googleを行うことで、Googleにクロールを促すことができます。
クロールしてほしいURLを入力し、「取得」をクリック。ちなみに「取得してレンダリング」をクリックすると、Googlebotくんがページをどのように認識しているかを見ることができます。
「あれ、なんか実際のページと違うんだけど」ということが稀にありますので、たまに見ておきましょう。
取得すると「インデックス登録をリクエスト」というボタンが出てきますので、迷わず押しましょう。これで、クロールしてもらい、インデックスをやってくださいとお願いするわけです。
WebSub(PubSubHubbub)
Websub（ちょっと前まではPubSubHubbubという名前でした。長いし覚えにくいしどう考えても浸透しそうにないんで変わったんですかね…）とは、Googlebotくんやフィードリーダーに対し自動的にプッシュ通知を行う機能です。
上記Fetch as Googleと同じ機能ではあるんですが、記事を作るたびに毎回Fetch as Googleやるんめんどいわーという方は（普通めんどいと思います）この機能を使いましょう。
WordPressを使っている場合、WebSub/PubSubHubbubというプラグインをインストールし、有効化するだけでこの機能を使えます。
おわり
これで、クロール対策はばっちりですね。ここまでの作業をしておくことで、記事が更新されてから、Googlebotくんがクロールしてくれるまでの時間がぐっと縮まります。
えっ、もうインデックスされてる！ってなりますので、ぜひやっておきましょう。
なお、新規にサイトを立ち上げる場合はどこからもリンクされていない状態なので、Googlebotくんがサイトを見つけるのに非常に時間がかかります。
よって、新規サイト立ち上げの際は、Search Console登録からFetch as Googleまでの流れは必須となりますので、覚えておいてください。
ちなみに、本記事に書かれている内容の一部（Websub）は、以下に紹介する本で勉強しました。その他のことは前から知っていたんですが、この本にももちろん書かれています。
さらに、最近の主流であるコンテンツSEOについても「SEOってそんな大変なの！？」と思うくらいぎっしり細かく書かれていますので、SEOについてガチで勉強したい人はぜひ読んでみてください。
ではでは、良いクロールライフを！
