せっかくWebサイトやページを公開しても、Googleなどの検索エンジンに認識されないと検索結果に出てくることはありません。Googleなどではクローラーと呼ばれるものが自動的にページを探して、存在が認められればインデックス化（データ登録）を行い、検索結果に表示されるように対応します。しかし、すぐにインデックス化されるページもあれば、なかなかインデックス化されないページもあります。
そこで今回はサイトやWebページを能動的にGoogleに登録する方法を解説します。
サイトは検索エンジンにインデックスされる必要がある
新たに作成したWebサイトやページを検索エンジンの検索結果に表示させたい場合は、該当のエンジンが持っているデータベースにインデックス（登録）されることが必要です。ここでの「インデックス」は、Webサイトのデータをデータベースに格納する行為や、格納されたデータをより早く検索して抽出するための索引（さくいん）データのことを指します。つまり、検索結果画面に表示させたいサイトの情報を、検索エンジンのデータベースに登録すれば、そのサイトの情報が検索結果画面に現れるようになり、ユーザーから閲覧されるようになるのです。インデックスデータにサイトを登録する方法について、ここでは代表的な検索エンジンのGoogleの例で説明します。
Googleは「Webクローラー（ウェブクローラー、ロボット、ボット、Bot、スパイダー）」と呼ばれるプログラムを使って、自動でWebを検索して見つけたサイトを索引データに登録しています。そのため手動でわざわざGoogleに登録しなくても、Webサイトを公開すれば自動的に検索結果に表れるようになるのです。
このクローラーで情報を自動収集することを「クロール（スクレイピング）」と呼んでいます。検索結果に表示されているサイトのほとんどが、このクローラーによって自動追加されたものであるとGoogleは見解を述べています。
インデックスがなかなかされない可能性もある
ただしGoogleに自動で登録されるからといって、すぐにデータを登録されるサイトもあれば、登録に時間がかかるサイトもあります。これは、クローラーがWebサイト内のリンクをたどって新しいページを探しているからです。つまり、他サイトからのリンクを十分に集められないサイトは、クローラーが訪れにくく、インデックス化が進まないということになります。
逆に、新設のサイトでも大量に外部からリンクされていればクローラーが気付いて訪れやすくなります。このように、クローラーにサイトの存在を気付いてもらうためには、他サイトからのリンクを集めることが大切です。
ちなみに他のサイトからリンク付けがされているのにインデックスに失敗している場合、クローラーが検証しにくいサイトデザインになっている、またはクローラーが巡回したときにエラーが発生していることなどが考えられます。
Googleはスムーズにインデックスに登録されるためのガイドラインを公開しており、リンクはhref属性が指定された<a>タグ内に記述する、サイト上の重要なページへのリンクが記述されたサイトマップを作成するなどのポイントが挙げられています。
GoogleへURL登録をしてインデックスされるのを早める
ほかのサイトからのリンクが少ないためクローラーの巡回が来ないという状況で積極的に使いたいのがURLを手動でインデックスに登録するためのGoogleサーチコンソール（Google Search Console）というサービスです。サーチコンソールはGoogleアカウントがあれば、誰でも無料で使用可能です。以下ではサーチコンソールの登録のやり方を紹介します。
GoogleへのURL登録のやり方
サーチコンソールでWebサイトのURLを登録する方法は2つあります。サイトマップファイルを送信する方法と、URL検査ツールを使用する方法の2つです。
サイトマップを送信する
Googleサーチコンソールで送信するサイトマップとは、クロールして欲しいURLや動画などについての情報を記載したファイルのことを指します。
サイトマップファイルを読み込むことで、クローラーがより高度なクロールを行うことができます。Googleは、サイト全体のデータ量が多く、サイトがどこからもリンクがされていない場合に、サイトのクロールを改善する手段として有効だとしています。Googleがサポートするサイトマップファイルの形式はXMLやRSSなどがあり、URLのリストだけを記載して動画情報などを含まない場合はテキストファイルでも可能です。
サイトマップファイルを作成する手順は、クロールしてもらいたいページを決めて、スマホ用などページにバリエーションがある場合はそのページの正規URLを決めます。テキスト、XMLなどファイルの形式を決めて作成ツールなどを使用し作成します。
サイトマップファイルを作成したら、サーチコンソールで直接そのファイルを送信するか、クローラーに指示を与えるためのファイル「robots.txt」の内容に
Sitemap: http://www.example.com/sitemap.xml
などと追加で記述します。
Googleのガイドラインでは、1つのサイトマップで、URL は5万件以下、サイズは圧縮しない状態で50MB以下に制限されています。また、送信してもサイトの規模や訪問者数によっては、すべてのURLをクロールしてもらえないこともあります。
URL検査ツールを利用する
Googleサーチコンソールは2018年末に新バージョンになりましたが、旧バージョンの「Fetch as Google」に代わるツールが「URL検査ツール」です。このツールを使用するとGoogleにサイトをクロールしてもらうようにリクエストを送ることができます。
サーチコンソールを開くと、左上のメニューの「URL検査」という項目をクリックしてと、画面上部に表示された検索窓に登録を希望するサイトのURLを入力して実行します。サイトが正常にインデックスされていれば「Googleに登録されています」とメッセージが出ますが、登録されていない場合は「Googleに登録されていません」とエラーメッセージが出ます。その場合に表示される「インデックス登録をリクエスト」というリンクからGoogleへリクエストを送信することもできます。インデックス完了済みのページの登録情報を確認し、インデックス化に失敗している場合、エラーになった理由を確認することもできます。
Googleは、リクエストによるクロールには数日～数週間の日数を要するとしています。連続でリクエストを送ってもクロールの順番が早くなることはないとしていますので、Googleにリクエストを送ったらしばらく待ってみましょう。インデックスステータスレポートを見るか、URL検査ツールで再度検索をかけるなどの方法で進行状況を確認してみて下さい。
