Webマーケティングにおいて、「クローラー」を意識して展開することはもっとも大切なポイントの一つ。クローラーはサイトの検索順位を上げるために押さえておくべき機能です。
クローラー対策をほどこすことと、サイトのアクセス数を増やすことには密接な関係があるため、マーケティング担当者は、検索の仕組みをしっかり理解して対策を立てることが肝心です。クローラーの意味やSEOとの関係を意識してマーケティングに役立てましょう。
検索エンジンのクローラーとは
クローラーとは「這う」という意味を持つ英語の「crawl」を語源とした、ロボット型検索エンジンに欠かせないプログラムのこと。www（ワールド・ワイド・ウェブ）上にある文章や画像、PDFなどのさまざまなデータを検知して自動的に収集していきます。Webサイトの中に張られたリンクを渡り歩いてデータを収集することから、「スパイダー」や「ロボット」、「ボット」などとも呼ばれます。また、クローラーが情報を取得することをクローリングといいます。
Googleの検索エンジンはロボット型検索エンジンと呼ばれるものですが、この検索エンジンが機能するには、ネット上に散らばる情報を集めることが必須です。集められたデータはインデクサによって解析、データベースに保存されますが、ネットユーザーが検索を行う際に検索の対象となるキーワードを打ち込むと、クエリサーバーが適切なサイトをはじき出して検索者に検索結果を表示します。これが検索の仕組みです。クローラーはSEO対策を考えるうえで、決して無視することはできません。対策がきちんとできていれば、検索順位も上がりますし、順位が高ければ高いほど、Webマーケティングにおいて有利になります。
クローラーの役割
クローラーは「HTTP/HTTPSプロトコル」というテクノロジーを使ってサーバーとの通信を行います。そのため、HTTP/HTTPSで検索可能なデータはすべて収集が可能です。その分、リサーチは広範囲に及び、ほとんどのサイトを網羅しています。
ネットユーザーが検索エンジンを活用して、さまざまな情報を得られるようになったのはこのクローラーの存在が大きいです。クローラーがないと、検索に必要なデータベースが蓄積されることもありません。また、「情報の取捨選択」を行うためにもクローラーは不可欠です。インターネット上には膨大な情報が錯綜しています。中には取るに足らないサイトや、悪質なサイトも少なくありません。そのすべてが公平に検索対象に挙がってしまうと、ユーザーにとってインターネットが非常に使い勝手の悪いものになってしまいます。クローラーが情報を集めることによって有益な情報とそうでない情報は切り分けられ、ネットユーザーは快適に検索エンジンを利用できるのです。また、同じサイトを繰り返し訪れることで、データベースの情報を更新していきます。そのため、クローラーによって算出された検索順位は絶え間なく変動します。インターネット上の最新情報をユーザーが手軽に確認できるのも、クローラーが適切に働いているサインなのです。
重要なクローラー「Googlebot」について
クローラーの中でも、特に意識しておくべきプログラムに「Googlebot」があります。Googlebotは当初、Googleの検索エンジンとして開発されました。しかし、2019年現在、Yahoo！の検索エンジンにもGooglebotが適用されています。つまり、日本のほとんどの検索エンジンの中心にはGooglebotが存在するのです。
Googlebotの役割や機能は他のクローラーと基本的にはかわりませんが、200以上ものGoogleのアルゴリズムを元に、クローリングするサイトやその頻度、各サイトから取得するページ数が決定されます。テストサイトなど、あえてクローリングを拒否しながらサイトを作る場合はあるものの、WebマーケティングではGooglebotに見つかりやすくサイトをデザインするのが鉄則です。このようなGooglebotの特徴を踏まえることも、サイト作りを行う際には必要です。
SEOではクローラー対策が重要
Webマーケティングにおいて、自社のサイトを検索上位に出現させるための工夫にSEO対策があります。SEO対策とは検索エンジンを最適化させるための施策です。自社サイトが検索上位に来ることは、サイト運営者にとって、もっとも重要な目的の一つ。
けれども、そもそもクローラーが一度も巡回に来ないサイトは、検索エンジンに引っかかりません。検索結果に表示されるために必要なクローリングが一切行われないために起きる現象で、自社サイトが検索結果にも上がらなければ、いくらSEO対策を行ったとしても、検索順位に変化は起きないのです。
中にはプロトコルとの相性次第で、全く訪問されないサイトもあり、これではユーザーの目に自社サイトが留まる可能性は低くなります。クローラーが訪れないサイトを構築すると、マーケティング活動において絶対的なハンディキャップを背負ってしまいます。逆をいえば、しっかりとしたクローラー対策が検索順位を上位に押し上げるための第一歩となるのです。
クローラー対策の例
自社サイトを検索結果に表示させるためには、クローラーにサイトをなるべく早く認識させなければなりません。そのため、クローラーを意識してサイト作りを行うことはサイト運営者にとって必要なことであり、急務です。では、どのような方法でクローラー対策を行えばいいのでしょうか？それには「クローラビリティ」を高めることが必要です。クローラビリティとは、クローラーの巡回のしやすさのことを指します。適切なクローラー対策を行ってクローラーを自社サイトに誘導しましょう。
テキストを使う
画像リンクが設定されているサイトはクローリングに引っかかりにくくなります。なぜなら、クローラーはテキストを優先的に巡回してくるプログラムだからです。同様の理由で、コンテンツ内のテキスト量も見返してみましょう。確かに、人にとって画像が多いサイトは見やすいうえに、適切な画像を選んでいればわかりやすくもなります。けれども、クローラーのようなプログラムは、人のように目視によって画像を認識しているわけではないので、画像だけでは具体的な情報に欠けると判断してしまい、「質が低い」と認定してしまうのです。
このとき注意したいのは、SEOだけを意識した記事にしないことです。昔のクローラーは、よく検索されている語句が多用されているサイトを検索上位に出現させる傾向にありました。しかし、SEOだけを押さえた悪質なサイトが増えたことを受け、文脈や信用性までチェックできるようにアルゴリズムが改変されたのです。無意味にキーワードを連発するだけのコンテンツはむしろ、クローラーによって低く評価されかねません。見出しやタイトルなどにキーワードを入れることは重要であるものの、コンテンツ自体は正確性を意識して作成しましょう。
パンくずリストを作る
「パンくずリスト」もクローラーからの評価を左右する重要なポイント。童話「ヘンゼルとグレーテル」の中で、ヘンゼルが森の中で迷わないようパンくずを目印にしたことにちなんで、ユーザーにサイト内の現在地を教える表示をパンくずリストと呼ぶようになりました。
パンくずリストでは「目次＞第1章＞前編」といった具合に、ユーザーが見ている階層をすぐ確認できます。パンくずリストがあるとクローラーもどの階層にいるのか混乱しないため、「わかりやすい上質なサイト」としてインデックスされます。
サイト構造・リンクを最適化する
SEO対策、クローラー対策において「見づらさ」は致命的な欠点です。サイトやリンクの根本的な構造を見直し、ユーザーが使いやすいサイトを目指しましょう。たとえば、ユーザーに必要な情報がすぐ見つかるかどうかはサイト作りをするにあたって大切なポイントの一つです。理想は、トップページから2～3クリック以内で目的のページへとたどりつくサイトです。階層をあまり深く作ってしまうと、クローラーがサイトを万遍なく回ることがしづらくなり、クローラビリティが低下するため、検索エンジンから満足な評価を得られなくなります。
また、リンクを張るときのアンカーテキストも工夫しましょう。アンカーテキストが雑に書かれていると、検索エンジンから「質が悪い」と捉えられてしまいます。普通のテキスト部分のみならず、アンカーテキストでリンクを設定している場合にも、リンク先の要点をまとめるような具体的な文章を心がけて、コンテンツの内容の「お役立ち度」を高めましょう。
クローラーの巡回申請をする
もしもクローラーが自社サイトを巡回していないと思ったら、Googleサーチコンソール機能を使って巡回申請をしましょう。クローラーが一度訪問するだけでもインデックスにはサイトのデータが登録されるため、状況は改善されます。
なお、クローリングがされているかどうかは、自社サイトのURLを検索することで確認できます。もしもサイトが検索結果に表示されたら、クローリングが行われている証拠です。逆に、サイトが出てこない場合はクローリングがなされていないので直ちに申請を行いましょう。
クローラーは、サイト運営者なら絶対に押さえておきたいものの一つです。クローリングによって自社サイトはランキング化され、ネットユーザーに表示されています。検索エンジンのシステムを知らずして、検索順位は上げられません。Webマーケティングで集客につなげるには、大きな構造を意識したコンテンツ作成・更新を行っていきましょう。
