● No. 15 GoogleウェブマスターツールでCrawlerの動向を知る

2010-04-06 (Tue)

＊Googleウェブマスターツールサイト

 https://www.google.com/webmasters/tools/home?hl=ja

GoogleのCrawler(クローラー）を自社のサイトに巡回そして解析させるには、"robots.txt"ファイルをウェブマスター上で生成し、これをテキストファイルとしてウェブサイトのルートディレクトリにコピーしなければなりません。（以前に記述しました）

基本的に外部からのサイト行動監視や分析は、Google Analyticsがあれば十分なのですが、Google Crawler(クローラー）がどのように自社に巡回しているかを確認することも参考になります。　前回のGoogle Dataceter Searchで自社のサイト内のカテゴリーを複写してGoogle Crawlerへ認知させ上位表示される手法を説明しましたが、これを端的に表すのは、このGoolgeウェブマスターツールです。

＊右側にCrawler（クローラー）が自社サイトに巡回した内容が記録されます。

”診断”メニューの”クロールエラー”サブメニューを選択します。Crawler(クローラー）が実際のサイトに到達したにもかかわらず、リンクエラーなどで確認できなかったURLサイト情報が表示されています。

すぐ下に”クロールの統計情報”というサブメニューを選択します。時系列でCrawler(クローラー）が閲覧したページ数、ダウンロードされるバイト数、そしてページのダウンロード時間と３つの要素でサイト内巡回している様子がわかります。ここで重要なのは、サイトに動きがあるか？あるいは更新されているか？サイトが混雑しているか等を自動巡回ロボットであるCrawler(クローラー）が分析しているのです。