Googleの発表の前後に"ビッグダディ"があったの新しいGooglebotがローミングしてください。 それ以来、私はクライアントから聞いた話行くのウェブサイトおよびサーバーダウンして、以前は次のunindexedコンテンツ就学許可証のインデックスに登録します。

この掘削を始めたと私は驚くわよが見つかりました。

第一に、タイムラインを見てみましょうのイベント：

9月下旬にいくつかの抜け目のない所でウォッチャークモぶちWebmasterWorld -ユニークなG ooglebotの活動です。 In fact, it was in this thread: http://www.webmasterworld.com/forum3/25897-9-10.htm>http://w ww.webmasterworld.com/forum3/25897-9-10.htm that the bot was first reported on.実際には、それは、このスレッド： http://www.webmasterworld.com/forum3/25897-9-10.htm > http://w ww.webmasterworld.com/forum3/25897-9-10.htmにのロボットが最初に報告されています。 who考えられるいくつかのポスターが懸念おそらくこのことが正規ユーザーマスカレードとして有名なロボットです。

初期の段階では新しいロボットも登場して、 robots.txtファイルに従うはない。 これは、プロトコルのどの部分を許可または拒否するウェブサイトをクロールします。

Speculation grew on what the new crawler was until Matt Cutts mentioned a new Google test data center http://www.mattcutts.com/blog/good-magazines/#comment-5293>h ttp://www.mattcutts.com/blog/good-magazines/#comment-5293 .投機成長率をどのような新しいクローラは、マットCuttsに記載されるまでに、新しいGoogleのデータセンター試験http://www.mattcutts.com/blog/good-magazines/ ＃コメント- 5293 > h ttp ： / / www.mattcutts.com/ブログ/良い-雑誌/ ＃コメント- 5293です。 知っているされていないため、マットCuttsは、シニアエンジニアで、 GoogleやGoogleの従業員数のいずれかの問い合わせ話をする"定期的な民俗です。 " この11月に言及が起こった。

There wasn't much mention of Big Daddy until early January of this year when Matt again blogged about it asking for feedback. http://www.mattcutts.com/blog/bigdaddy/>http://www.mattcutts .com/blog/bigdaddy/があったあまりビッグダディまで言及したのは今年1月初めに再びマットときにブログについてのフィードバックを求めています。 http://www.mattcutts.com/blog/bigdaddy/ > http://www.mattcutts 。 co.jpで/ブログ/ bigdaddy /

多くのフィードバックが与えられた上の正確性は、結果を確認します。 There were also those that asked if the Mozilla Googlebot (known as "Mozilla/5.0 (compatible; Googlebot/2.1; + http://www.google.com/bot.html>http://www.google.com/bot.htm l )" in your visitor logs) and Big Daddy were related, but no response was made.これらのことも要請があった場合は、 MozillaのGooglebotが（通称" mozilla/5.0 （互換; googlebot/2.1 ; + http://www.google.com/bot.html > http://www.google.com/bot 。 htmの左 ） "は、訪問ユーザーのログ）とビッグダディが関連したが、回答がなされた。

今すぐに行くんだいくつかの自分自身の投機を開始する：

私は実際に2つは関連したと考えています。 In fact, I think this new crawler will eventually replace the old crawlers just as Big Daddy will replace the current data infrastructure. http://www.textlinkbrokers.com/blogs/comments/310_0_1_0_C/>h ttp://www.textlinkbrokers.com/blogs/comments/310_0_1_0_C/実際には、この新しいクローラと思うの古いクローラは、最終的に置き換えますビッグダディ同じように、現在のデータインフラストラクチャに置き換えています。 http://www.textlinkbrokers.com/blogs/comments/310_0_1_0_c/ > h ttp ： / / www.textlinkbrokers .com/blogs/comments/310_0_1_0_c /

この重要なはなぜですか？

私の観察に基づいて、このクローラことができる可能性これを行うには、古いクローラはるかに超える。

1つ、これは、最新のブラウザをエミュレートします。 古いロボットは、テキストベースのブラウザに基づいて、 lynxです。 Googleの追加機能を確認中、私の仕事時間が経っている場合は、基本的なlynxブラウザがわずかに-基本的です。

Googleが選ばれる理由を説明できませんでしたJavaScriptのように対処するもの、 CSSとフラッシュします。

しかし、新しいスパイダー、構築されたMozillaのエンジン、それには、とても多くの可能性があります。

だけを見て、どのようにMozillaまたはFirefoxブラウザにできること自体-レンダリングのC SS、 J avaScriptの読み取りと実行と他のスクリプト言語も、他のブラウザをエミュレートします。

しかし、それだけではありません。

私は私のクライアントのいくつかの話をするとそのサイトでは、この新しいスパイダー就学許可証の完敗です。 悪いことではすっかり下がるいくつかのサーバーにして、ボリュームのため、この1つのスパイダーからのトラフィックを！

上のプラス側に、私はいくつかのクライアントwhoは100000から10万ドルのページをインデックスに登録さほんの数週間以内に！ 文字通り、昨年12月、 2005年が3500 ％の増加をインデックスに登録され、ページ上で8週間のキャンペーン期間中！ 一言申し上げておきますが、これもまた、クライアントのサイトをダウンのためには膨大な量のクロールの出来事でもある。

しかし、それはまだない。

私は別のクライアントを使用してIPの認識に基づいてコンテンツを提供する人の地理的な場所です。 アメリカに住んでいる場合に米国のコンテンツを取得すると価格;英国に住んでいる場合に取得する英国のコンテンツとの価格です。 想像することがありますとして、英国、米国、カナダ、オーストラリアのすべてのコンテンツは非常によく似ています。 実際に著しく異なるだけを参照するには、価格面です。

これは私の懸念-の場合、重複したコンテンツがG oogleのインデックスに登録さかれらは何ですか？ There's a good chance that the site would be penalized or even banned for violation of the webmaster quality guidelines set forth by Google here: http://www.google.com/webmasters/guidelines.html#quality>htt p://www.google.com/webmasters/guidelines.html#qualityチャンスがあるのは良いが罰せられるかのサイトでも禁止さウェブマスター向けの品質に関するガイドラインに違反してGoogleの定められた場所： http://www.google.com/webmasters/guidelines.html ＃品質> htt p ： / / www .google.com /ウェブマスター/ guidelines.html ＃品質

これは、なぜ私たちの実装のIP認識-G ooglebotのように、米国のI Pアドレスからのクロールの1つのバージョンのサイトしか見えない。

しかし、見直しは、サーバーのログによると、この新しいGooglebotが訪問され、米国だけでなく、コンテンツだけでなく、他のセクションのコンテンツのサイトです。 当然のことながら、したかったことを確認するには、作業のIP認識します。 それは。 このリードワンダー私に入力し、 ;は、このブラウザのパロディーその場所および/またはプロキシを使用するか？

想像して-スマートに、ブラウザがこれを行うに十分なテストされ、独自のいくつかのサイトから複数のI Pアドレスを表示しています。 もしそうだとしたらwhoマントを入力し、それらのサイトはもらわなくてはならない問題が発生します。

いずれにせよ、初回限定の観察あと、私が作ったから、この新しいGoogle -の両方のデータセンターと、スパイダーの-は、我々の方法を変更するに行くことです。

については、著者：

Rob Sullivan is a SEO Consultant and Writer for http://www.textlinkbrokers.ロブサリバンは、コンサルタントやライターを徐http://www.textlinkbrokersです。 com . 入力してください 。 Textlinkbrokers is a link building company. textlinkbrokersは、 リンク建築会社です。 ごtextlinkbrokersに直接リンクを提供するときにこの記事はsyndicatingです。