Crawl caching proxy Google

TAG: TAG:

28 April, 2006

Matt Cutts explica Â¿Varias personas han notado el contenido de otro Google bots el hacer resaltar en nuestro Ãndice principal de web, y se preguntan â€¦ por quÃ©/cÃ³mo pasa esto? La semana pasada yo estaba en Boston WebmasterWorld y hablÃ© de esta publicaciÃ³n(cuestiÃ³n) allÃ, pero me gustarÃa hacer un poste de blog sobre la velocidad lenta de Google caching el poder, porque algunas personas tienen preguntas sobre ello.Primero de, dÃ©jeme mencionar lo que un poder caching debe solamente(justo) asegurarse que de todo el mundo consciente. UsarÃ© un ejemplo de un contexto diferente: Agencias de servicio del Internet (ISPs) y usuarios. Cuando usted hace surf alrededor del web, usted trae pÃ¡ginas vÃa su ISP. Algunas pÃ¡ginas web de escondrijo ISPs y luego pueden servir aquella pÃ¡gina a otros usuarios que visitan a la misma pÃ¡gina. Por ejemplo, si el usuario un solicita(ruega) www.cnn.com, un ISP puede entregar aquella pÃ¡gina al usuario un y el escondrijo aquella pÃ¡gina. Si el usuario la B solicita(ruega) www.cnn.com un segundo mÃ¡s tarde, el ISP puede devolver la pÃ¡gina de cached. Mucho ISPs y empresas hace esto para salvar(ahorrar) la amplitud de banda. Por ejemplo, el Calamar es un escondrijo por poderes de web que es libre(gratis) y comÃºn del cual mucha gente se ha enterado.

Como la parte del intercambio de infraestructura Bigdaddy, Google ha estado trabajando sobre marcos para el avance lento mÃ¡s simpÃ¡tico, ha mejorado canonicalization, y el mejor incluir en un Ãndice. Sobre el frente mÃ¡s simpÃ¡tico que avanza lentamente, una de las cosas hemos estado trabajando sobre es la amplitud de banda reducciÃ³n. Por ejemplo, el pre-Bigdaddy webcrawl Googlebot con el agente-usuario â€œ Googlebot/2.1 (+http: // www.google.com/bot.html) â€ a veces permitirÃa a la codificaciÃ³n de gzipped. Bigdaddy mÃ¡s reciente Googlebots con agente-usuario â€œ Mozilla/5.0 (compatible; Googlebot/2.1; +http: // www.google.com/bot.html) â€ mucho con mayor probabilidad apoyan la codificaciÃ³n de gzip. Esto reduce el uso de amplitud de banda de Googlebot para propietarios de sitio y administradores de sitio web. De mis conversaciones con el equipo avanzar lentamente/incluir en un Ãndice, suena hay mucha altura para administradores de sitio web para reducir su bandwith por conectando gzip la codificaciÃ³n.

Otro camino que Bigdaddy salva(ahorra) la amplitud de banda de administradores de sitio web es por usando una velocidad lenta caching el poder. Yo maxxed hacia fuera mis habilidades PowerPoint de producir una ilustraciÃ³n. Como un ejemplo hipotÃ©tico, imagÃnese si usted participa en AdSense, Google trae urls para nuestra bÃºsqueda de blog, y Google tambiÃ©n avanza lentamente sus pÃ¡ginas para su Ãndice principal de web. Un dÃa tÃpico podrÃa parecerse a esto:

La pÃ¡gina trae bajo la vieja velocidad lenta

En este diagrama, Atienda un podrÃa ser Adsense y Atender la N podrÃa ser blogsearch. Como usted puede ver, el sitio consiguiÃ³ 11 traÃdas de pÃ¡gina del incluir en un Ãndice principal Googlebot, 8 traÃdas del Adsense bot, y 4 traÃdas de blogsearch, para un total de 23 traÃdas de pÃ¡gina. Ahora vaya a mirar como un escondrijo de velocidad lenta puede salvar(ahorrar) la amplitud de banda:

Â¡Un escondrijo de velocidad lenta es mucho mÃ¡s simpÃ¡tico!

En este ejemplo, si la velocidad lenta de blogsearch o AdSense quieren traer una pÃ¡gina que la velocidad lenta de web ya traÃdo, puede conseguirlo de la velocidad lenta caching el poder en vez de traer mÃ¡s pÃ¡ginas. Esto podrÃa reducir el nÃºmero de pÃ¡ginas traÃdas abajo a asÃ poco como 11. De la misma manera, una pÃ¡gina que fue traÃda para AdSense podrÃa ser cached y luego volviÃ³ a si la velocidad lenta de web lo solicitÃ³(rogÃ³).

Entonces la velocidad lenta caching el poder trabaja como esto: si el servicio X trae una pÃ¡gina, y el servicio luego posterior Y habrÃa traÃdo la misma pÃ¡gina exacta, Google a veces usarÃ¡ la pÃ¡gina del poder caching. Uniendo el servicio X (AdSense, blogsearch, la velocidad lenta de Noticias, cualquier servicio de Google que usa un bot) no hace cola las pÃ¡ginas para ser incluyen en nuestro Ãndice principal de web. TambiÃ©n, note que las reglas de robots.txt todavÃa se aplican a cada servicio de velocidad lenta de manera apropiada. Si permitieran al servicio X para traer una pÃ¡gina, pero un archivo robots.txt previene el servicio Y de traer la pÃ¡gina, el servicio Y no conseguirÃa la pÃ¡gina del poder caching. Finalmente, note que la velocidad lenta caching el poder no es la misma cosa que la pÃ¡gina de cached que usted ve pulsando sobre el eslabÃ³n de “Cached” por resultados de web. Aquellas pÃ¡ginas de cached sÃ³lo son puestas al dÃa cuando una nueva pÃ¡gina es aÃ±adida a nuestro Ãndice. Es mÃ¡s exacto pensar en la velocidad lenta caching el poder como un sistema que se sienta fuera de webcrawl, y que a veces puede devolver pÃ¡ginas sin poner extra la carga sobre sitios externos.

Tal como siempre, participando en AdSense o ser en nuestro blogsearch no le consigue ningÃºn avance lento “suplementario” (o la clasificaciÃ³n) en nuestro Ãndice de web en absoluto. Usted no consigue ninguna representaciÃ³n suplementaria en nuestro Ãndice, usted no se hace avanzado lentamente/incluido en un Ãndice cualquier mÃ¡s rÃ¡pido por nuestro webcrawl, y usted no consigue ningÃºn empujÃ³n en la clasificaciÃ³n.

Esta velocidad lenta caching el poder fue desplegada con Bigdaddy, pero esto trabajaba tan suavemente que yo no sabÃa era vivo. Esto deberÃa decirle que esto no es algÃºn tipo webspam la comprobaciÃ³n de capa; el objetivo aquÃ debe reducir la amplitud de banda de velocidad lenta. Gracias a Gregorio Boser para notar esto, y gracias a Jensense para notar que una de nuestras respuestas en lÃnea tenÃa la informaciÃ³n aÃ±eja. El equipo de apoyo ha puesto al dÃa aquella respuesta

Tags:

Mexico