Com suprimir un lloc o els seus fragments de l'índex de Google

D'acord amb el concepte d'indexació adoptada pel Google, representat per la integritat, l'objectivitat de la informació i la seva conformitat a la consulta de cerca en l'emissió dels resultats. Si l'índex cau lloc web amb continguts il·legals, o de recursos de missatges, en les pàgines d'aquest lloc no s'han de marcar en el motor de recerca de base de dades comuna. Per a nosaltres és important aprendre com eliminar un lloc de l'emissió dels resultats del servidor de cerca.

Les variants de zero indexació de Google

Una vegada que el robot de cerca - un programa per recopilar informació sobre els nous recursos - escanejarà la pàgina del lloc de la pàgina i, a continuació, quan sota requisits de la política de Google per a l'anàlisi, que serà indexat. Però també et vam mostrar com eliminar el seu lloc o fragments dels motors de cerca a través d'un robots.txt - indexar i buscar al mateix temps parada.

Per excloure de l'emissió del recurs en el seu conjunt, a la carpeta arrel del servidor en el qual es troba el lloc, crea una certa àrea de text - va dir robots.txt. Aquesta zona es tracta amb els motors de cerca i actuar d'acord a les instruccions de llegir.

Recordeu que els índexs dels motors de cerca de Google a la pàgina, fins i tot si un usuari té accés per veure prohibits. Quan el navegador respon amb 401 o 403 "L'accés no és vàlid", que s'aplica només als visitants, en lloc de programes que recullen per a aquest motor de cerca.

Per entendre com treure el lloc de la indexació del motor de cerca, un punter de text ha d'introduir les següents línies:

User-agent: Googlebot

No permetre: /

Això indica al rastrejador d'índex de la prohibició de tot el contingut en el lloc. Aquí és com eliminar un lloc de Google, de manera que aquest no emmagatzema en memòria cau el recurs a la llista de detectar.

Les realitzacions de l'exploració de diferents protocols

Si necessita una llista d'estàndards de comunicacions individuals, per als que vol aplicar regles especials per a la indexació de Google, per exemple, per separat per a hipertext protocols HTTP / HTTPS, també cal registrar a l'arxiu robots.txt de la següent manera (exemple).

(Http://yourserver.com/robots.txt) - un nom de domini del seu lloc (qualsevol)

User-agent: * - qualsevol motor de cerca

Permetre: / - permetre la indexació completa

Com suprimir un lloc de la qüestió del tot amb el protocol https

(Https://yourserver.com/robots.txt):

User-agent: *

No permetre: / prohibició total de la indexació

Accelerats adreces de recursos URL- l'eliminació de Google serps

Si no desitja esperar que re-indexació, i el lloc que voleu amagar com, recomano utilitzar el servei de http://services.google.com/urlconsole/controller aviat com sigui possible. robots.txt pre ha de ser col·locat en el directori arrel del servidor del lloc. S'ha de prescriure les instruccions adequades.

Si el punter per alguna raó no es pot editar en el directori arrel, creu prou en la carpeta amb els objectius per als quals voleu amagar als motors de cerca. En aquest punt i es refereixen al servei de l'eliminació automàtica d'adreces d'hipertext, Google no analitzarà les carpetes de la qual es descriu un defecte en el fitxer robots.txt.

El període d'aquesta invisibilitat s'estableix durant 3 mesos. Després d'aquest període, el directori retirat del tema, de nou serà processada pel servidor de Google.

H ow per eliminar un lloc per escanejar parcialment

Quan un robot de cerca està llegint el contingut de l'arxiu robots.txt, que certes decisions es prenen sobre la base del seu contingut. Diguem que vostè vol excloure de la mostra a tot el directori anomenat Anatomia. És suficient per dictar els reglaments:

User-agent: Googlebot

No permetre: / Anatom

O, per exemple, desitja no indexar tots els tipus d'imatge .gif. Per a això, afegiu la següent llista:

User-agent: Googlebot

No permetre: /*.gif$

Heus aquí un altre exemple. Que siguin esborrats d'analitzar la informació a les pàgines generades dinàmicament, alhora que afegeix al tipus d'entrada d'índex:

User-agent: Googlebot

Disallow: / *?

Això és, i s'estableixen les normes per als motors de cerca. Una altra cosa és que és molt més convenient que només ha d'utilitzar aquesta etiqueta META. I administradors web utilitzen sovint només un nivell tan regula el funcionament dels motors de cerca. Però parlarem d'això en futurs articles.