Googlebot - zasady działania robota Google

Autor: Jan Soroczyński, dodano: 20-08-2009
Kategoria: Promowanie stron

Aby maszyna wyszukująca mogła funkcjonować i archiwizować dane udostępnione w sieci internet, potrzebuje narzędzia, w którego mocy jest odwiedzać strony internetowe, nawigować, rozróżniać informacje o witrynie, rozstrzygać, które strony są o czym, i dodawać informacje do swojego indeksu.

Rozwiązaniem wykorzystanym przez obecnie najlepszą światową wyszukiwarkę Google jest robot (inaczej spider, crawler, agent) o nazwie Googlebot. Jest on oprogramowaniem indeksującym, odwiedza miliardy stron i archiwizuje zawartość.

Działanie crawlerów jest proste i ograniczone przetwarzając dane, podróżując po sieci szukając nowe strony i linki. Zapewnienie robotom dostępu do strony WWW musi być podstawą w każdej strategii optymalizacyjnej, mającej na celu zwiększenie pozycji notowań w wyszukiwarce Google.

Kiedy strona internetowa została zgłoszona do wyszukiwarki, adres witryny (URL) jest dodany do kolejki stron oczekujących na odwiedzenie przez robotów. Jeśli strona nie została zgłoszona tradycyjnie, jest możliwość że zostanie odwiedzona i zaindeksowana za pomocą odsyłaczy znajdujących się na witrynach linkujących do strony docelowej.

 

Bardzo ważnym i ciekawym faktem jest to, że droga do indeksacji poprzez budowanie linków jest efektywniejsza i skuteczniejsza niż tradycyjne zgłaszanie. Zgodnie z ostatnimi testami strona zgłoszona przez link jest wyświetlana w wynikach wyszukiwania już po 3 dniach. Witryna zgłoszona tradycyjnie pojawia się dopiero po 2-3 miesiącach.


Kiedy Googlebot dociera do strony docelowej, sprawdza czy dostępny jest plik robots.txt. Plik ten służy do ograniczenia działania robotów na stronie internetowej. Po przeanalizowaniu pliku (jeśli jest dostępny) Googlebot zabiera się za indeksowanie tekstu zawartego na stronie. Różnorodnych Meta Tagów, Title Tagu (nazwy strony), ALT Tagów, tekstu w hyperlinkach i pozostałej zawartości. Z uzyskanych informacji wyszukiwarka rozstrzyga, o czym jest strona docelowa.

Teraz powiedzmy kilka słów o tym, jak kierować poruszaniem się robotów Google na witrynie.
Googlebot przestrzega noindex, index, nofollow, follow, noarchive, all Meta Tagi. Jeśli zostaną one umieszczone w części HEAD strony internetowej Google nie będzie indeksować, podążać po linkom i archiwizować obecny stan strony.

Oto niektóre z nich przedstawione niżej:

<META NAME="robots" CONTENT="noindex"> Googlebot nie będzie indeksować dokumentu,

<META NAME="robots" CONTENT="nofollow"> nie będzie podążać za linkami umieszczonymi na stronie do innych stron

<META NAME="robots" CONTENT="noarchive"> nie będzie prowadzić zarchiwizowanych kopii strony

Niżej podajemy niektóre wskazówki służące pomocą robotom Google w lepszym zrozumieniu prowadzonej strony internetowej:

  • Każdy link na stronie musi być w postaci czystego HTML, Google ma pewne trudności z czytaniem linków zawartych w filmach Macromedia Flash, napisany w języku JavaScript lub DHTML’u.
  • Liczba linków na jednej stronie nie może przekraczać 100. Zgodnie z informacjami podanymi przez Google, wyszukiwarka indeksuje 100 kb z całej zawartości.
  • Każda podstrona witryny docelowej musi mieć swój unikalny title, kompletny i sensowny.
  • Bardzo ważnym faktorem jest budowa strony. Najlepiej jeśli nie jest ona oparta na ramkach.
  • Wszystkie relewantne informacje na stronie należy umieścić w postaci tekstu.
  • Ważnym elementem jest umieszczenie opisu strony w znaczniku Meta Description. Wstawić tam należy krótkie streszczenie strony.
  • Najważniejszą zawartość na stronie z słowami kluczowymi należy umieścić na górnej części strony.
  • Nie należy oszukiwać robotów robiąc ukryty tekst lub przekraczać dozwoloną ilość powtórzeń słów kluczowych w znacznikach meta. Jeśli wyszukiwarka sama strony nie zsanuje, za jakiś czas konkurencja zrobi wszystko możliwe.
Ocena 2.58/5 (51.63%) (478 głosów)

Komentarze:

  • Kierowanie poruszaniem się robotów.
    Dodał: Gość data: 2010-03-11
    Śmieszna sprawa, ciekawe gdzie autor tego tekstu naczytał się takich głupot. I pomyśleć, że ludzie uczą się z takich artykułów.

    Tak zwane noindex, nofollow, noarchive, nie dają już od dawna żadnego efektu. Pierwsza lepsza książka na temat pozycjonowania temu zaprzeczy. Dziś do sterowania robotami używa się tylko i wyłącznie pliku robots.txt.
  • metatagi działają
    Dodał: Maciek data: 2010-10-14
    W ubiegłum tygodniu (początek października 2010) sprawdziłem i Google jak najbardziej bierze pod uwagę metatagi. Sprawdzałem nofollow i noarchive. Wszystko działa bez problemu, a wcale nie mam pliku robots.txt.
  • problem
    Dodał: emi data: 2011-12-17
    Witam.
    Korzystając z okazji miałabym ogromną prośbę.. Nagle, bo 2 tyg. temu moja strona zniknęła z Google.. przeanalizowałam ją wieloma narzędziami, tak jak umiałam , poprawiłam wiele błędów wywalonych w Xenu.. mam pliki robots itd. i powinno byc ok, ale w jednym z narzędzi znalazłam kilka komunikatów
    http://www.seocentro.com/tools/search-engines/keyword-position.html tutaj:
    Search Engine Placed Rank Competing Pages First Url Found
    Google no n/a 4,640,000 n/a
    Yahoo! no n/a 0 n/a
    Bing no n/a 18,100,000 n/a
    a tu http://www.seocentro.com/tools/seo/page-keyword-analyzer.html na haslo bodypainting No H Tag

    Did not found any H1, H2, or H3 tag in the body.
    Phrase not in Domain
    The target keyword don't exists as phrase in the Domain name.
    Keyword not in Domain
    None of the words from the target keyword exists in the Domain name.
    czy to przez to wywaliło w kosmos moją www?
    Ostatnio nie grzebałam w niej,wiec nie rozumiem dlaczego.. plizz help , może ktoś mi wytłumaczy o co chodzi..


Dodaj komentarz:


Temat:
Twój nick:
Komentarz:
 

Prosimy o kulturę wypowiedzi. Komentarze zawierające niecenzuralne zwroty, bądź obrażające inne osoby będą usuwane. Kod HTML w wypowiedziach jest niedozwolony. Wydawca nie odpowiada za treść komentarzy.