Na pozycję witryny w Google oraz innych wyszukiwarkach wpływa wiele różnorodnych czynników. Czasami są to bardzo niepozorne elementy, jak chociażby plik robots. Co może zyskać witryna dzięki robots.txt? Jak go stworzyć, aby spełniał swoją rolę?
Plik robots to standardowy plik tekstowy, zapisany w formacie .txt (robots.txt). Do jego stworzenia nie potrzebujesz specjalistycznych narzędzi, wystarczy Ci Notatnik.
Robots.txt umieszcza się w głównym folderze domeny – pod adresem domena.pl/robots.txt. Czemu służy robots txt? To swego rodzaju instrukcja dla robotów wyszukiwarek, które odwiedzają Twoją stronę internetową. Znajdą w niej wytyczne, jak mają zachowywać się w witrynie, czyli które strony mogą odwiedzać, a które nie.
Podstawę stanowią tu dyrektywy Allow i Disallow. Dzięki nim robot wie, czy może wejść na konkretny adres URL i go zeskanować (Allow), czy nie (Disallow).
Przykładowo taka informacja:
User-agent: *
Disallow: /wp-admin/
blokuje wszystkim robotom dostęp do wszystkich adresów należących do panelu administracyjnego WordPress.
Od tej zasady możesz jednak ustalić wyjątki, np. ukryć przed robotami wszystkie adresy z panelu oprócz jednego:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Ponadto możesz wyodrębnić kilka robotów, do których chcesz kierować komunikat, np.:
User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /
Plik robots to jeden z elementów, które mogą mieć wpływ na pozycję witryny w wyszukiwarce. W jaki sposób?
Robots.txt to swego rodzaju mapa, która wskazuje robotom kierunek poruszania się po Twojej stronie internetowej. Dzięki temu mają one dostęp do konkretnych jej fragmentów – dokładnie do tych, które mogą wpłynąć na pozytywną ocenę robota.
Przygotowując robotom taką instrukcję, jednocześnie informujemy je, które dokładnie adresy URL nie zawierają przydatnej dla nich treści oraz które nie dadzą żadnej wartości dla wyników w Google, Bing czy Yahoo.
Precyzyjna „mapa” to też szybsze indeksowanie strony w wyszukiwarkach. Roboty mają bowiem łatwiejszy dostęp do zawartości witryny i nie muszą po niej błądzić. Docenią to przede wszystkim właściciele skomplikowanych i rozbudowanych stron z setkami czy nawet tysiącami podstron (np. w branży e-commerce). Skanowanie takiej witryny w sytuacji, gdy nie przygotowano dla niej pliku robots, mogłoby zająć nawet miesiące. Roboty skupiałyby się na każdej ze stron z domeny głównej z osobna, co wydłużyłoby proces i mogłoby negatywnie wpłynąć na ocenę witryny.
W związku z powyższym audyt strony internetowej powinien koniecznie uwzględniać również plik robots. Ten – wydawałoby się nieznaczący – element ma naprawdę spore znaczenie dla pozycjonowania witryny.
Aby upewnić się, że plik robots na Twojej stronie działa, jak należy, najlepiej zasięgnąć opinii specjalistów. Analiza SEO to wielopoziomowy proces, którego efektem ma być dostosowanie witryny do wymogów wyszukiwarki Google (lub innych). Tego rodzaju weryfikację warto przeprowadzić zaraz po utworzeniu serwisu (tak, aby od początku by on zoptymalizowany), przed rozpoczęciem działań mających na celu jego wypozycjowanie, w momencie, gdy zauważasz spory spadek ruchu organicznego, jak również wtedy, gdy chcesz sprawdzić, czy Twoja strona nadal spełnia standardy SEO.
Przykładowo audyt strony internetowej agencja Sempai przeprowadza w sposób kompleksowy i skupia się nie tylko na takich kwestiach, jak meta tagi, słowa kluczowe, nagłówki w treściach i grafiki, adresy URL, przekierowania czy czas ładowania, ale także właśnie na tym, czy plik robots działa poprawnie. Jeżeli nie, to specjaliści Sempai edytują instrukcje tak, aby były zgodne z Twoją intencją oraz wymaganiami strony.
Mamy nadzieję, że przekonaliśmy Cię, jak istotny jest plik robots. Nie warto go ignorować, tym bardziej że jest tak prosty w przygotowaniu i implementacji na stronie.
Artykuł partnera
Redakcja Reklama Kontakt Nasze portale i blogi
Wszelkie prawa zastrzeżone | Dział tematyczny Mindly.pl | Zasady korzystania & Polityka prywatności
