robots.txt
Like
co to jest?
Plik robots.txt służy do wskazania dla robotów sieciowych jakie sekcje strony powinny być indeksowane. Możesz zapobiec indeksowaniu całej strony lub ustawić indywidualne ograniczenia dla konkretnych robotów.
Sam plik jest zwykłym plikiem tekstowym, który możesz utworzyć w zwykłym Notatniku. Powinien się on znajdować w katalogu głównym, w którym znajduje się strona.
Komentarze
Dodaj swój komentarzBardzo przydatny artykuł!!
A czy istnieje sposób, aby zmusić robota do zwrócenia szczególnej uwagi na jakąś konkretną stronę? Pytam tylko z ciekawości. I nie chodzi mi tu o SEO.
To tylko dodam, że do generacji robots.txt można wykorzystać przydatną stronę:
http://www.webmaster.net.pl/na.....erator.php
@Tazmir: Nie spotkałem się z takimi rozwiązaniami. Pomijając, że ciężko stwierdzić co miało by znaczyć “zwrócenie uwagi” ;-)
@Bartek: Nie znoszę generatorów ;) Tak samo jak nie cierpię WYSIWYG tak nie znoszę generatorów ;)
Jak napisze sobie sam to wiem, że powinno działać.
Ja akurat kilka dni temu zrobiłem u siebie robots.txt A, że szukałem u Ciebie jakiegoś opisu i jeszcze go nie było ;) to wygrzebałem ten generator. Na szczęście potrzebowałem wpisać tam tylko kilka linijek, wiec bez żadnych komplikacji się obyło.
A generatory bywają czasem przydatne, żeby zacząć od jakiegoś szkieletu. Potem to faktycznie pozostaje samo dłubanie :) Zazwyczaj w moim przypadku jest tak, że z samego szkieletu nawet nic nie pozostaje ;)
Åšwietny tekst, już u siebie umieściłem odpowiednie pliczki ^^
http://www.outfront.net/tutori.....robots.htm
Tekst pochodzi z roku 2002. Nie podałeś źródła. W moim słowniku nazywa się to “kradzież”.
Disallow: /porn/
Mogłeś się powstrzymać :P .
Pawle – prawda!
Przepraszam, błąd naprawiony.
Livio – jakoś nie mogłem :)
czy podanie źródła (i to gdzieś na dole) rozwiązuje sprawę? nie wydaje mi się, aby tamten tekst był na licencji GPL czy CC, a zatem wypadało zapytać autora – czy zrobiłeś to?
przykro mi, ale będę musiał chyba się zgodzić z Mikołajem – próbujesz się wylansować za wszelką cenę, nawet wykorzystania cudzego artykułu…
adaptacje tekstów angielskich są potrzebne i pożyteczne… ale nie jako plagiaty.
Takich opisów tworzenia tego pliku jest w sieci jest jakieś milion z hakiem. Jest rzeczą oczywistą, że nie da się tu nic nowego wymyślić – czy powinienem znaleźć pierwszego, który opisał proces tworzenia robots.txt i spytać go czy aby nie zastrzegł praw do tej publikacji?
ps. pozwolenia autorki na tłumaczenie i umieszczanie tego w polskiej sieci posiadam! Taki szczegół, który niektórym umknął.
Raczej – taki szczegół o którym nie wspomniałeś.
Nie pisałem też że .txt to rozszerzenie pliku tekstowego, ani że 2 2=4 (zazwyczaj).
Przyjąłem, że pewne rzeczy można uznać za oczywiste ale najwyraźniej nie dla wszystkich.
Kolejne nie merytoryczne komentarze pozwolę sobie usunąć.
Jeśli kogoś nadal trapi problem wykorzystania (tłumaczenia) jestem gotów wyjaśnić to (w ten sam sposób) via e-mail lub tel.
Bardzo dobry artykuł. Najlepiej ze wszystkich znalezionych przeze mnie w sieci ukazuje to co powinniśmy wiedzieć o tym “magicznym” pliku :-) Co do Waszych opinii – plagiat, złodziejstwo itd – głupota nie zna granic. Niedługo może ludzie nie będą mogli wypowiadać danych wyrazów bo ktoś już znany tak powiedział!
Pozdr i szczególne wyrazy podziękowania dla autora tekstu.
Jak dla mnie też jest to świetny artykuł.
cześć! Od jakiegoś czasu moje zasoby zżera mi pewien robot, a w zasadzie kupa robotów wchodzących bezpiośrednio z subdomen np. spider1.picsearch.com, jak można wykluczyć dostęp z tej całej domeny? Szukam i szukam, a niczego o tym nie zlanazłem :(
Z góry dzięki ;)
Polecam: http://www.picsearch.com/menu.cgi?item=Psbot
A jeśli to różne boty możesz spróbować “wycinać” je po IP.
Dzięki za odpowiedź ;)
A jeśli napiszę:
Disallow: /
Allow: /udostepniony/
To to zadziała? Czy zablokuje wszystko…
Albo odwrotnie, jak wpiszę:
Disallow: /prywatny/
Allow: /
To wszystko udostępni, czy zadziała tak jak byśmy chcieli?
Ma ktoś jakieś doświadczenia z takimi sytuacjami?
Dzięki za artykuł!
Pingi i Trackbacki
[...] poinformowało google do pliku robots.txt można dodać nową linię informująca roboty o położeniu “mapy [...]
[...] czasu postanowiłem napisać o pliku robots.txt. Jako, że moja wiedza jako początkującego w tematyce blogów opierała się w dużej mierze na [...]