niedziela, 13 marca 2011

Jak zablokować dostęp "złych botów" do strony www

Nie od dziś wiadomo, że w sieci krąży setki crawlerów.Sam kiedyś robiłem takie testy i powiem że zdziwiłem się widząc ich liczbę.Większość z tych robotów jest bezużytyczna (służy tylko właścicielowi robota) i pożera tylko transfer.Z tego powodu warto jest je zablokować.

Jak rozpoznać robota?
Zwykle pomocny w tym wypadku będzie nagłówek HTTP_USER_AGENT.Za pomocą tego nagłówka przeglądarka się identyfikuje.Można oczywiście zmienić taki nagłówek, ale większość botów tego nie robi.Polecam link do anglojęzycznego wpisu jak zablokować botom dostęp do strony.
Oczywiście obowiązkowo należy dać dostęp robotowi Google, Yahoo, Binga.

piątek, 11 marca 2011

Czemu służy spam report Google

Jakiś czas temu Google wprowadziło udoskonalenie dla użytkowników którzy szukając informacji w Google natrafili na niedopasowaną do zapytania stronę lub treść na tej stronie była żenująco niskiej jakości.Tak oto Google stworzyło formularz do zgłaszania spamu zwany Spam report.

Zadaniem tego formularza jest zgłaszanie witryn naruszających wytyczne Google dla webmasterów.Jak działa taki formularz?
Ano tak, że jeśli ktoś zauważy stronę naruszającą zasady dla witryn, to zgłasza taką stronę jako niskowartościową.Po drugiej stronie tego formularza "znajdują się" inżynierowie Google, którzy analizują zgłoszenia witryn.
Systematycznie na forum Google dla Webmasterów pojawiają się wątki w których osoby które znalazły stronę spamową i zgłosiły ją przez wspomniany formularz żalą się, że minęły 2 miesiące i raport nie odniósł skutku.Skutkiem miało być usunięcie strony z indeksu lub przynajmniej przesunięcie jej na należne jej miejsce.Owszem, raporty zgłoszenia spamu po części mogą być wykorzystywane do ręcznego nakładania kar na witryny istniejące w indeksie.Ale nie zawsze i nie jest to regułą.Proszę pamiętać, że w internecie istnieją miliardy witryn i nie ma najmniejszego sensu, aby witryny były filtrowane ręcznie.Za filtrowanie witryn docelowo musi odpowiadać algorytm.Tak więc w głównej mierze raporty spamu służą do zdiagnozowania słabości algorytmu i wprowadzeniu odpowiedniej poprawki do algorytmu.Jak wiemy Google corocznie wprowadza kilkaset drobnych poprawek do swojego algorytmu.Zmiany te rzadko są ogłaszane, głównie te poważniejsze (Mayday,Farmer Update).Zmiany które mają być wprowadzone muszą być przedmiotem dyskusji osób odpowiedzialnych w Google za wyniki wyszukiwania.Nierzadko taka dyskusja może ciągnąć się miesiącami, co powinniśmy mieć na względzie.Tak więc cierpliwości w zgłaszaniu spamu!

Warto zrozumieć jeszcze jedną rzecz, dlaczego strony o niskiej jakości pojawiają się w wynikach wyszukiwania.Jest to z jednej strony wynikiem słabości algorytmu, a z drugiej dwoma celami webmasterów lub wydawców reklam:
-wykorzystywanie stron w serpach jako zaplecze pozycjonerskie
-umieszczanie reklam (zwykle Adsense) na takich stronach.

Przyjmy się na chwilę pierwszemu przypadkowi.Zgodnie z teorią Marcina Duraja (Antygen.pl) nie powinno się zaplecza linkować między sobą.Zaplecze powinno linkować jedynie do głównej witryny.Zapleczówki to zwykle blogi na wordpressie lub pressel pages.Na takich blogach publikowane są artykuliki o ilości znaków ~1000 i wyglądające mniej więcej tak:
Każdy człowiek musi wypocząć.Wypoczynek jest nieodłącznym elementem życia, jest czasem pozwalającym organizmowi wypocząć oraz nabrać sił.Jeśli lubisz Mazury najlepiej wybrać się do pensjonatu Pod bocianem".W pensjonacie jest wszystko czego dusza zapragnie, tj. obfite śniadania, sauna, konie, w pobliżu znajduje się wiele jezior.
Zza oceanu dochodzą głosy, że nowy Farmer Update Google'a potrafi ocenić wartość merytoryczną tekstu, czyli jego przydatność na wybrany temat.Nie wiem jak to robią,ale jeśli to rzeczywiście prawda, to pierwszy podpunkt mamy rozpracowany.
Jeśli chodzi o strony made for Adsense, tu pomóc mogą użytkownicy.Nikt z nas nie jest zadowolony jeśli chce obejrzeć film online czy zagrać w grę flash, a w oknie playera wyświetla się reklama flash z hamburgerem, nijak nie związana ze stroną.Takie strony można wyeliminować jeszcze łatwiej, klikająć napis Reklamy Google i wypełniając formularz dotyczący złamania zasad witryny wyświetlającej reklamy Adsense.Zdarza się że jeden właściciel konta Adsense ma wstawione reklamy na kilku stronach, tak więc w przypadku zablokowania konta właściciel traci motywację do zakładania spamowych czy reklamowych stron.Dodam tylko, że dziennie na forum Google Adsense można znaleźć posty dotyczące zablokowania kont.

środa, 2 marca 2011

Rysowanie wykresów online

Rozpoczynamy kolejny cykl postów o tym, do czego można wykorzystać projekt Wolfram Alpha.

Zgłaszanie stron łamiących regulamin Google Adsense

W tym artykule napiszę nieco o stronach, które łamią regulamin korzystania z usługi Google Adsense.

Włamanie na serwer 4programmers

Post ten nie ma na celu pokazywanie jak słabi są admini 4programmers.net ale o tym, jacy są zapobiegliwi.Nie tak jak Allegro które zapiera się że do włamania nie doszło lub wina leży po stronie użytkownika, bo pewnie miał zawirusowany komputer i przez to hasła wyciekły.
Wczoraj dostałem maila o następującej treści:

Witaj doctor,

W związku z włamaniem na serwer 4programmers.net, prosimy o
profilaktyczną zmianę hasła
do swojego konta: doctor.

Formularz logowania: http://4programmers.net/Logowanie
Formularz zmiany hasła: http://4programmers.net/User/Psw
Formularz przypominania hasła: http://4programmers.net/User/Password

Przepraszamy za trudności,
pozdrawiamy

Serwis 4programmers.net


Sztuką nie jest zatuszowanie sprawy, sztuką jest przyznanie się do błędu i ochrona użytkowników.
Brawo 4programmers!

Jak sprawdzić czy moje hasło nie przedostało się do sieci?
Wpiszcie w Google
nick password dump

wtorek, 1 marca 2011

Google nie pobiera opłat za wpis do Map Google

Od miesiąca dochodzą mnie słuchy, że kilka firm w Polsce podszywa się pod Google i próbuje naciągnąć klientów na kasę.Ale po kolei.