Прога помогающая определить клоакинг

По мотивам этой записи.

Клоакинг — это когда сайт отдает поисковикам один текст а людям другой.
Метод которым я провожу проверку далеко не идеален.

прошу внимательно вникнуть в суть того что делает прога, чтобы потом не было удивлений.

Но сначала еще немного теории. Когда вы запрашиваете страницу с какого либо сайта то вы передаете помимо IP и другие данные.
Например UserAgent.Так вот совершенно не сложно программными средствами выдавать страницу в зависимости от того какой UserAgent или IP у посетителя.
Тоесть боту яндекса одно, боту линкобиржи другое.

Что делает программа?

Заходит по очереди на каждый урл из списка. При этом значение UserAgent такое же как у яндекса. То есть прога получает то что вебмастер планирует отдавать яндексу.

!!!Поэтому если будете проверять то убедитесь что робот биржи считает, что ссылка находится в статусе ОК!!!

Далее ищет урл на странице и или находит или не находит. Если страницу не удалось загрузить или там редирект, то страница идет в список ошибок. Это не значит что яндекс будет ее плохо индексировать или еще что-то. Это значит только что моя прога, (состряпанная на коленке за пол часа), не смогла получить страницу.

Все потенциально мошеннические страницы сохраняются в папку, где расположена прога.

Это делается для того чтобы своими глазами посмотреть в код и принять решение о том мошенник вебмастер или нет.

Некоторые страницы не получается сохранить. Код таких можно посмотреть в окошечке слева снизу. Ввести адрес под словами «код страницы» и щелкнуть восклицательный знак

Важно:

Некоторые сайты (очень малая часть) страницу отдают, но как то не до конца, так что та часть в которой должна быть ссылка так и не загружается. Страница поподает в список обманщиков. (И ее код сохраняется в файл, так что вы сможете глазами увидеть такую ошибку скачивания) Такие страницы лучше всего смотреть вручную по кешу яндекса. Тоесть, если в HTML коде, который хранится в кеше яндекса, есть ссылка (не просто текст, а именно ссылка) то все ок и тревога ложная.

elsper.ru/wp-content/kl.rar

Высказывайте замечания, пожелания, вопросы.

Если вам понравилось или было полезно, то поставьте на меня ссылку, пожалуйста ^^


Автор: Elsper.ru


VN:F [1.9.14_1148]
Rating: 0.0/10 (0 votes cast)

6 thoughts on “Прога помогающая определить клоакинг

  1. Спасибо теперь понял как работает этот механизм. Но насколько распространено это явление? Хотя после последних событий с АГС я думаю у многих возникнет желание делать клоакинг.

  2. 1-2% площадок.
    Но может это я просто ГС беру :))
    А за клоакинг можно схлопотать бан быстро, а это еще хуже АГС.

  3. залупан можно схлопотать =)
    вы думаете бдет бан???
    сайт приносит бирже деньги, поэтому максимум что они смогут сделать, так это занести все проэкты клоакерщика в ГБЛ лист вашего акаунта =)

  4. Ну биржа банит конечно. Надеюсь.
    Это в их интересах, я например после того как столкнулся с этим перестал покупать ссылки в линкфиде.

    Да и для яндекса это тоже явное и грубое нарушение его правил.
    Клоакинг традиционно относится к черному сео.

  5. linksgood.ru — тут автор предлагается более эффективный метод. Проверка, что отдается IP Яндекса..

  6. Наверное эффективно было бы использовать оба метода одновременно, потому что не известно какой из способов выбрал потенциальный обманщик.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Спoнcopcкиe ссылки