Elsper

По мотивам этой записи.

Клоакинг – это когда сайт отдает поисковикам один текст а людям другой.
Метод которым я провожу проверку далеко не идеален.

прошу внимательно вникнуть в суть того что делает прога, чтобы потом не было удивлений.

Но сначала еще немного теории. Когда вы запрашиваете страницу с какого либо сайта то вы передаете помимо IP и другие данные.
Например UserAgent.Так вот совершенно не сложно программными средствами выдавать страницу в зависимости от того какой UserAgent или IP у посетителя.
Тоесть боту яндекса одно, боту линкобиржи другое.

Что делает программа?

Заходит по очереди на каждый урл из списка. При этом значение UserAgent такое же как у яндекса. То есть прога получает то что вебмастер планирует отдавать яндексу.

!!!Поэтому если будете проверять то убедитесь что робот биржи считает, что ссылка находится в статусе ОК!!!

Далее ищет урл на странице и или находит или не находит. Если страницу не удалось загрузить или там редирект, то страница идет в список ошибок. Это не значит что яндекс будет ее плохо индексировать или еще что-то. Это значит только что моя прога, (состряпанная на коленке за пол часа), не смогла получить страницу.

Все потенциально мошеннические страницы сохраняются в папку, где расположена прога.

Это делается для того чтобы своими глазами посмотреть в код и принять решение о том мошенник вебмастер или нет.

Некоторые страницы не получается сохранить. Код таких можно посмотреть в окошечке слева снизу. Ввести адрес под словами “код страницы” и щелкнуть восклицательный знак

Важно:

Некоторые сайты (очень малая часть) страницу отдают, но как то не до конца, так что та часть в которой должна быть ссылка так и не загружается. Страница поподает в список обманщиков. (И ее код сохраняется в файл, так что вы сможете глазами увидеть такую ошибку скачивания) Такие страницы лучше всего смотреть вручную по кешу яндекса. Тоесть, если в HTML коде, который хранится в кеше яндекса, есть ссылка (не просто текст, а именно ссылка) то все ок и тревога ложная.

elsper.ru/wp-content/kl.rar

Высказывайте замечания, пожелания, вопросы.

Если вам понравилось или было полезно, то поставьте на меня ссылку, пожалуйста ^^