По мотивам этой записи.
Клоакинг — это когда сайт отдает поисковикам один текст а людям другой.
Метод которым я провожу проверку далеко не идеален.
прошу внимательно вникнуть в суть того что делает прога, чтобы потом не было удивлений.
Но сначала еще немного теории. Когда вы запрашиваете страницу с какого либо сайта то вы передаете помимо IP и другие данные.
Например UserAgent.Так вот совершенно не сложно программными средствами выдавать страницу в зависимости от того какой UserAgent или IP у посетителя.
Тоесть боту яндекса одно, боту линкобиржи другое.
Что делает программа?
Заходит по очереди на каждый урл из списка. При этом значение UserAgent такое же как у яндекса. То есть прога получает то что вебмастер планирует отдавать яндексу.
!!!Поэтому если будете проверять то убедитесь что робот биржи считает, что ссылка находится в статусе ОК!!!
Далее ищет урл на странице и или находит или не находит. Если страницу не удалось загрузить или там редирект, то страница идет в список ошибок. Это не значит что яндекс будет ее плохо индексировать или еще что-то. Это значит только что моя прога, (состряпанная на коленке за пол часа), не смогла получить страницу.
Все потенциально мошеннические страницы сохраняются в папку, где расположена прога.
Это делается для того чтобы своими глазами посмотреть в код и принять решение о том мошенник вебмастер или нет.
Некоторые страницы не получается сохранить. Код таких можно посмотреть в окошечке слева снизу. Ввести адрес под словами «код страницы» и щелкнуть восклицательный знак
Важно:
Некоторые сайты (очень малая часть) страницу отдают, но как то не до конца, так что та часть в которой должна быть ссылка так и не загружается. Страница поподает в список обманщиков. (И ее код сохраняется в файл, так что вы сможете глазами увидеть такую ошибку скачивания) Такие страницы лучше всего смотреть вручную по кешу яндекса. Тоесть, если в HTML коде, который хранится в кеше яндекса, есть ссылка (не просто текст, а именно ссылка) то все ок и тревога ложная.
elsper.ru/wp-content/kl.rar
Высказывайте замечания, пожелания, вопросы.
Если вам понравилось или было полезно, то поставьте на меня ссылку, пожалуйста ^^
Автор:
Elsper.ru VN:F [1.9.14_1148]
Rating: 0.0/10 (0 votes cast)