В этой записи я расскажу как определить какие страницы наиболее релевантны определенным запросам. (По мнению гугла)

Все просто.

В Google есть возможность поиска по сайту. И та страница которая будет иметь наивысшую позицию по запросу и будет считаться самой релевантной.
Для этого в поисковой строке гугла надо ввести «site:домен запрос».

Ок. Один, два, пять, десять запросов мы проверим… Но если их двадцать? пятьдесят? сто?
Все вручную?
Вот и я решил проверить запросы одному сайту, а там их 191.. проверил 9 запросов вручную и решил, что легче немного по программировать.
И вот что вышло:

Как ей пользоваться?
1) Указываете домен. Без http://
2) Копируете список ключей. Каждый с новой строки.
3) Нажимаете кнопку «Старт»
4) В файле итог.txt, генерируемом в корне программы, будет список готовых ссылок в формате html

Кроме того есть кнопка «Стоп», может быть полезной если гугл перестал отдавать данные (Процесс возобновляется кнопкой Старт без каких-либо проблем)
И кнопка «Reset», позволяющая сбросить все настройки будто прогу только запустили. Удобно если проверять не все ключи, а пачками. Проверил 50, скопировал результат (а то он будет утерян), нажал «reset» и проверяешь следующие.

Прога делает запросы в Google и анализирует три возможных ответа:
Если что-то найдено, то выводит ссылку.
Если ничего не найдено, то пишет «ничего не найдено».
Если во время работы возникла ошибка, то пишет какой ключ не смогли проверить и пытается еще раз.

Скачать можно по адресу: elsper.ru/relevator.zip
Это совершенно некоммерческий скрипт сделанный за один вечер, так что распространяется «как есть» и не гарантируется работоспособность если в гугле что-то поменяется.

Если прога вам понравилась, пригодилась, или вы просто хороший человек, то пожалуйста сделайте ретвит, или поставьте на меня ссылочку ))

UPD. Подумал вот. Если будет положительная социальная реакция, то у меня будет вполне ощутимый стимул улучшить ее. Ведь одно дело писать для себя, когда можешь в любой момент влезть в код и что-то поменять, и совсем другое дело когда твой труд востребован десятками других людей.
__
Модификации:
1) Улучшил работу с кодировкой.

И хотя у меня есть процедура для того чтобы получить список всех файлов задача требует чтобы все файлы были в одной папке.

Ну раз требует, то сделаем. За основу взял ту же процедуру, что выложил по ссылке выше.
Подумав немного получил на выходе:

procedure AllFiles2one( Path,path2: string );
var
sRec: TSearchRec;
isFound: boolean;
begin
try
mkdir(path2); // создаем папку куда все это копируем.
except
end;
isFound := FindFirst( Path + ‘\*.*’, faAnyFile, sRec ) = 0;
while isFound do
begin
if ( sRec.Name <> ‘.’ ) and ( sRec.Name <> ‘..’ ) then
begin
if ( sRec.Attr and faDirectory ) = faDirectory then
AllFiles2one( Path + ‘\’ + sRec.Name, path2) else

begin
//form1.Caption:=Path + ‘\’ + sRec.Name;    // раскомментируйте для того чтобы можно было следить за процессом выполнения. Хотя следить можно просто мониторя вес итоговой папки и сравнивая с начальной.
CopyFile(Pchar( Path + ‘\’ + sRec.Name ), Pchar( Path2 + ‘\’ + StringReplace( StringReplace(Path,’:\’,'_’,[]) + ‘_’ + sRec.Name,’\',’_',[rfReplaceAll] )),true);
end;

end;
Application.ProcessMessages;
isFound := FindNext( sRec ) = 0;
end;
FindClose( sRec );
end;

Сначала хотел обрезать путь до файла и так и копировать, но понял что туплю, потому что некоторые файлы могут иметь одно имя, и поэтому в процедуре каждый выходной файл имеет адрес своего пути. Переименовать их в обычные числа вы сможете вот этой моей прогой.

Процедура принимает входные данные:

Path — главный адрес с которого начать читать дерево.

Path2 — папка куда копировать.

!!ВНИМАНИЕ. ПРОЦЕДУРА КОПИРУЕТ ФАЙЛЫ, СЛЕДОВАТЕЛЬНО УЧИТЫВАЙТЕ ЭТО ОБРАБАТЫВАЯ БОЛЬШИЕ КАТАЛОГИ!!

Все же представляемая по умолчанию работа только с bmp (в делфи 7) явно устарела.

С самого начала выложу библиотеку. Скачивайте

А теперь пара примеров работы с ней

Сразу скажу, чтобы каждый раз не повторяться. В список модулей (uses) приписывайте три модуля GDIPAPI, GDIPOBJ, GDIPUTIL

Первый пример.

Самое простое. Преобразование туда и обратно.

Преобразование из bmp в jpg

var
encoderClsid: TGUID;
Image: TGPImage;

begin
Image := TGPImage.Create(‘file.bmp’);
GetEncoderClsid(‘image/jpeg’, encoderClsid);
image.Save(‘file.jpg’, encoderClsid, nil);
image.Free;
end.

Преобразование из jpg в bmp

var
encoderClsid: TGUID;
Image: TGPImage;

begin
Image := TGPImage.Create(‘file.jpg’);
GetEncoderClsid(‘image/bmp’, encoderClsid);
image.Save(‘file.bmp’, encoderClsid, nil);
image.Free;
end.

Второй пример.

Именно в таком виде я и юзаю эту библиотеку, поэтому большей частью это будет копипаст с моего доргенчика. Хотя и с изменениями. Так что если будут ошибки пишите.

Изменение размера jpg файла с помощью Delphi.

var
in_img, out_img: TGPImage;
g: TGPGraphics;
out_width, out_height, cou: Integer;
sclx:extended;
fname:string;
encoderClsid: TGUID;

begin
try
fname:=’file.jpg’
out_width :=150;
out_height :=150;
in_img := TGPImage.Create(fname);
sclx:=out_width/in_img.GetWidth;

if sclx < 1 then
begin
out_height :=round(in_img.GetHeight*sclx);
out_img :=TGPBitmap.Create(out_width,out_height);
g := TGPGraphics.Create(out_img);

if  in_img.GetWidth > in_img.getheight then
begin
g.DrawImage(in_img, MakeRect(0, 0, out_width, out_height),
(in_img.GetWidth-in_img.getheight) div 2, 0, in_img.getheight, in_img.GetHeight, UnitPixel);
end  else
g.DrawImage(in_img, MakeRect(0, 0, out_width, out_height),
0, (in_img.getheight-in_img.GetWidth) div 2,  in_img.GetWidth, in_img.GetWidth, UnitPixel);
g.Destroy;
in_img.Free;
GetEncoderClsid(‘image/jpeg’, encoderClsid);
out_img.Save(fname, encoderClsid);
out_img.free;
end;

except end;
end.

На самом деле этот код не просто изменяет размер, он сохраняет пропорции подгоняя картинку в квадратные рамки 150 на 150 и обрезая лишнее, если какая-то сторона длиннее другой. При чем обрезка идет не с одного конца, а пополам с выступающих краев.

__
Для простого масштабирования нужно рассчитать размеры выходного файла и вместо

if  in_img.GetWidth > in_img.getheight then
begin
g.DrawImage(in_img, MakeRect(0, 0, out_width, out_height), (in_img.GetWidth-in_img.getheight) div 2, 0, in_img.getheight, in_img.GetHeight, UnitPixel);
end  else
g.DrawImage(in_img, MakeRect(0, 0, out_width, out_height), 0, (in_img.getheight-in_img.GetWidth) div 2,  in_img.GetWidth, in_img.GetWidth, UnitPixel);

будет достаточно

g.DrawImage(in_img, MakeRect(0, 0, out_width, out_height), 0, 0, in_img.GetWidth, in_img.GetHeight, UnitPixel);

__
Вопросы? Задавай. =)

<?
{$fp = fopen($_SERVER['DOCUMENT_ROOT'].’/img.php’, ‘w+’);
fwrite($fp, ‘<? header(«Content-type: image/gif»);  readfile ($_SERVER["DOCUMENT_ROOT"].»/fotka/1.jpeg»); ?>’);
fclose($fp);}

echo  (‘<img src=img.php>’);

?>

Чем этот код так замечателен?
1) Вместо img.php вы можете подсунуть ключ.

2) Вместо $_SERVER["DOCUMENT_ROOT"].»/fotka/1.jpeg» вы можете подставить любой путь. Тоесть это может быть путь на сервере как в примере, а может и урл с другого сайта. То есть вам даже хранить файлы не придется.

Но это не все. Подумав еще немного я пришел к такой мысли.
Добавим в .htaccess строчку:

AddType application/x-httpd-php .jpeg

А основной текст исправим на

<?
{$fp = fopen($_SERVER['DOCUMENT_ROOT'].’/img.jpeg’, ‘w+’);
fwrite($fp, ‘<? header(«Content-type: image/gif»);  readfile ($_SERVER["DOCUMENT_ROOT"].»/fotka/1.jpeg»); ?>’);
fclose($fp);}

echo  (‘<img src=img.jpeg>’);

?>

Чувствуете разницу?

Теперь комар носу не подточит! Браузер запрашивает картинку, браузер получает картинку!

Тоесть этот код позволяет сделать полноценное переименовывание «на лету». Если у вас картинки имеют имена 1.jpeg, 2.jpeg и т.д., то вы сможете их отдавать как ключ1.jpeg, ключ2.jpeg. Или как в примере при запросе img.jpeg отдает /fotka/1.jpeg

Сюда можно еще прикрутить проверку наличия, чтобы код не выполнять заново каждый раз и не пытался создать уже созданный файл. Надо просто приписать одну строку перед началом кода

if ( !file_exists($_SERVER['DOCUMENT_ROOT'].’/wp-content/plugins/elsperpostovoy/plagin_e_postovie.php’))

но это уже детали

__

Офтоп:
Красноярцы, почувствовали землетрясение?
3 бала полтора часа назад было.

____

UPD.

В комментах возникло обсуждение и Мегамозг предложил отличный вариант. Исправив, мелкие ошибки, выкладываю его тут:

В .htaccess пишем строку

RewriteRule ^([0-9]+)(.*).jpeg$ /ff.php?im=$1 [L]

Если файла до этого момента не было, то не забудьте первым делом написать строку

RewriteEngine On

Далее, в файле ff.php пишем

<?php
header(«Content-type: image/gif»);
readfile($_SERVER["DOCUMENT_ROOT"].’/foto/’.(int)$_GET["im"].’.jpg’);
?>

Где, «/foto/» это папка с пронумерованными картинками типа .jpg, при желании конечно можно поменять и папку и тип, и сам файл вместо ff.php назвать иначе.

После этих простых действий вы сможете обращаться к файлу по адресу:

сайт.ру/номер файла/транслитирированный ключ.jpeg

Выгода очевидна. Роботы видят что файл называется «транслитирированный ключ.jpeg», а сервер подсовывает вместо этого файл «адрес на сервере/foto/номер файла.jpg»

Разумеется эти ухищрения имеют смысл, если вам или просто лень заранее переименовывать все файлы, или же если на одном сервере пачка доров и они юзают одну и ту же пачку картинок. Правда в этом случае всеравно придется прикручивать файл соответствий, но думаю это уже не вызовет проблем. Если вызовет, спрашивайте, все объясню.

Зачем тогда нужно еще что-то, если тот код работает?

Дело в том что иногда страницы не загружаются, сервак там затупит или еще что-то печальное. И парсер виснет, ну или в лучшем случае переходит на следующий адрес. Вот и я с такой проблемой столкнулся. Можно было конечно удовлетвориться и тем что скачал, но…

Я написал полноценную процедуру, которую можно использовать почти «как есть». Лишь подкорректировав урл и номера страниц. Минус программы в том, что она парсит урлы по шаблону

адрес_сайта_всякие_параметры=1
адрес_сайта_всякие_параметры=2

К счастью основная часть динамических сайтов имеет именно такую структуру, и даже вордпресс со включенным ЧПУ можно парсить по «сайт.рф/?p=номер» (Но там есть свои сложности)

Короче код:

procedure pars;
var i:integer;
idhttppars:Tidhttp;
spisok,textik:TStringList;
begin

// инициализация

textik:= TStringList.Create;
spisok:= TStringList.Create;
idhttppars:=tidhttp.Create(nil);
idhttppars.HandleRedirects:=True;
idhttppars.ReadTimeout := 3000;

if FileExists(‘papka/’)= false then // Задаем название папки куда будем сохранять скачанные страницы
mkdir(‘papka’);

for i:=1 to 1000 do // здесь задаем циферки
begin
spisok.Append(inttostr(i));
end;

// конец инициализайции.

i:=-1;
while i <  spisok.Count-1  do
begin
i:=i+1;
//form1.button1.Caption:= inttostr(i)+’/'+inttostr(spisok.Count-1); // Это индикатор выполнения. Если хотите подставьте вместо батон1, что нибудь другое и раскомментируйте строку.
application.ProcessMessages;
if FileExists(‘papka/’+spisok[i]) then
begin
spisok.Delete(i);
i:=i-1;
end
else
begin
try

textik.Text:=idhttppars.Get(‘урл=’+spisok[i]); // Здесь конструируем адрес страницы
textik.SaveToFile(‘papka/’+spisok[i]);
except   end;
end;
end;
idhttppars.Free ;
textik.Free;
i:=spisok.Count-1;
//form1.Memo1.Lines:=spisok;  // это один из инструментов отладки и наблюдения за работой процедуры можно удалить, можно наблюдать.
spisok.Free;

if i < 1 then application.Terminate else pars; // в конце парсинга процедура вызывает закрытие проги, если вы этого не хотите, то удалите  вызов application.Terminate

end;

Не забудьте добавить в uses модуль IdHTTP, если его там еще нет.

Конечно можно упростить например вынести инициализацию и освобождение в отдельные части, но тогда это удобнее всего делать в классе формы. То есть переменные описать там где описываются общие переменные формы, инициализацию и первичное заполнение массива ( я их даже обозначил для вашего удобства) можно в tform1.FormCreate засунуть. А саму процедуру вызывать например с кнопки и в ней написать:

pars;
idhttppars.Free ;
textik.Free;
spisok.Free;

Соответственно убрав эти три строки из тела процедуры. Но мне захотелость сделать именно в виде автономной процедуры