[DMI] DMII Doorway Generator v2.1

[gelous]

Млин я вот не могу понять - сеосео с феей на аватаре, ты минималку набрал? Как можно не поставить перл и потом спрашивать нужно ли бедать сгибин =(

ПС вопрос с кривыми картинками жив!

ПСПС 10к доров за 50 минут? ты парсишь трекер или овертрюру на саплиментал кеи? или со своими словаями? Просто даже если я загоню 10к кеев в задания, он по моим рассчетам делать будет дней 10, хотя он находит подходящие в списке и сует в сопли.

 

[zaqwsx_]

да уж, у меня 4 к делает 2 дня, а у автора 10к за 50 минут, это конечно должен быть просто футуристический сервак.

 

[zaqwsx_]

а можно этим доргеном не генерировать слоаврь, а потом делать дор, а сразу все. т.к. если дор делать по разным тематикам, то потом по всем этим словам надо вытягивать словари, и потом делать доры, все очень тяжело, и не поворотливо

 

[Smilemf]

да уж, у меня 4 к делает 2 дня, а у автора 10к за 50 минут, это конечно должен быть просто футуристический сервак.

вот выдержка из мануала:

Нужно понимать, что скорость доргена зависит от характеристик системы. Каких то конкретных требований я не предъявляю. Нужно ориентироваться под ваши запросы.
Могу сказать лишь ориентир:
Сервер: p4 2.8/ 512 ram /Fedora + Apache2 +perl 5.8.8 + mod_perl
Сложный шаблон: 20-30 страниц в секунду
Легкий: 70-80 страниц в секунду.

А вот как у меня
10к страниц - 50 минут
10000/50= 200 страниц в минуту
200/60= 3,3 страницы в секунду
незнаю пацаны что у вас там глючит, но даже на моём наисложнейшем шаблоне (на каждой странице около 15-20 макросов) на Атлоне 3000+ выдаёт 10 к за 50 минут
Добавлено через 2 минуты

ПСПС 10к доров за 50 минут? ты парсишь трекер или овертрюру на саплиментал кеи? или со своими словаями? Просто даже если я загоню 10к кеев в задания, он по моим рассчетам делать будет дней 10, хотя он находит подходящие в списке и сует в сопли.

я делаю большие доры от 1000 и больше страниц, в зависимости от кея. идут обычные кеи+мисспелы+кеи с географическими уточнениями

 

[zaqwsx_]

а если делать словарь, и на пол дороге умирают потоки, то потом словарь надо заново пересоздавать, он весь побьется ? или можно продолжить дальше, нажать "Create Dict".

 

[blackspy]

По новой начнёт словарь собирать грабить тот же контент и опять сдохнут потоки. Кнопки resume нет.

 

[Грош]

Подскажите плиз как модули перла на денвер установить, и где их скачать?

 

[gelous]

cmd.exe ppm

предчувствую, что не светит тебе его поставить друг

 

[Seom]

А вот как у меня
10к страниц - 50 минут
10000/50= 200 страниц в минуту
200/60= 3,3 страницы в секунду
незнаю пацаны что у вас там глючит, но даже на моём наисложнейшем шаблоне (на каждой странице около 15-20 макросов) на Атлоне 3000+ выдаёт 10 к за 50 минут

у меня тоже нормально генерит. только что 1200 страниц за 9.02

Добавлено через 7 минут

Подскажите плиз как модули перла на денвер установить, и где их скачать?

чтобы подобных вопросов стало меньше я собрал в один пост информацию по установке. просьба не пинать, это не плагиат, а просто упорядоченная инфа по установке.
1) сначала устанавлиаем денвер.
2) потом устанавливаем на него перл. 5.8.8
...
Как установить/обновить Perl в Денвере?
Если имеется «чистый» Денвер (без пакета расширения с Perl), то поставить ActivePerl 5.8.8 элементарно. Скачиваем инсталлятор с сайта ActiveState, запускаем его и указываем для установки путь «C:\WebServers\usr\» (где «C:\WebServers\» — путь, куда Вы устанавливали Денвер) в качестве пути для установки. Далее всё как обычно.
вполне вероятна ситуация, когда инсталлятор будет ругаться на то, что папка «C:\WebServers\usr\» уже существует.
но этой проблеме есть очень простое решение: сначала переименуйте папку «usr» в, скажем, «usr1», установите новую версию ActivePerl, после чего скопируйте все файлы из новой папки «usr» в старую «usr1» (переписывая, если предложат, новые файлы поверх старых); удалите новую «usr» и затем переименуйте «usr1» обратно в «usr».
...
3)установка самого доргена.
Давай начнем с начала. Создай в папке z:/home папку dmi2.ru, в ней папку www далее папку doorgen => (z:/home/dmi2.ru/www/doorgen/). Игнорируем папки cgi-bin и dg т.е. извлекаем все в одну папку (doorgen) созданную выше, получается , что index.html находится в z:/home/dmi2.ru/www/doorgen/index.html и тамже doorgen.pl.
Теперь создаем файлик .htaccess со строчками: RemoveHandler .html .htm
AddType application/x-httpd-php .htm .html .php .pl
php_value error_reporting 7
Options +ExecCGI
После этого меняем пути до index.html в файле Funct.pm =>
################## !!!!ССЮДА ВСТАВЛЯЕМ СВОЙ УРЛ!!!
$index_url = 'http://dmi2.ru/doorgen/';
################## !!!!
и в файле index.html в 16 строке <FRAME SRC="../doorgen/index.pl" NAME="page">
Все! Запускаем из браузера Для просмотра ссылки Войди или Зарегистрируйся
4) установка дополнительных библиотек
например в фаре зайти в директорию с перлом. в командную строку ввести.
perl -MCPAN -e shell
install Net::FTP
install Archive::Zip
install LWP
install CGI
install FindBin
install POSIX
install File::Copy
install Benchmark
install Socket
install GD
install HTTP:arser
exit
GD пишет что все ок, но нифига не ок. у меня (и не только) все равно GD не работает.
идем по этой ссылке ppm install _ttp://theoryx5.uwinnipeg.ca/ppms/GD.ppd и GD устанавливается.
правда картинки все равно кривые выходят, но это уже не важно.
после ставим ZIP
_ttp://cpan.rinet.ru/authors/id/A/AD/ADAMK/Archive-Zip-1.20.tar.gz (просто скопировать из папки Archive-Zip-1.20.tar.gz\Archive-Zip-1.20\lib\Archive) в каталог денвера Z:\usr\site\lib\Archive\
5) при запуске генерации или сбора словаря из броузера у меня лично зависает, поэтому запускаем из консоли.
perl -W doorgen.pl имяпрофайла - запуск генерации страниц.
perl crdict.pl - сбор словаря.
6) возможная проблема с редиректом.
чтобы заработал, в шаблонах сразу после <head> (можно и в другое место) вставь:
Это для шаблонов страниц (page.html)
===============================================
<script language="JavaScript" src="script.js"></script>
<script language="JavaScript">script("[Key_pag+]")</script>
===============================================
А сам ява скрипт, папка cfg/default.redirect.js сделай таким:
===============================================
function script(keyword) {
var ref, str, keyword, url;
ref=document.referrer;
url="http://www.google.com/search?q="+keyword;
location.replace(url);}
===============================================
А в шаблоне индексной страницы, если нужен редирект, то ставим:
===============================================
<script language="JavaScript" src="script.js"></script>
<script language="JavaScript">script("[Key_main+]")</script>
===============================================
И всё будет работать
вроде все. если и после этого что-то непонятно будет...

 

[zaqwsx_]

А чтотакое может быть, если словарь натянулся в 14 метров, а в резултате такое :
Name Text Naun Vrb Adj Adv WComb Tmpl Status shopping 10.04 MB 8147 5287 3085 474 601 27305 Parsing
travel+insurance:606.50kb pharmacy 37.36 MB 0 0 0 0 0 0 Set functs



т.е. почему создаются ловари, где нет сушествительных, глаголов, и т.п. Т.е. все по 0 ?