Menro
web, seo, email, hack
- Регистрация
- 27 Янв 2008
- Сообщения
- 689
- Реакции
- 138
- Автор темы
- #1
Добрый день!
Заказал разработку программы (многопоточный чекер сайтов) у своего (так скажем) программиста.
Он делает прекрасный софт на Delphi, и до сего момента, у меня не было никаких нареканий.
Но в случае с этим софтом, мне кажется, что язык не подходящий, возможно я ошибаюсь.
Задача софта:
1. Обходить ежедневно около 2- миллионов доменов и парсить оттуда нужную мне информацию.
2. Складывать результата парсинга в базу.
Сейчас я запустил софт в 500 потоков, программист мне сказал, что Delphi не рекомендует такое количество потоков, рекомендует не более 25 потоков.
Я думаю так: чем больше потоков, тем быстрее софт должен обойти список сайтов, прав я или нет?
Когда запускаю софт в 500 потоков, он начинает великолепно работать первые минут 40, а потом скорость его работы снижается, прожорливость ресурсов несколько увеличивается...Вот я не пойму, то ли мне мучить его дальше, и пытаться доработать то, что есть, или искать другие варианты, а может вообще 25 потоков - это край для любого софта?
Может у кого-то есть работы с большими объёмами сайтов? Что лучше выбрать?
Заказал разработку программы (многопоточный чекер сайтов) у своего (так скажем) программиста.
Он делает прекрасный софт на Delphi, и до сего момента, у меня не было никаких нареканий.
Но в случае с этим софтом, мне кажется, что язык не подходящий, возможно я ошибаюсь.
Задача софта:
1. Обходить ежедневно около 2- миллионов доменов и парсить оттуда нужную мне информацию.
2. Складывать результата парсинга в базу.
Сейчас я запустил софт в 500 потоков, программист мне сказал, что Delphi не рекомендует такое количество потоков, рекомендует не более 25 потоков.
Я думаю так: чем больше потоков, тем быстрее софт должен обойти список сайтов, прав я или нет?
Когда запускаю софт в 500 потоков, он начинает великолепно работать первые минут 40, а потом скорость его работы снижается, прожорливость ресурсов несколько увеличивается...Вот я не пойму, то ли мне мучить его дальше, и пытаться доработать то, что есть, или искать другие варианты, а может вообще 25 потоков - это край для любого софта?
Может у кого-то есть работы с большими объёмами сайтов? Что лучше выбрать?