Подскажите оптимальный язык для моего софта

ogiv

Создатель
Регистрация
26 Апр 2013
Сообщения
27
Реакции
4
Питон будет однозначно быстрее, ещё также настоятельно рекомендуется для таких задач использовать ssd-диски.
 

strannik_nuendo

Создатель
Регистрация
21 Мар 2016
Сообщения
32
Реакции
5
Дельфи для этих целей нормально. Питон - еще лучше.
Учтите, питон жрет значительно больше памяти. Но в дельфи с утечками памяти сложнее бороться.
Но, качественный код на Питоне пишется в разы быстрее чем на Дельфи.
 
Последнее редактирование модератором:

gothmog

Постоялец
Регистрация
18 Июн 2011
Сообщения
70
Реакции
29
На скриптах писать проще, но они больше памяти съедают. Нативные языки сложнее, но выше производительность. А вообще, оптимальное к-тво потоков (для винды) равно по 2 штуки на ядро процессора (нет такого, что чем больше, тем лучше). Если хотите сверх-быстродействия, то смотрите в сторону IOCP.
 

Senor_Vlad

Писатель
Регистрация
7 Май 2019
Сообщения
7
Реакции
1
Добрый день!
Заказал разработку программы (многопоточный чекер сайтов) у своего (так скажем) программиста.
Он делает прекрасный софт на Delphi, и до сего момента, у меня не было никаких нареканий.
Но в случае с этим софтом, мне кажется, что язык не подходящий, возможно я ошибаюсь.

Задача софта:

1. Обходить ежедневно около 2- миллионов доменов и парсить оттуда нужную мне информацию.
2. Складывать результата парсинга в базу.

Сейчас я запустил софт в 500 потоков, программист мне сказал, что Delphi не рекомендует такое количество потоков, рекомендует не более 25 потоков.
Я думаю так: чем больше потоков, тем быстрее софт должен обойти список сайтов, прав я или нет?

Когда запускаю софт в 500 потоков, он начинает великолепно работать первые минут 40, а потом скорость его работы снижается, прожорливость ресурсов несколько увеличивается...Вот я не пойму, то ли мне мучить его дальше, и пытаться доработать то, что есть, или искать другие варианты, а может вообще 25 потоков - это край для любого софта?

Может у кого-то есть работы с большими объёмами сайтов? Что лучше выбрать?
Без разницы в принципе на чём написан софт, скорость зависит от процессора, от ширины и пропускной способности канала и от умение программиста, чем мощнее компьютер тем больше можно создать потоков.
 

b0t0v0d

Писатель
Регистрация
7 Июн 2019
Сообщения
2
Реакции
0
Многопоточные парсеры лучше всего писать на Python и C. На Delphi можно написать толково, если он не первый год программирует.
 

Denzy

Добрый самаритянин
Регистрация
29 Июл 2016
Сообщения
124
Реакции
121
Вставлю свои 5 копеек.
Разработка софта происходит по определённому ТЗ.
Например. 64 битное приложение, будет запускаться на сервере с win 2016, сеть 100 мб/сек, параметры железа такие то. Программа должна уметь брать инфу от сюда, форматировать в нужном мне формате и закидываться в базу(Mysql/Microsoft SQL) и тд по списку хотелок.

По поводу использования ресурсов.

Какой бы язык программирования не был, всегда будет потеря памяти, но где то больше, где то меньше.
Это связано со многими факторами, самые банальные это криворукость программиста программы и криворукость программиста компонента, не оптимизированный код.

Я не закидываю помидорами программистов, но если для сравнения взять языки C++ и Delphi, то одну и ту же задачу в каждом языке можно решить минимум десятком способов. И у каждого из этого способа будут свои результаты производительности, используемые ресурсы и потери при нагрузке или без.

Если потери памяти большие, то как вариант, писать программу по частям на разных языках программирования.
 

MAVZ

Писатель
Регистрация
12 Фев 2020
Сообщения
3
Реакции
0
Я думаю Ваша проблема не в языке программирования, а в том, что Ваш провайдер со временем зарезает такое количество потоков. В софте такого рода бутылочное горлышко это связь с Интернетом. Попробуйте запустить тот же софт на сервере с толстым интернет-каналом, сразу почувствуете разницу.
 

kazeee

Писатель
Регистрация
26 Июн 2013
Сообщения
4
Реакции
0
Дельфи для этих целей нормально. Питон - еще лучше.
Учтите, питон жрет значительно больше памяти. Но в дельфи с утечками памяти сложнее бороться.
Но, качественный код на Питоне пишется в разы быстрее чем на Дельфи.
Парсер на питоне в 5 минут пишется, готовые библиотеки для таких целей благо в большом количестве есть
 
Сверху