[Ищу] парсер vk.com
- Автор темы aX0en
- Дата начала
Попробуем...
1. Источник вконтакте групы стриници (открытые и закрытые)
2. Вход на сайт с нескольких профилей и апи (использование прокси) (желательно)
3. Возможность скачивать все фото групы или определённые альбомы или фото по определённому запросу....
4. возможность сохрнять по выбору все фото в одну папку или сохронять альбомы папок
5. возможность сохронять названия и описания или присваивать им свои названия и описания или просто называть по порядку 1,2,3 и т.д.
6. возможность уникализировать фото поворотом на определённый градус и т.п., и авто обрезания, также возможность проверять уникальность фото (желательно)
7. Вожможность скачивать ссылки на видео с оисанием и без....... всей гррупу или по запросу....
8. возможность скачивать обсуждения всей групы или выборочные обсуждения
9. Сохранение текста желательно сделать несколько форматов (шаблонов).....
9.1. Возможность сохранение всего текста в 1 файл
9.2 Возможность сохранения каждого обсуждения в отдельный файл
9.3 Возможность проверять текст на уникальность и сохронять неуникальный контент другим цветом или выделять шрфтом (желательно)
10. Возможность скачивать профайлы участников групы или по поисковому запросу определённое количество
11. хотелось бы иметь встроенный браузер например посмотрел групу решил скачать и задал параметры....
Посторался написать возможно ктото хочет дополнить.....
З.Ы. Понимаю что отписал слишком много хотелок, но насколько понял что автор собирается сделать в дальнейшем какойто рыночный продукт поэтому он должен быть универсальным и всеобьемлющим...
1. Источник вконтакте групы стриници (открытые и закрытые)
2. Вход на сайт с нескольких профилей и апи (использование прокси) (желательно)
3. Возможность скачивать все фото групы или определённые альбомы или фото по определённому запросу....
4. возможность сохрнять по выбору все фото в одну папку или сохронять альбомы папок
5. возможность сохронять названия и описания или присваивать им свои названия и описания или просто называть по порядку 1,2,3 и т.д.
6. возможность уникализировать фото поворотом на определённый градус и т.п., и авто обрезания, также возможность проверять уникальность фото (желательно)
7. Вожможность скачивать ссылки на видео с оисанием и без....... всей гррупу или по запросу....
8. возможность скачивать обсуждения всей групы или выборочные обсуждения
9. Сохранение текста желательно сделать несколько форматов (шаблонов).....
9.1. Возможность сохранение всего текста в 1 файл
9.2 Возможность сохранения каждого обсуждения в отдельный файл
9.3 Возможность проверять текст на уникальность и сохронять неуникальный контент другим цветом или выделять шрфтом (желательно)
10. Возможность скачивать профайлы участников групы или по поисковому запросу определённое количество
11. хотелось бы иметь встроенный браузер например посмотрел групу решил скачать и задал параметры....
Посторался написать возможно ктото хочет дополнить.....
З.Ы. Понимаю что отписал слишком много хотелок, но насколько понял что автор собирается сделать в дальнейшем какойто рыночный продукт поэтому он должен быть универсальным и всеобьемлющим...
в принципе функция тоже лишней не окажется
Kane
Постоялец
- Регистрация
- 11 Окт 2007
- Сообщения
- 155
- Реакции
- 148
Отлично, Dgoneee. Это хороший список, но нужно уточнить некоторые вопросы.
1) Это будет ни десктопное приложение, а серверный скрипт для удобства автоматизированного парсинга большого обьема;
2) Чтобы не засорять тему - пишите предложения в личку. Всем активным участникам - тестирование наработок и версия в конце;
3) Что за запросы при отборе фото и видео должны быть?
4) Несколько форматов (шаблонов) для сбора текста. Какого вида и типа?
1) Это будет ни десктопное приложение, а серверный скрипт для удобства автоматизированного парсинга большого обьема;
2) Чтобы не засорять тему - пишите предложения в личку. Всем активным участникам - тестирование наработок и версия в конце;
3) Что за запросы при отборе фото и видео должны быть?
4) Несколько форматов (шаблонов) для сбора текста. Какого вида и типа?
Сори в личку 440 символов всего поэтому напишу пока здесь...
1. если скрипт пренозначен для парсинга большого количества информации то он должен парсить выдачу вконтакте по поиску груп, так как первые групы как правило спарсены и неинтересныто нестоит тратить время (ресурся) должна быть возможность указать парсить с 30 по 50 группу например... или выдачу парсинга груп стоит сохранять в виде текстогова файла который можно будет редактировать, например удалить первые 20 позиций и все после 50.....далее этото файл будет использоваться для парсинга самого контента
2. Сори насчёт фоток тупанул.... насчёт видео обычный запрос например "красивые машины"
3. Тексты самое интересное....
3.1 Название групы
Название обсуждения
Имя1текст
.....................................................................................................................................................................................................................................................................................................................................................
Имя 2 текст .......................................................................................................................................................................................................................................................................................................................................................
Название обсуждения 2
Имя1текст
.....................................................................................................................................................................................................................................................................................................................................................
Имя 2 текст ........................................................................................................................................................................................................................................................................................................................................
Название групы 2
Название обсуждения
Имя1текст
.....................................................................................................................................................................................................................................................................................................................................................
Имя 2 текст .......................................................................................................................................................................................................................................................................................................................................................
Название обсуждения 2
Имя1текст
.....................................................................................................................................................................................................................................................................................................................................................
Имя 2 текст ........................................................................................................................................................................................................................................................................................................................................
и тд.
3.2 Название групы (без имён)
Название обсуждения
.....................................................................................................................................................................................................................................................................................................................................................
Название обсуждения 2
.....................................................................................................................................................................................................................................................................................................................................................
Название групы 2
Название обсуждения
текст....................................................................................................................................................................................................................................................................................................................................................
Название обсуждения 2
текст....................................................................................................................................................................................................................................................................................................................................................
и тд.
3.3 всё как в 3,1 только сохраняется каждая група отдельно
3,4 всё как в 3,1 только сохраняется кождое обсуждение отдельно
3.5 всё как в 3,2 только сохраняется каждая група отдельно
3,6 всё как в 3,2 только сохраняется кождое обсуждение отдельно
3,7 ТЕКСТ
..........................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................
1. если скрипт пренозначен для парсинга большого количества информации то он должен парсить выдачу вконтакте по поиску груп, так как первые групы как правило спарсены и неинтересныто нестоит тратить время (ресурся) должна быть возможность указать парсить с 30 по 50 группу например... или выдачу парсинга груп стоит сохранять в виде текстогова файла который можно будет редактировать, например удалить первые 20 позиций и все после 50.....далее этото файл будет использоваться для парсинга самого контента
2. Сори насчёт фоток тупанул.... насчёт видео обычный запрос например "красивые машины"
3. Тексты самое интересное....
3.1 Название групы
Название обсуждения
Имя1текст
.....................................................................................................................................................................................................................................................................................................................................................
Имя 2 текст .......................................................................................................................................................................................................................................................................................................................................................
Название обсуждения 2
Имя1текст
.....................................................................................................................................................................................................................................................................................................................................................
Имя 2 текст ........................................................................................................................................................................................................................................................................................................................................
Название групы 2
Название обсуждения
Имя1текст
.....................................................................................................................................................................................................................................................................................................................................................
Имя 2 текст .......................................................................................................................................................................................................................................................................................................................................................
Название обсуждения 2
Имя1текст
.....................................................................................................................................................................................................................................................................................................................................................
Имя 2 текст ........................................................................................................................................................................................................................................................................................................................................
и тд.
3.2 Название групы (без имён)
Название обсуждения
.....................................................................................................................................................................................................................................................................................................................................................
Название обсуждения 2
.....................................................................................................................................................................................................................................................................................................................................................
Название групы 2
Название обсуждения
текст....................................................................................................................................................................................................................................................................................................................................................
Название обсуждения 2
текст....................................................................................................................................................................................................................................................................................................................................................
и тд.
3.3 всё как в 3,1 только сохраняется каждая група отдельно
3,4 всё как в 3,1 только сохраняется кождое обсуждение отдельно
3.5 всё как в 3,2 только сохраняется каждая група отдельно
3,6 всё как в 3,2 только сохраняется кождое обсуждение отдельно
3,7 ТЕКСТ
..........................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................