Доступ к демо:

Доступ к демо по запросу: Telegram или контакты в шапке сайта.

Описание

Требования:

Версия SelfParser 3.7
Версия PHP 5.6 - 7.4
Dle 12.X - 15.X (за доплату можно настроить под любую)
IonCube Loader

SelfParser - универсальный парсер новостей, товаров. Сам парсер не требует базу данных, полученные данные Вы можете сохранять в любой формат. Что бы понять принцип работы парсера, читайте эту статью до конца. На днях выложу новое видео, так как то что сейчас, это по старой версии.

Особенности и работа парсера

Как я уже сказал, парсер работает сам по себе и не требует подключение базы данных. Он получает контент и отдает его обработчику, который может написать любой знающий PHP программист. Но не пугайтесь. На данный момент в комплекте уже есть один обработчик, который работает конкретно с DLE. Сейчас парсер может собирать данные, такие как текст, картинки, файлы, при этом все заливает на Ваш сервер Подходит для парсинга торрентов, игр и т.д. всего что есть на сайте. Так же есть авторизация, но работает пока с DLE сайтами и находится в альфа версии.


Если у меня другая CMS

Ещё раз обращаю внимание, что если у Вас другая CMS, и вы владеете PHP, Вам всего лишь останется взять полученные данные и залить их в базу или куда нужно, хоть в файл сохранять. Парсер за один проход выполняет сбор по одной странице.


Если Вы желаете написать свой обработчик, я подскажу как и куда положить, хотя профи итак догадается :D.

Парсер отдает полученный результат в кодировке UTF-8, далее в обработчике Вы можете конвертировать если нужно в любую другую кодировку. Вы можете посмотреть обработчик для DLE и все поймете.


Возможности

  • Независимая админка.
  • Парсер работает не зависимо от того, какая CMS установлена и установлена ли вообще.
  • Возможность создавать неограниченное количество шаблонов (сайтов для парсинга).
  • Может получать данные как с сайтов кодировка которых windows-1251 так и UTF-8, а так же конвертировать все полученные данные или отдельный контент в UTF-8.
  • Может получать картинки и файлы из контента. Обработчик DLE их сохраняет вам на сервер и заменяет пути картинок в контенте на ваши, и файлы сохраняет к вам на сервер в папку uploads/files/... как положено и добавляет их в дополнительные поля или просто в файловый менеджер, если нет соответствующего дополнительного поля.
  • При создании шаблона, можно проверить его работу, как он получает контент.
  • Парсить контент как с HTML тегами, так и без них.
  • Включение / выключение шаблонов.
  • Удобная группировка шаблонов.
  • Ведение логов.
  • Просмотр процессов.
  • Статус активности.
  • Возможность парсить данные через прокси SOCKS5, в формате IP:PORT.
  • Возможность удалять скрипты или не удалять.
  • Возможность удалять ненужные элементы из полученного контента.
  • Возможность заменять или вырезать слова, фразы, код из полученного контента как по точному совпадению, так и по регулярному выражению.
  • Парсер обходит каждый созданный Вами шаблон по очереди и проходится по всем новостям или товарам донора. Обработчик DLE сохраняет новость если такой ещё нет (сверяется по заголовку). Если новость уже есть, он переходит к парсингу нового шаблона и так по кругу.
  • Работа по крону через простой HTTP запрос.
  • Адаптивная панель управления.
  • Для DLE:
    - возможность добавлять полученные данные в доп поля (текст, картинки, галерею и т.д.)
    - добавлять данные как в одну, так и сразу в несколько категорий на сайт.
    - добавлять новые посты сразу или ставить на модерацию.


Для идеальной работы парсера по крону, необходимо установить запуск не менее 1 - 2 раза в минуту.


Демо даю по запросу. Деньги после покупки не возвращаются, поэтому тестируйте в демке, если нравится, покупайте.

Парсер не работает с AJAX сайтами, которые не имеют пагинацию.


Цены

1 лицензия = 1 домен.

  • 10 т.р. - 10 лицензий + 2 бесплатных обновлений не включая обновления из первого пункта.
  • 20 т.р. - неограниченное кол-во лицензий + бесплатное обновление до момента реализации страниц настроек и логов (включая).
  • 50 т.р. - полный без лимит. Бесплатные обновления и поддержка.

Дополнительно:

    от 700 р. за настройку одного шаблона, если не получается настроить самому. Цена зависит от кол-во доп. полей и сложности их получения.


Обновление SelfParser 1.3

Новые функции и возможности парсера:

  • Добавлена возможность парсить сайты через прокси.
    Список прокси указывается в файле selfparser/data/proxy.txt в формате (IP:port). Каждый новые прокси с новой строки. Не оставляйте пустых строк.
    Если файл пустой, то парсер работает в обычном режиме.
  • Добавлен функционал, который умеет заменять или вырезать слова, фразы или код из полученных данных.
    Есть как простая замена так и с регулярными выражениями, что позволяет очень гибко настроить получение нужных данных.
  • Реализованы все страницы: логи, процессы, настройки, прямая ссылка на запуск, faq.
    Логи показывают такие данные как:
    - старт парсера;
    - запуск, остановка парсера;
    - прокси и время получения данных в секундах;
    - ссылка на источник, ID новости с ссылкой на новость, которая уже есть на сайте (информация о том, что новость не была добавлена);
    - информация о переключении шаблона или о невозможности получить контент;
    - размер файла логов на первой строке. При достижении 1Mb удаляется первая строка и добавляется новая, что позволяет предотвратить нагрузку. Файл обновляется автоматически (через AJAX). Есть кнопка пауза, что бы остановить обновление и просмотреть нужную строчку в логов.
  • Добавлена возможность сохранения картинок на сайт в дополнительные поля как одного изображения, так и галереи, читайте далее.

Добавление и загрузка картинок на сайт раньше работала только из полученного контента, см. видео. Теперь есть возможность загружать изображения через опцию (картинки). Как это делается читайте далее.

  1. Выбираете получить элемент -> картинки.
  2. В поле название поля если указать XF-fieldname | свое название, то полученные изображения будут добавляться в доп поле fieldname. При этом в поле код должен быть указан путь к картинке, например .sidebar img:eq(0) - найдет первую картинку из элемента с классом sidebar.

Если вы хотите загружать изображения в поле с одним изображением, то в поле код должно быть указан код для получения только одного изображения, иначе в доп.поле ничего не запишется.

Если вы хотите загружать в галерею изображений, то в поле код должно быть указано получение несколько изображений.

Если приставку XF-... не указывать, то полученные изображения, просто будут загружены на ваш сайт, но нигде не будут присутствовать в базе DLE.

Эта функция ещё в тестовом режиме, но все работает пока хорошо. Все ваши пожелания пишите в комментариях.


Все Ваши вопросы и пожелания пишите в комментариях или в поддержку.


За получением ключа обращайтесь в поддержку, указав адрес сайта, где будет установлен парсер.

Установка парсера бесплатна.


Обновление SelfParser 1.5

  1. Добавлена возможность включать / выключать шаблон на странице списка шаблонов.
  2. Добавлена функция копирования шаблонов.
  3. Изменена логика обработки шаблонов. Выключенные шаблоны теперь не обрабатываются, тем самым не тратя 1 минуту за просмотр одного шаблона.
  4. В обработчике можно указать теперь префикс базы, а так же добавлена возможность получать ссылку на источник в доп поле. По умолчанию дополнительное поле должно называться source. Его можно изменить так же в обработчике.



Обновлен обработчик. Теперь можно при парсинге файлов, например торрентов или подобных, загружать его в дополнительное поле.

Просто замените обработчик.

Не забудьте изменить доступы в этом файле, к базе и $dle_config.

что бы файл загружался в доп поле, укажите его в элементе files_fields.


Обновление SelfParser 2.1

Смотрите скриншоты во вкладке выше...


Полностью переделан обработчик.

Добавлены настройки в шаблон.

Исправлены баги с загрузкой файлов.

Добавлены стандартные функции от DLE, для обработки данных.


Обновление SelfParser 3.2

1. Добавлена настройка продолжения обработки постов на уровне шаблона. Т.е. когда парсер дошел до новости, которая у вас уже имеется, он будет дальше идти по постам данного шаблона находя новости, которых ещё нет в базе и добавляя их и пропуская те которые есть.

2.Усовершенствован функционал по простой замене и по регулярному выражению. Добавлено поле, которое принимает значение (название поля) по которому производить замену, не затрагивая весь контент. Т.е. Вы можете произвести замену в конкретном поле.
3. Для поля файл, добавлена возможность указать тип ссылки. Это только для сайтов-доноров, которые на DLE. Когда ссылка скрыта, смотрите пример.

Находите ссылку, ставите чекбокс и видите, что ссылка воспринимается правильно.

Обновление SelfParser 3.4

1. Исправлены некоторые баги.

2. Добавлена возможность парсить изображения, которые работают через LazyLoad. Причем это работает автоматически, не требует никаких вмешательств.

3. Изменено немного оформление.


Обновление SelfParser 3.9

  1. Добавлена сортировка шаблонов. В каком порядке их отсортировали. в таком они и будут парситься. При добавлении нового шаблона следует выполнить перестроение, что бы оно применилось. Неактивные шаблоны не попадают под сортировку.
  2. Очистка логов и процессов по крону.
  3. Исправлен баг, когда последняя страница не парсилась.
  4. Исправлен баг с картинками, если на доноре работает LazyLoad.
  5. Исправлена мобильная верстка. Изменен стиль логов и некоторых элементов в парсере.


Обновление SelfParser 4.0

  1. Исправлена авторизация в парсере.
  2. Некоторые ресурсы не отдавали изображения, блокируя скрипт, исправлен момент.
  3. Добавлено поле для вставки ссылок, для парсинга напрямую.
  4. Зафиксирована кнопка сохранить в шаблоне.
  5. Кнопка запуска парсера перенесена в начало меню. А так же исправлены мелкие баги.

Скриншоты

  • Шаблон парсера
  • Получение данных
  • Список шаблонов парсера
  • Настройки парсера
  • Логи парсера

Комментарии 112

  1. +1

    booom2

    Спасибо
    6.03.2022 21:58 Ответить
  2. 0

    smngr

    До этого уже работал с этим парсером, но дело было ещё в 2018 году и некоторые функции в той версии ещё не были реализованы и я решил, что лучше развивать проект уникальным контентом. Время шло, мне надоело заниматься сайтом, доход стал падать. Стало очевидно, что нужно что-то делать. Для эффективного решения вчера приобрёл последнюю версию парсера, но возникла проблема - у моего сайта версия DLE 12.1. Автор, за дополнительную плату, буквально переделал парсер под мою версию движка. Просто нереальное уважение. Парсер работает как часы и обладает огромным количеством полезных функций - начиная от синонимайзера и возможностью перевода текста (с донора, естественно), и заканчивая парсингом чего угодно куда угодно. Это идеальный инструмент для наполнения сайта контентом.
    14.01.2022 23:25 Ответить
  3. 0

    itsmyfox

    Приобрел этот парсер для DLE "5 ноября 2021 года". В интернете аналогов точно нет, я проверял.
    Сегодня 25 декабря 2021 года. На моем сайте более 13 тысяч статей, парсер работает в автоматическом режиме и не требует моего внимания.
    Работаю я инженером, времени особо нет заниматься по будням добавлением статей. Мне достаточно настроить шаблоны, по которым будут публиковаться статьи с сайта-донора и можно заниматься своими делами или работать. Самое лучшее удобство по мне, это когда парсер прекращает свою работу и уходит в цикл, то есть снова проверяет те же самые категории и загружает новые/актуальные статьи. То есть один раз настроил и запустил, он круглосуточно загружает актуальные статьи, картинки и файлы на мой сайт.
    Множество раз писал разработчику парсера, ввели множество изменений и исправлений, после чего парсер буквально преобразился за месяц и стал работать еще лучше, чем предыдущие версии.
    О возможностях рассказывать не буду, достаточно протестировать его на сайте у разработчика, чтобы ощутить все то, что будет делать парсер за Вас!
    Благодарю за такой хороший продукт, буду им и дальше пользоваться. Спасибо огромное.
    25.12.2021 16:05 Ответить
  4. +2

    mirtoff

    Братан парсер топ! почекал, трудности не были, работает просто вау! АУФ! спасибо братан. меня все устраивает) главное мне не дизайн а качество самой работы парсера! спасибо огромное чел)) пусть тебя бог благославит))
    25.12.2021 15:20 Ответить
  5. +1

    ZzzBep

    Я возможно туплю.
    Но вопрос такой, сайт с которого хочу парсить на другой CMS, а на который хочу на DLE.
    Я так понимаю это возможно?
    То есть парсю как надо по шаблону и добавляю в базу на сайте DLE ?
    1.10.2021 15:14 Ответить
    1. 0

      Kylaksizov

      Да, так и есть.
      Что бы убедится, что парсер будет парсить донора, протестируйте в демо версии, которую можно найти в начале статьи.
      1.10.2021 15:15 Ответить
      1. 0

        ZzzBep

        А с rss парсить есть возможность?
        1.10.2021 15:29 Ответить
      2. 0

        Kylaksizov

        Нету. Можно сделать за доплату.
        1.10.2021 15:36 Ответить
      3. 0

        ZzzBep

        Какова цена доплаты?
        1.10.2021 15:51 Ответить
      4. 0

        Kylaksizov

        Отписал в личку.
        1.10.2021 17:01 Ответить
  6. 0

    Don4anin

    Купил парсер, пришло письмо но без ссылки на скачивание
    25.07.2021 19:29 Ответить
    1. 0

      Kylaksizov

      Вы купили как зарегистрированный пользователь, поэтому ссылка на скачивание появится на этой странице после оплаты, то есть уже она должна быть видна Вам.
      И советую всем регистрироваться и покупать под своим аккаунтом, что бы иметь возможность скачивать обновления.
      25.07.2021 21:34 Ответить
  7. 0

    https

    Здравствуйте неподскажите тв прграму тоже можно парсить ,видио с ютуба + рутуба ,море ,иви .
    19.07.2021 06:36 Ответить
    1. 0

      Kylaksizov

      Видео нет, нужно писать обработчик...
      19.07.2021 14:23 Ответить
      1. 0

        https

        Ачерез доп поле будет вставлять ссылки на видио
        19.07.2021 17:02 Ответить
      2. 0

        Kylaksizov

        Да, будет.
        19.07.2021 17:12 Ответить
  8. 0

    Александр

    Здравствуйте. Подскажите вы все сайты можете спарсить? Или может быть такого что нет сайта? Так-же вопрос по поводу прокси. Имеется возможность работы через прокси?
    18.07.2021 16:04 Ответить
    1. +1

      Kylaksizov

      Добрый день. Я ничего не парсю, парсит сам парсер.
      Проверить можно самому в демо версии, ссылка и доступы в начале статьи.
      И советую посмотреть видео, сразу отпадет куча вопросов.


      18.07.2021 19:16 Ответить
  9. -1

    Andrey

    Здравствуйте. Есть ли обновление новости?
    Например есть новость Google Chrome v1, чтобы каждый раз обновлял одну и ту же новость по её ID. Или он только добавляет новые новости?
    18.05.2021 14:41 Ответить
    1. 0

      Kylaksizov

      Только добавляет.
      Что бы обновлял, нужно переписать обработчик.
      18.07.2021 19:16 Ответить
  10. 0

    travelearn

    Как обновить парсер?
    10.02.2021 18:03 Ответить
    1. -1

      Kylaksizov

      Скачиваете и обновляете, ничего сложного.
      10.02.2021 18:28 Ответить
      1. 0

        travelearn

        Как скачать парсер,сылка где находится для скачивания и обновления?

        чтобы скачать необходимо заново оплачивать???
        10.02.2021 20:37 Ответить
      2. -1

        Kylaksizov

        Если Вы покупали парсер, то Вам должна быть видна ссылка на скачивание вверху возле кнопки DEMO. Обновление до версии 3.0 платное (300р.)
        10.02.2021 20:43 Ответить
      3. 0

        travelearn

        я покупала парсер 1,5 версии но никакой сылки на скачивание файла я не наблюдаю,может из за того что не была зарегистрирована на вашем сайте, как быть в данной ситуации?
        10.02.2021 21:45 Ответить
      4. 0

        Kylaksizov

        Регистрируйтесь на сайте, и напишите через обратную связь номер заказа предыдущий и адрес установки.
        11.02.2021 08:32 Ответить
      5. 0

        Granta

        вы же говорили что бесплатное обновление, на ходу придумываете, за что еще платить придется при приобретении парсера можете сразу огласить и желательно написать в описании, а не по ходу придумывать???
        18.02.2021 05:12 Ответить
      6. -3

        Kylaksizov

        Я ничего не придумываю. В группе согласовали и сложились командой на это обновление что бы я написал, поэтому конкретно это обновление платное.
        18.02.2021 08:09 Ответить
  11. 0

    Granta

    Здравствуйте,скажите оплату парсера необходимо при каждом обновлении производить, или обновление бесплатное как и в большинстве программ? Что то не нашел данной информации в описании
    5.02.2021 13:41 Ответить
    1. -2

      Kylaksizov

      Обычно обновление бесплатное. Бывают моменты, когда скидываются группой на индивидуальные доработки, тогда платно.
      5.02.2021 19:03 Ответить
  12. 0

    Ruslan Ismailov

    Ближайшее время думаю купить скрипт! Реально интересное решение! Автору респект!
    Я бы еще добавил раздел "Автор" что бы можно было разделить публикации между авторами.
    23.01.2021 10:15 Ответить
    1. 0

      Kylaksizov

      Спасибо. Но Вы не досмотрели, автор есть уже, посмотрите скрин вверху справа
      23.01.2021 10:23 Ответить
  13. 0

    leonmix

    Можно ли настроить заполнение description и title?
    22.11.2020 20:16 Ответить
    1. -1

      Kylaksizov

      Это итак реализовано.
      22.11.2020 20:17 Ответить
      1. 0

        leonmix

        Просто в видео это не показывается поэтому и спросил.
        22.11.2020 20:20 Ответить
  14. 0

    Алексей

    Купил парсер, выполняет свои функции на ура. Единственное если новость уже есть ее не пропускает а останавливается. 
    8.11.2020 17:40 Ответить
    1. -1

      Kylaksizov

      Так и задумано. Зачем добавлять новость которая уже есть.
      8.11.2020 19:44 Ответить
  15. 0

    Евгений

    Приветствую
    подскажите, пожалуйста, 
    вот так если замену делаю http://joxi.ru/a2X6p7KT4MG77r 
    он заменяет, в заголовке пробела нет, но в ЧПУ почему-то первый символ получается "-"  http://joxi.ru/KAgypEPiKjLVGm
    можно как-то это поправить ? 
    9.10.2020 10:38 Ответить
    1. 0

      Kylaksizov

      Потому что в заголовке стоит пробел или html символ пробела, других вариантов быть не может, парсер сам не может подставить это. Откройте исходный код донора и посмотрите.
      9.10.2020 11:41 Ответить
      1. 0

        Евгений

        Не, нету пробела на доноре(



        Разобрался
        надо было замену с пробелом делать)
        9.10.2020 15:28 Ответить
  16. 0

    rok

    Качественный универсальный парсер, однозначно стоит приобретать!!
    Работает четко. Благодарю разработчика Kylaksizov за поддержку и за качественный продукт!
    8.06.2020 23:52 Ответить
  17. 0

    aazzz

    Отличный парсер. Пользуюсь постоянно, удобное управление, парсит почти все. Всем рекомендую!!! Использую в новостных сайтах, что позволяет получать новости с разных источников, и все это на 1 сайте.
    20.05.2020 23:26 Ответить
  18. +1

    Евгений

    А как ссылку в тексте 
    <a href="https://site.com" target="_blank">online</a>
    заменить просто на текст online

    замена /<a\s+href=(.+?)a>/is удаляет всю ссылку
    15.03.2020 23:48 Ответить
  19. 0

    ssss

    а что на счет демки (или бесплатной версии на 1 домен). Или сейчас уже не раздается так и надо сразу покупать?
    29.08.2019 00:49 Ответить
    1. 0

      Kylaksizov

      Демка есть, пишите в личку скину ссылку.
      29.08.2019 06:37 Ответить
      1. 0

        bonopard

        Здравствуйте, желаю приобрести у вас парсинг SelfParser за 3000 руб. подскажите пожалуйста, каким способом я получу парсинг после оплаты, заранее благодарен за ответ..
        5.06.2020 20:51 Ответить
      2. 0

        Kylaksizov

        Оплачивайте как зарегистрированный пользователь, и после оплаты сможете скачать парсер, а так же обновления к нему в дальнейшем.
        Ключ можно получить у меня, скинув адрес установки.
        5.06.2020 20:53 Ответить
      3. 0

        bonopard

        Здравствуйте, оплатил, как получить ключ

        Количество персональных сообщений получателя достигло максимального значения, в связи с чем он не может больше получать персональные сообщения.

        Я вам на почту скинув адрес установки, уже 2.5 часов ожидаю.

        вы комменты мои удаляете а ключ скинут времени нету?????
        6.06.2020 21:47 Ответить
      4. 0

        Kylaksizov

        Я удаляю сообщения? Вы уверены?))))))
        Во-первых вы купили в выходной день, ещё и ночью. Мне по Вашему не спать и ждать пока мне кто-то напишет?
        Увидел, скинул ключ на почту.
        7.06.2020 07:49 Ответить
      5. 0

        bonopard

        Здравствуйте, благодарю, всё работает и хорошего вам дня
        7.06.2020 09:33 Ответить
  20. 0

    Romds

    Так на ДЛЕ 13.2 работает?
    5.08.2019 22:28 Ответить
    1. 0

      Kylaksizov

      Работает на любой версии. Если версия очень низкая, то не проверял, но можно поднастроить. А на новой работает.
      5.08.2019 22:31 Ответить
  21. 0

    Эльнур

    Можно демо?
    7.05.2019 23:57 Ответить
    1. 0

      Kylaksizov

      Демка была удалена, так как нехорошие люди меняют пароли что бы другие не могли войти. Так что показываю только через скайп или любую другую программу.
      8.05.2019 14:22 Ответить
  22. 0

    Эльнур

    Добрый день. В ДЛЕ 13.2 будет работать? и можно за отдельную плату чуть подправить обработчик для ДЛЕ?
    1.04.2019 21:06 Ответить
    1. 0

      Kylaksizov

      Добрый день. Будет. Подправить то можно, но нужно знать что нужно править.
      1.04.2019 21:08 Ответить
  23. +1

    AlexSilver

    Для корректной работы парсера требовалось изменения префикса базы данных DLE, автор модуля оперативно в следующем патче добавил нужную функцию. Рекомендую к покупке!
    4.03.2019 12:29 Ответить
  24. 0

    Doznet

    п.с. в принципе, пожелания есть и ещё blush

    1. 1. Многопоточность (к примеру, если сайт донор очень посещаемый, от нескольких миллионов человек, и обновляется сразу сотнями новостей в минуту в разных категориях, - то пока он парсит одну категорию одного сайта - уже во второй категории понабежит куча новостей. И это только на один сайт. И пока он начнет обрабатывать вторую категорию все еще первого сайта - то второй сайт он не успеет обработать.

      То есть с такой паузой он все время будет парсить новости с одного только сайта, постоянно теряя актуальность новостей. Хотелось бы, чтобы он мог не обходить раз в минуту заданные шаблоны - а сразу обрабатывать 10-20 примерно шаблонов в минуту

      Или асинхронность, советуют Go для парсера

      2. Соответственно, поддержку скорости работы. За 1 мин. чтобы мог парсит примерно сто объявлений на минимальных паузах в один поток. 
    2.  
    21.02.2019 11:57 Ответить
    1. 0

      Kylaksizov

      Он никак не будет парсить такой объем данных за одну минуту, потому что сайты разные, скорость отдачи данных по разному. Какой-то сайт загружается мгновенно, какой-то в течении минуты. В итоге, если я сделаю что бы он обрабатывал даже несколько запросов в минуту, то Ваш сервер ляжет.
      23.02.2019 08:41 Ответить
      1. 0

        Doznet

        Разработчик парсера гугл плей, который я Вам скидывал - утверждает обратное)  

        цитирую: "А что парсер в парсере нет многопоточности? Плохо конечно, максимум 1440 страниц в сутки парсить может чтоли? Ограниченный какой-то он получается... Спроси у разраба, может он предусмотрел все таки..."

        И еще один ответ другого разраба:

        Я: - да, тоже уже задумался о многопоточности :)
        Р: - забудь, юзай асинхронность, советую Go для парсера
         

        Далее исходя только из моих соображений (возможно и ошибочных):

        1. Можно сделать выбор между многопоточностью и однопоточностью - для разных шаблонов/сайтов. Возможно даже разные крон-задачи для разных шаблонов, поставить разное время запуска? х.з.

        Конечно, самая простая мысль это просто установить несколько крон задач чтобы в минуту парсер запускался несколько раз, но это не варик, потому что тогда просто он будет дублями парсить...

        2. Это зависит, наверное, ведь больше от мощности сервера? вряд ли я ошибаюсь) какой то сервер может такое и не потянет) а какой то вполне себе =)
        23.02.2019 13:00 Ответить
      2. 0

        Kylaksizov

        Я уже объяснил на счет многопоточности. Если парсер у Вас настроен чисто для Google, то конечно можно настроить что бы он парсил много данных за раз. Да и скажу честно, я пока не знаю как решить такую задачу, увы. Как придумаю, конечно сделаю. Вернее сделать то можно, но судя по тому что некоторые сайты наблюдают и понимают что их парсят, банят таких. Поэтому какой смысл.
        23.02.2019 13:07 Ответить
      3. 0

        Doznet

        да, про бан, согласен, налететь можно, говорят даже с прокси не прокатывает, целыми подсетями банят :(

        ок, спасибо :)
        23.02.2019 14:18 Ответить
      4. 0

        Xereden

        Практически все видят что их парсят и банят. Юзайте прокси, можно халявные. В итоге жертва либо сдаётся, либо прокси меняется и всё работает.
        27.01.2020 21:31 Ответить
  25. 0

    Doznet

    Обязательно нужно к разработке в следующем обновлении: 

    1. Удаление конкретных слов не из всего массива - а только из нужного тебе поля. Почему: на большинстве сайтов парсер автоматом приставляет к ссылке домен сайта, даже тогда когда он не нужен. И если проставить на удаление этого домена - то слетает пагинация и подчас нужно удалить домен в одной только строке а не во всех сразу.
    2. Исправление парсинга атрибутов. Нужно на многих сайтов получать ссылки из атрибутов, но на данный момент парсер их получает, но не заносит их в доп. поле.
    3. Встроенная возможность парсинга ссылки сайта-донора в дополнительное поле, с возможностью отключения парсинга этой ссылки для конкретного шаблона. Хотя можно оставить возможность включать/отключать и для всего парсера, не суть.

    С этими исправлениями можно будет уже норм. работать  blush Если последний - это как бы пожелание новой функции, то первые два это, считаю, исправления косяков уже имеющихся функций  wink

    А так спасибо за модуль, хорошая работа и для бюджетников главное доступный blush Бду ждать возможность покупки исправленной версии  blush  
    20.02.2019 18:14 Ответить
  26. 0

    Гость Евгений

    А может ли скачать файл? И залить в дле?
    31.01.2019 08:42 Ответить
    1. 0

      Kylaksizov

      Может. Скачивает с сайтов на DLE, а так же если на сайте указана прямая ссылка на файл.
      31.01.2019 09:20 Ответить
  27. 0

    Doznet

    спасибо за чудо и установку
    26.01.2019 15:53 Ответить
  28. 0

    Doznet

    Хотелось бы еще чтобы личные прокси можно было проставлять, с логинами и паролями, а не только публичные :)
    23.01.2019 20:02 Ответить
  29. 0

    Klient

    Хотелось бы адекватный парсинг картинок, уже почти 2 месяца прошло с выхода последней, а так и не вышла версия, где в поля вставляются полные изображения, а не вырвиглазные превьюшки.
    20.01.2019 09:00 Ответить
    1. 0

      Kylaksizov

      Такое чувство что Вы писали уже 10 раз, но я не видел такого запроса. Опишите детальнее Вашу просьбу, так как сейчас совсем не понятно в какие именно поля загружаются превьюшки. Обработчик DLE специально настраивался под DLE и работает правильно. Как правило, при создании новости в DLE и загрузки изображений, создается уменьшенная копия. Вот так сейчас и работает. Или Вы про что-то другое?
      20.01.2019 09:07 Ответить
      1. 0

        klient

        1. В поле название поля если указать XF-fieldname | свое название, то полученные изображения будут добавляться в доп поле fieldname. При этом в поле код должен быть указан путь к картинке, например .sidebar img:eq(0) - найдет первую картинку из элемента с классом sidebar.

        Вот по этой инструкции загружаются превьюшки. Полные изображения загружаются только если на сайте с контентом они выводятся без галереи, а сразу полноразмерными. 
        21.01.2019 21:37 Ответить
      2. 0

        Kylaksizov

        Если мне память не изменяет, то загружаются полные размеры, а в поле или в редактор вставляется уменьшенная копия. Если нет, нужно менять код в обработчике.
        21.01.2019 22:08 Ответить
      3. 0

        klient

        Не подскажите, как? Или это в зашифрованной части?
        11.02.2019 14:33 Ответить
  30. +2

    maskashow

    Попробовал, прикольная штука, хотелось бы больше настроек:
    1) сортировка новости, парсинг с конца страницы или выставление времени источника, а то пока первую страницу не заполнит, первые новости в конце будут.
    2) кодировка пример , кракозяблы на источнике :(
    Видео faq бы с более сложным источником, чтобы все плюсы раскрыть.
    В настойках: версия парсера 1.3, скачивал с этой новости 1.4. Советую, сам сомневался покупать ли, попробовал уже несколько платных парсеров ну совсем не то :(.
    7.01.2019 17:11 Ответить

Добавить комментарий

    • Смайлы и люди
      Животные и природа
      Еда и напитки
      Активность
      Путешествия и места
      Предметы
      Символы
      Флаги
Кликните на изображение чтобы обновить код, если он неразборчив

Похожие товары