Доступ к демо:

Доступ к демо по запросу: Telegram или контакты в шапке сайта.

Описание

Требования:

Версия SelfParser 3.7
Версия PHP 5.6 - 7.4
Dle 12.X - 15.X (за доплату можно настроить под любую)
IonCube Loader

SelfParser - универсальный парсер новостей, товаров. Сам парсер не требует базу данных, полученные данные Вы можете сохранять в любой формат. Что бы понять принцип работы парсера, читайте эту статью до конца. На днях выложу новое видео, так как то что сейчас, это по старой версии.

Особенности и работа парсера

Как я уже сказал, парсер работает сам по себе и не требует подключение базы данных. Он получает контент и отдает его обработчику, который может написать любой знающий PHP программист. Но не пугайтесь. На данный момент в комплекте уже есть один обработчик, который работает конкретно с DLE. Сейчас парсер может собирать данные, такие как текст, картинки, файлы, при этом все заливает на Ваш сервер Подходит для парсинга торрентов, игр и т.д. всего что есть на сайте. Так же есть авторизация, но работает пока с DLE сайтами и находится в альфа версии.


Если у меня другая CMS

Ещё раз обращаю внимание, что если у Вас другая CMS, и вы владеете PHP, Вам всего лишь останется взять полученные данные и залить их в базу или куда нужно, хоть в файл сохранять. Парсер за один проход выполняет сбор по одной странице.


Если Вы желаете написать свой обработчик, я подскажу как и куда положить, хотя профи итак догадается :D.

Парсер отдает полученный результат в кодировке UTF-8, далее в обработчике Вы можете конвертировать если нужно в любую другую кодировку. Вы можете посмотреть обработчик для DLE и все поймете.


Возможности

  • Независимая админка.
  • Парсер работает не зависимо от того, какая CMS установлена и установлена ли вообще.
  • Возможность создавать неограниченное количество шаблонов (сайтов для парсинга).
  • Может получать данные как с сайтов кодировка которых windows-1251 так и UTF-8, а так же конвертировать все полученные данные или отдельный контент в UTF-8.
  • Может получать картинки и файлы из контента. Обработчик DLE их сохраняет вам на сервер и заменяет пути картинок в контенте на ваши, и файлы сохраняет к вам на сервер в папку uploads/files/... как положено и добавляет их в дополнительные поля или просто в файловый менеджер, если нет соответствующего дополнительного поля.
  • При создании шаблона, можно проверить его работу, как он получает контент.
  • Парсить контент как с HTML тегами, так и без них.
  • Включение / выключение шаблонов.
  • Удобная группировка шаблонов.
  • Ведение логов.
  • Просмотр процессов.
  • Статус активности.
  • Возможность парсить данные через прокси SOCKS5, в формате IP:PORT.
  • Возможность удалять скрипты или не удалять.
  • Возможность удалять ненужные элементы из полученного контента.
  • Возможность заменять или вырезать слова, фразы, код из полученного контента как по точному совпадению, так и по регулярному выражению.
  • Парсер обходит каждый созданный Вами шаблон по очереди и проходится по всем новостям или товарам донора. Обработчик DLE сохраняет новость если такой ещё нет (сверяется по заголовку). Если новость уже есть, он переходит к парсингу нового шаблона и так по кругу.
  • Работа по крону через простой HTTP запрос.
  • Адаптивная панель управления.
  • Для DLE:
    - возможность добавлять полученные данные в доп поля (текст, картинки, галерею и т.д.)
    - добавлять данные как в одну, так и сразу в несколько категорий на сайт.
    - добавлять новые посты сразу или ставить на модерацию.


Для идеальной работы парсера по крону, необходимо установить запуск не менее 1 - 2 раза в минуту.


Демо даю по запросу. Деньги после покупки не возвращаются, поэтому тестируйте в демке, если нравится, покупайте.

Парсер не работает с AJAX сайтами, которые не имеют пагинацию.


Цены

1 лицензия = 1 домен.

  • 10 т.р. - 10 лицензий + 2 бесплатных обновлений не включая обновления из первого пункта.
  • 20 т.р. - неограниченное кол-во лицензий + бесплатное обновление до момента реализации страниц настроек и логов (включая).
  • 50 т.р. - полный без лимит. Бесплатные обновления и поддержка.

Дополнительно:

    от 700 р. за настройку одного шаблона, если не получается настроить самому. Цена зависит от кол-во доп. полей и сложности их получения.


Обновление SelfParser 1.3

Новые функции и возможности парсера:

  • Добавлена возможность парсить сайты через прокси.
    Список прокси указывается в файле selfparser/data/proxy.txt в формате (IP:port). Каждый новые прокси с новой строки. Не оставляйте пустых строк.
    Если файл пустой, то парсер работает в обычном режиме.
  • Добавлен функционал, который умеет заменять или вырезать слова, фразы или код из полученных данных.
    Есть как простая замена так и с регулярными выражениями, что позволяет очень гибко настроить получение нужных данных.
  • Реализованы все страницы: логи, процессы, настройки, прямая ссылка на запуск, faq.
    Логи показывают такие данные как:
    - старт парсера;
    - запуск, остановка парсера;
    - прокси и время получения данных в секундах;
    - ссылка на источник, ID новости с ссылкой на новость, которая уже есть на сайте (информация о том, что новость не была добавлена);
    - информация о переключении шаблона или о невозможности получить контент;
    - размер файла логов на первой строке. При достижении 1Mb удаляется первая строка и добавляется новая, что позволяет предотвратить нагрузку. Файл обновляется автоматически (через AJAX). Есть кнопка пауза, что бы остановить обновление и просмотреть нужную строчку в логов.
  • Добавлена возможность сохранения картинок на сайт в дополнительные поля как одного изображения, так и галереи, читайте далее.

Добавление и загрузка картинок на сайт раньше работала только из полученного контента, см. видео. Теперь есть возможность загружать изображения через опцию (картинки). Как это делается читайте далее.

  1. Выбираете получить элемент -> картинки.
  2. В поле название поля если указать XF-fieldname | свое название, то полученные изображения будут добавляться в доп поле fieldname. При этом в поле код должен быть указан путь к картинке, например .sidebar img:eq(0) - найдет первую картинку из элемента с классом sidebar.

Если вы хотите загружать изображения в поле с одним изображением, то в поле код должно быть указан код для получения только одного изображения, иначе в доп.поле ничего не запишется.

Если вы хотите загружать в галерею изображений, то в поле код должно быть указано получение несколько изображений.

Если приставку XF-... не указывать, то полученные изображения, просто будут загружены на ваш сайт, но нигде не будут присутствовать в базе DLE.

Эта функция ещё в тестовом режиме, но все работает пока хорошо. Все ваши пожелания пишите в комментариях.


Все Ваши вопросы и пожелания пишите в комментариях или в поддержку.


За получением ключа обращайтесь в поддержку, указав адрес сайта, где будет установлен парсер.

Установка парсера бесплатна.


Обновление SelfParser 1.5

  1. Добавлена возможность включать / выключать шаблон на странице списка шаблонов.
  2. Добавлена функция копирования шаблонов.
  3. Изменена логика обработки шаблонов. Выключенные шаблоны теперь не обрабатываются, тем самым не тратя 1 минуту за просмотр одного шаблона.
  4. В обработчике можно указать теперь префикс базы, а так же добавлена возможность получать ссылку на источник в доп поле. По умолчанию дополнительное поле должно называться source. Его можно изменить так же в обработчике.



Обновлен обработчик. Теперь можно при парсинге файлов, например торрентов или подобных, загружать его в дополнительное поле.

Просто замените обработчик.

Не забудьте изменить доступы в этом файле, к базе и $dle_config.

что бы файл загружался в доп поле, укажите его в элементе files_fields.


Обновление SelfParser 2.1

Смотрите скриншоты во вкладке выше...


Полностью переделан обработчик.

Добавлены настройки в шаблон.

Исправлены баги с загрузкой файлов.

Добавлены стандартные функции от DLE, для обработки данных.


Обновление SelfParser 3.2

1. Добавлена настройка продолжения обработки постов на уровне шаблона. Т.е. когда парсер дошел до новости, которая у вас уже имеется, он будет дальше идти по постам данного шаблона находя новости, которых ещё нет в базе и добавляя их и пропуская те которые есть.

2.Усовершенствован функционал по простой замене и по регулярному выражению. Добавлено поле, которое принимает значение (название поля) по которому производить замену, не затрагивая весь контент. Т.е. Вы можете произвести замену в конкретном поле.
3. Для поля файл, добавлена возможность указать тип ссылки. Это только для сайтов-доноров, которые на DLE. Когда ссылка скрыта, смотрите пример.

Находите ссылку, ставите чекбокс и видите, что ссылка воспринимается правильно.

Обновление SelfParser 3.4

1. Исправлены некоторые баги.

2. Добавлена возможность парсить изображения, которые работают через LazyLoad. Причем это работает автоматически, не требует никаких вмешательств.

3. Изменено немного оформление.


Обновление SelfParser 3.9

  1. Добавлена сортировка шаблонов. В каком порядке их отсортировали. в таком они и будут парситься. При добавлении нового шаблона следует выполнить перестроение, что бы оно применилось. Неактивные шаблоны не попадают под сортировку.
  2. Очистка логов и процессов по крону.
  3. Исправлен баг, когда последняя страница не парсилась.
  4. Исправлен баг с картинками, если на доноре работает LazyLoad.
  5. Исправлена мобильная верстка. Изменен стиль логов и некоторых элементов в парсере.


Обновление SelfParser 4.0

  1. Исправлена авторизация в парсере.
  2. Некоторые ресурсы не отдавали изображения, блокируя скрипт, исправлен момент.
  3. Добавлено поле для вставки ссылок, для парсинга напрямую.
  4. Зафиксирована кнопка сохранить в шаблоне.
  5. Кнопка запуска парсера перенесена в начало меню. А так же исправлены мелкие баги.

Скриншоты

  • Шаблон парсера
  • Получение данных
  • Список шаблонов парсера
  • Настройки парсера
  • Логи парсера

Комментарии 112

  1. 0

    gmail

    Кто может настраивать шаблоны, нужно настроить несколько шаблонов, пишите в скайп vik_pc по цене договоримся
    14.12.2018 22:54
    1. 0

      Kylaksizov

      Мои услуги не подходят уже?  smiley 
      20.01.2019 09:08
  2. +1

    smngr

    Шикарное обновление, новая функция с картинками работает идеально, настройки тоже, прокси порадовал, удобная авторизация на закрытых ресурсах очень полезна. Раньше он, вроде, не запоминал новости, которые спарсил, а просто проводил проверку(?), а теперь работа продолжается с определённого места, что круто. Только функция с галереей изображений немного огорчила: на большинстве сайтов по тегу img доступны только превьюшки, полноценные изображение содержатся по ссылке в <a class без специальных тегов. Их, получается, нельзя заполучить.
    3.12.2018 21:29
    1. 0

      Kylaksizov

      Если сайт-донор на DLE, то он автоматически обрезает thumbs/ что позволяет загружать на сайт оригинальное изображение.
      3.12.2018 21:34
  3. 0

    smngr

    А можно узнать по поводу даты выхода новой версии?
    13.11.2018 23:38
    1. 0

      Kylaksizov

      Как время будет, пока не знаю. Недели две точно занят. Может появится окно и сделаю обновления.
      В Вашем случае, я не помню что Вы там просили. Пишите заявку в поддержку. Заявок нет по улучшению, поэтому и обновлять пока не планирую по скорости.
      14.11.2018 09:11
      1. 0

        smngr

        Плагин не публикует картинки на сайт, вы об этом замечательно знаете, ссылки имеют вид adres-donora/uploads/posts/. 
        15.11.2018 10:31
      2. -1

        Kylaksizov

        Значит вы что-то не так делаете. Парсер загружает картинки на сайт, смотрите внимательно видео.
        Не стоит писать и в поддержку и в комментариях.
        15.11.2018 11:16
      3. -1

        smngr

        Посмотрите код элемента картинки на сайте, там будет ссылка на чужой сайт, не смотря на то, что на сам сервер картинка заливается. В видео как раз таки просто показаны картинки в редакторе, у себя в редакторе статьи тоже вижу якобы картинки, но они подгружены с чужого сайта. 
        15.11.2018 19:22
      4. 0

        Kylaksizov

        Время в видео 16:10 вы не внимательно смотрели значит. Если у Вас не получается это сделать, напишите в поддержку, я не веду поддержку на сайте. Следующие комментарии подобного рода буду удалять.
        15.11.2018 20:23
  4. 0

    Иван

    Добрый день!

    А имеется возможность, например, проверять данные на каком-то сайте, если они изменились, то парсить новые данные. Если остались прежними (как были после прошлой попытке парсинга), то ничего не делать?
    7.11.2018 18:06
  5. 0

    smngr

    Парсит картинки, но при этом не вставляет их в новость, в редактор поста вставляет ссылки с ссылкой на img на сайте-доноре. Можно было бы убрать автоматическую пропись ссылки в посте, а сделать добавление ссылок на загруженные картинки в доп. полях или лучше использовать поля типа "загружаемая картинка". Мне кажется, сейчас мало кто публикует постеры и скрины через редактор.
    29.10.2018 10:15
    1. -1

      Kylaksizov

      Если у Вас не получается настроить замену путей в посте на ваш сайт, то можете парсить картинки в доп поля, на видео показано как парсить в доп поля нужное. И в Вашем случае Вы получите то что хотели.
      29.10.2018 10:21
      1. 0

        smngr

        XF-year | Постеер 
        Воу, это круто,  но тогда картинка не загружается на сервер и эта ссылка ведёт на сайт-донор. А как нужно настраивать замену путей? Я тестирую на том же сайте, что на видео, настройки идентичные.  А если парсить в поле именно картинку, то тоже не загружается.
        29.10.2018 10:37
      2. 0

        Kylaksizov

        Замены пока нет. Реализую в следующем обновлении.
        29.10.2018 11:32
      3. 0

        smngr

        И замены при добавлении по методу с видео - когда картинка парсится в содержимое? Как тогда парсить
        29.10.2018 12:38
  6. 0

    F

    Между переходом с выбора системы оплаты на сайт яндекс денег прослойка из сайта sportcabino.ru. При переходе на оплату через киви прослойка из другого палевного сайта. Я никогда не покупал через free-kassa, меня это напрягает. Можно купить другим способом?
    26.10.2018 09:16
    1. 0

      Kylaksizov

      Можете напрямую на Яндекс. Скайп внизу сайта.
      26.10.2018 09:58
  7. 0

    Geralt

    Подходит для dle 10.2?
    23.10.2018 22:35
    1. 0

      Kylaksizov

      Подходит для любой версии dle, хоть для 7.1
      24.10.2018 06:28
      1. 0

        Yandexbot

        Поддержку php 7.1 ввели только в 11 версии dle.
        24.10.2018 20:05
      2. 0

        Kylaksizov

        Ваш вопрос меня убил))) Можно я не буду отвечать?
        24.10.2018 21:17
      3. 0

        Yandexbot

        Это не вопрос :) В требованиях к парсеру стоит версия php 7.2 минимум. DLE ниже 11 не заведётся на ней. 
        24.10.2018 21:46
      4. 0

        Kylaksizov

        Модуль работает на PHP 7.1 и 7.2. Значит, когда выпустят DLE под версию PHP 7.2, мой модуль будет работать.
        24.10.2018 21:50
  8. +1

    LMakc

    Парсер отличный , но еще сыроват. 
    1. Можно  ли парсить  торренты и постер в  доп поля?
    2. Есть  ли возможность  заполнение СЕО ? Метатег title: (description)  (метатеги keywords)
    23.10.2018 17:39
    1. 0

      Kylaksizov

      Спасибо.
      В доп поля можно парсить что угодно.
      Содержимое для SEO сейчас нет, но реализовать можно просто дописав в dle обработчик нужный код, не составит труда.
      23.10.2018 17:45
  9. 0

    Kylaksizov

    molohakeru,
    ну что, скачал парсер за 1 р. ?  laughing  laughing  laughing 
    15.10.2018 07:43
    1. +1

      molohakeru

      Ну попытался мало ли)smile  smile
      15.10.2018 12:03
      1. 0

        Kylaksizov

        Молодец, мне как раз надо знать где у меня дыры  smiley 
        15.10.2018 13:48
  10. -1

    Sergejus

    Требования: IonCube Loader
    Дальше читать не стал...
    7.10.2018 10:58
    1. +1

      Kylaksizov

      Не читайте дальше ещё хуже  laughing 
      7.10.2018 11:32
    2. +1

      Doznet

      IonCube Loader устанавливается автоматически из админки, ispmanager точно
      7.10.2018 12:13
      1. 0

        Kylaksizov

        По умолчанию он везде установлен, человек просто либо думает что я закодировал там какой-то грязный код или просто не хочет покупать потому что его нельзя поломать, вот и все.
        7.10.2018 12:22
      2. -1

        Sergey

        Сломать можно все. Если Вас еще не сломали, значит Вы просто не интересны.
        8.10.2018 09:08
      3. 0

        Kylaksizov

        Не сломали, потому что раскодировщика под версию 7 ещё не выпустили, какие Вы наивные)
        8.10.2018 09:13
      4. 0

        molohakeru

        То что его нет в паблике не значит что его не выпустили...
        15.10.2018 01:53
      5. -1

        Кирилл

        Еще как вариант закодированные модули невозможно самостоятельно расширять и подгонять под свои нужды. А вот для меня это ключевой фактор.
        Я против закодированного всего.
        21.03.2019 21:01
      6. 0

        Kylaksizov

        Там закодирован всего один незначительный файл, а не все файлы, поэтому можете спокойно править и улучшать под себя, но после этого поддержка заканчивается.
        22.03.2019 07:38
  11. 0

    Александр Генералов

    За комментарий? Для теста!
    6.10.2018 21:53
    1. -1

      Dali

      конечно гитлер!
      7.10.2018 04:08
Информация
Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации.

Похожие товары