Парсинг: софт, сервисы

Тема в разделе "Софт / Скрипты", создана пользователем noreff, 10.12.15.

  1. noreff

    noreff Участник

    Сообщения:
    102
    Симпатии:
    44
    Баллы:
    29
    Доброго дня. Предлагаю в топике обсудить кто и чем пользуется в сборе информации.
    Для меня последние пару недель это очень актуальная тема - перепробовал кучу софта и сервисов, но продолжаю поиски идеального решения.

    На данный момент самым красивым инструментом мне кажется cloudscrape. Это SaaS для парсинга с мощным визуальным редактором. Во всех отношениях очень приятная штука, при регистрации дают демку на 2 часа работы (+20 часов за временную акцию сейчас). Кредитки при этом не просит.

    Из аналогов понравилась Portia, но поставить её ни на свой комп, ни на впс не смог (хотя честно сделал 20 попыток и потратил на это день). Если её доведут до ума будет вообще чудесно, так как потенциально это намного более интересный вариант, так как бесплатный и с открытым кодом.

    Из софта пробовал БотЗилу, демку Зенопостера, крякнутый АйМакрос и Визуал Веб Риппер.
    Ботзила - это провал. Для постинга её ещё можно использовать, если у вас много времени и стальные нервы, чтоб её настроить, но для парсинга в текущем состоянии она непригодна.

    Зенопостер понравился, но 150$ пока зажал, кряка адекватного нет, пока покупку отложил.
    А с Аймакросм и вебриппером пока разбираюсь - не могу заставить их адекватно работать с ajax сайтами. Если у кого-то есть соотвествующий опыт, буду очень рад пообщаться на эту тему в любом удобном для вас формате.

    Ну и может кто подскажет какой-то аналогичный софт/решение для парсинга, которое прошло мимо меня, буду благодарен.
     
  2. Insider

    Insider Администратор Команда форума

    Сообщения:
    1.025
    Симпатии:
    684
    Баллы:
    209
    Hrefer - идет в комплекте с Xrumer - для парсинга поисковых систем.
    Content Downloader - парсинг сайтов
    Zennoposter - можно сделать что угодно
    A-parser - парсит все, но дорого.
     
    Последнее редактирование: 10.12.15
    noreff нравится это.
  3. noreff

    noreff Участник

    Сообщения:
    102
    Симпатии:
    44
    Баллы:
    29
    Вы пользовались им сами? Я таких дружелюбных интерфейсов не видел со времен доса.
     
  4. Insider

    Insider Администратор Команда форума

    Сообщения:
    1.025
    Симпатии:
    684
    Баллы:
    209
    Да, пользуюсь. Вроде бы все просто и понятно, на сайте есть очень детальная вики с картинками.
     
    denser нравится это.
  5. dench

    dench Новичок

    Сообщения:
    85
    Симпатии:
    34
    Баллы:
    20
    Отличный парсер. С ним, кажется, можно парсить вообще все, что угодно.

    Интерфейс слегка замороченный, но это жертва универсальности.
     
  6. Platon Shukin

    Platon Shukin Участник

    Сообщения:
    215
    Симпатии:
    95
    Баллы:
    41
    +1 за контент даунлоадер (для покупателей - покупайте через реселлеров, будет со скидкой, можете и ко мне обратиться)
    Еще использую FDE Grabber (рефка)
    Очень удобный граббер для автоматического наполнения сайтов с разных источников, работает с кучей cms
     
  7. noreff

    noreff Участник

    Сообщения:
    102
    Симпатии:
    44
    Баллы:
    29
    Забыл в стартовом посте ещё упомянуть про Import.io. Не такой удобный и функциональный, как CloudScrape, зато быстрее, тоже довольно мощный и относительно бесплатный.

    За Контент Content Downloader спасибо - смотрел до этого, поклацал сайт и ушел, решив что это какие-то недоделанные поделки отечественных индусов. Сейчас посмотрел предметно - вполне себе рабочий, вроде, комбайн.
     
  8. jslby

    jslby Участник

    Сообщения:
    154
    Симпатии:
    93
    Баллы:
    40
    Софт хороший и я его купил только из-за того что он стоит своих денег, но у меня и нулл работал очень долго и исправно :)
     
  9. Dodd

    Dodd Участник

    Сообщения:
    104
    Симпатии:
    41
    Баллы:
    30
    ZennoPoster - лучший, $150 должны отбиться очень быстро.
     
  10. NightShadow

    NightShadow Новичок

    Сообщения:
    32
    Симпатии:
    18
    Баллы:
    13
    В большинстве юзаю ZennoPoster, а также Datacol.
     
  11. Jekson

    Jekson Новичок

    Сообщения:
    2
    Симпатии:
    0
    Баллы:
    1
    Хуман эмулятор крякнутый (раньше юзал демку зенно)
    Словоеб
    PHP + Curl
     
  12. esif12

    esif12 Новичок

    Сообщения:
    28
    Симпатии:
    3
    Баллы:
    8
    Scrapebox - от американских друзей
    GScraper - от китайских друзей
     
  13. kallem

    kallem Новичок

    Сообщения:
    61
    Симпатии:
    41
    Баллы:
    19
    Content downloader считаю лучший парсер, очень гибкий. Давно с ним работаю, без него как без рук.
     
  14. mango

    mango Новичок

    Сообщения:
    47
    Симпатии:
    12
    Баллы:
    13
  15. Smuta

    Smuta Новичок

    Сообщения:
    9
    Симпатии:
    1
    Баллы:
    3
    Привет. Поделюсь и я
    Rank Tracker
    SEO SpyGlass
    LinkAssistant - (есть в наличии но пока не юзал активно)
    WebSite Auditor
     
  16. dimasbarabas

    dimasbarabas Новичок

    Сообщения:
    14
    Симпатии:
    8
    Баллы:
    8
    Все-таки это больше СЕО-софт, чем парсеры, в "классическом" понимании этого термина! )
    Для текстовки X-Parser хорош, что-то более серьезное спарсить - Content Downloader.
    Что мне в нем больше всего нравится, также как в Кей Коллекторе, так это практически ежедневные обновления-допиливание функционала.
    Я покупал его "150" лет назад, за 350 руб. и никто с меня никаких доп.средств не требует, хотя возможности программы выросли многократно!
    Это говорит о порядочности и профессионализме разрабов, респект им!
     
  17. Petruha

    Petruha Новичок

    Сообщения:
    30
    Симпатии:
    10
    Баллы:
    13
    Напомните плиз как называется программа которой можно просканировать сайт наподобии генератора карты чтоб были урлы и тайтлы, но немного более широкие настройки чем в Xenu чтоб можно было указать ненужные адреса, выбирать по маске, и сканировать соответственно только страницы, а не все элементы как в Xenu. Ну либо это будет простой генератор HTML карты? Есть ли какая простая приблуда для этого?
     
  18. Insider

    Insider Администратор Команда форума

    Сообщения:
    1.025
    Симпатии:
    684
    Баллы:
    209
    Screaming Frog SEO Spider
     
    ontop, marat1975 и Petruha нравится это.

Поделиться этой страницей