Комментарии к записи: Небольшое обновление парсера и мини-урок

Автор: Рус

Рус — Thu, 16 Jun 2011 15:42:29 +0000

Куда результат сохраняется???
Парсю SelectiveParse, находит url-ы , парсит, а куда результат девает не могу найти.Вовремя парсинга заполняется url-ами только parsed_urls.txt, а контента нету.Подскажите пожалуйста, куда глянуть надо

Автор: Neo007

Neo007 — Wed, 29 Dec 2010 23:01:48 +0000

Спасибо тебе большое за бесплатный парсер контента

Автор: SciFi

SciFi — Thu, 09 Dec 2010 08:11:18 +0000

саня, парсер работает с конкретным сайтом. Хотя попробуй парсить по списку урлов, хз. Мож че и выдет.

Автор: саня

саня — Tue, 07 Dec 2010 08:31:43 +0000

нужно выпарсить тайтл из кучи сайтов.как это дело реализовать можно?чтобы дал проге список сайтов ,она пропарсила их по очереди на урлы и вытащила всё по шаблону?

Автор: SciFi

SciFi — Sat, 04 Dec 2010 16:02:52 +0000

Slonotop, очень хорошо
p/s парсинг по списку урлов в отличие от дефолтного режима потребляет гораздо меньше ресурсов

Автор: Slonotop

Slonotop — Fri, 03 Dec 2010 02:36:21 +0000

спасибо SciFi, всё работает как нужно) на неттопе с вин7 спарсила крупный портал и не подвисла ниразу, работает шустро)

Автор: SciFi

SciFi — Wed, 01 Dec 2010 09:30:15 +0000

Slonotop, у меня виста стоит. И на ней все норм отрабатывает. Вин7 ставить не хочу – не к чему мне эти заморочки.
Все опции парсинга работают для режима «по списку урлов» и если в вайте у тебя стоит «.html» (т.е. парсить текст только со страниц где есть вхождение .html ), а страницы в урлов в твоем списке заканчиваются на «.php», то парсер их просто пропустит. Будь внимательнее.

Автор: Slonotop

Slonotop — Wed, 01 Dec 2010 01:19:24 +0000

разобрался – по списку урлов начало парситься только после галки «игнор.вайтлиста»; textjoiner же начал работать после перезапуска программы.

я сначала расстроился что нет сохранения по шаблону, но потом догнал как и что =)

да и опять про список урлов для последующего парсинга можно было бы внутри юнипарсера обработать так же через шаблон сохранения, однако не получается автоматизировать процесс =)

Автор: Slonotop

Slonotop — Wed, 01 Dec 2010 00:49:31 +0000

ещё хочу добавить – стабильно, после грабинга по списку адресов, переходя на вкладку «text joiner» и нажимая кнопку «вперёд» натыкаюсь на сообщение о том, что файл union.txt занят другим процессом и к нему нет доступа. далее ничего не происходит
строит вин7, версия парсера из этой темы

кстати список id страниц ссылок из вашего примера можно обработать быстрее – при редактировании списка можно подставить нужный урл при «поиск\замена» ища перевод строки и заменяя на перевод строки с дописанным урлом.

Автор: Slonotop

Slonotop — Tue, 30 Nov 2010 00:27:59 +0000

извиняюсь за флуд, фильтр не обойти) написал пример на гугде докс http://0xz.ru/dc19qz