Комментарии к записи: Обновление парсера [06/01/11]

Автор: pav609

pav609 — Sun, 16 Oct 2011 07:31:29 +0000

Напишите нормальную инструкцию, а то нифига не понятно как парсер юзать. Парсит ни то что нужно.

Автор: Slo

Slo — Fri, 17 Jun 2011 17:22:29 +0000

ладно, я хотел обойти неактивный таймаут следующим образом – разбавил to-parse список урлов урлами локалхоста примерно 50 к 1 поисковому запросу, но юнипар сортирует список и ничего не получилось)

Автор: Slo

Slo — Fri, 17 Jun 2011 16:32:15 +0000

а ещё почему то не активно поле с таймаутом. нигма меня забанила за ддос, а я в один поток всего)
а ещё вот =) планируются пресеты? а то не совсем удобно, я под каждый проект делаю отдельную папку с парсером, что бы настройки сохранялись и я мог вернуться к работе позже)

Автор: Anatoly B.

Anatoly B. — Thu, 09 Jun 2011 10:54:20 +0000

вместо Адрес можно крякозябры подставлять, с ними, работает, с кодировками, траблы.

[blockname]Companyaddress[/blockname][start]РђРґСЂРµСЃ[/start][stop][/stop][-cleantext]

Автор: Anatoly B.

Anatoly B. — Thu, 09 Jun 2011 09:54:23 +0000

Благодарю вас за качественный бесплатный продукт. Он не уступает платным аналогам. Мне он нравится все больше и больше, и я очень рад что есть такие люди как вы.

У меня есть такой шаблон парсинга:
[blockname]Companyname[/blockname][start][/start][stop][/stop][-cleantext]
[blockname]Companyaddress[/blockname][start]Адрес[/start][stop][/stop][-cleantext]
[blockname]Companyemail[/blockname][start]e-mail[/start][stop][/stop][-cleantext]
[blockname]Companyphone[/blockname][start]Телефон[/start][stop][/stop][-cleantext][-all]

Сохраняется:
companyname; companyaddress; companyemail; companyphone
РђРџРўРў-РўР Р•Р™Р”; Error; wwwww@gmail.com ; Zero

Сайт с кодировкой UTF-8. По видимому русский текст из шаблона не обрабатывается, так, как английский аналог проходит без проблем. Так, тоже не помогает:
[blockname]Companyaddress[/blockname][start]#128#164#224#165#225[/start][stop][/stop][-cleantext]

Автор: Slo

Slo — Thu, 02 Jun 2011 07:46:49 +0000

2 Dima – вы подойдите к парсеру с другой стороны –

выбирайте раздел, например _http://mirsovetov.ru/a/housing/cookery/index.html
видите разбивку на страницы – они пронумерованы (_http://mirsovetov.ru/a/housing/cookery/index-2.html)
идёте в конструктор урлов и конструируете (в данном случае проще будет ручками набить, страниц всего восемь)
с этиз страниц парсите линки на статьи, запихиваете их в to-parse.txt, настраиваете селективный парсинг под ваши нужды и вуаля)

юнипарс не универсален, а заточен под определённую работу, если хотите скачать сайт целиком – юзайте телепорт=)

Автор: SciFi

SciFi — Wed, 11 May 2011 15:20:56 +0000

привет, Slo, список сортируется, дубли урлов убиваются.

Автор: Slo

Slo — Wed, 11 May 2011 01:14:40 +0000

Привет SciFi, всех с праздниками)

заметил такую штуку – при парсинге по списку урлов – урлы выстраиваются по порядку, а не берутся из файла так как есть. Я специально перемешивал урлы в файле, но такая манипуляция на юнипарс не действует))

Автор: Dima

Dima — Sat, 16 Apr 2011 09:28:22 +0000

а как спарсить сайт

http://mirsovetov.ru/
почему-то парсит только 3 страницы и отсанавливается

http://mirsovetov.ru/javascript:show_login(‘hide’);
http://mirsovetov.ru/javascript:show_login(’show’);
http://mirsovetov.ru/otveti/registration.php

Автор: SciFi

SciFi — Mon, 11 Apr 2011 15:47:40 +0000

ani, писал про картинки же… Ok, чуть позже подробнее напишу.