Ru-Net-Biz

Все самое интересное о .Ru-Net бизе.

Рубрики

Moder-Ne-Spi-Suka! – простая программулька для многопоточного автокомментирования постов livejournal.com

16 января 2011
В рубриках: Самоделки

Возможности:
- многопоточное комментирование записей ЖЖ с ваших аккаунтов
- распознавание ответов ЖЖ (их там несколько вариантов, типа «успешно запощено», «сервис затупил и коммент проебался», «юзер запретил комменты» итд.)
- поддержка прокси (только соксы5), очень рекоммендую юзать, без прокси ваши журналы будут шустро суспендить
- отчеты по проделанной работе

Как работать: в поле линк вписать продвигаемый линк, в файл ank.txt положить анкоры для линка – от туда будет браться случайный. Коммент представляет обычную собой гиперссылку. Свои акки (с которых подет коммент) ложить в email_list.txt в формате user:pass. Прога берет случайный акк, логнится и постит коммент. Плюс в том, что ЖЖ попрежнему разрешает работать с одного акка в несколько потоков. Каптча, если она появляется (частое явление при интенсивном юзании 1 акка), просто игнориться. В файл lj-yand.txt кинуть сылок на посты юзеров (типа http://dreaddy-gyal.livejournal.com/43957.html). Вот и все. :)

По тестам показало следущее:
на новый год примерно я откомментил 70к постов со 100 акков без прокси. 10к ушло в успешные – т.е. юзер комментируемого журнала разрешил комменты без премодерации. Сейчас все 100 акков засуспендены и комменты от них естественно потерлись самим LJ. По трафу ничего сказать не могу, не замерял, по ссылкам – яшка сейчас видит остатки из 176 шт. Так что не тупим – юзаем прокси и в таком количестве не комментим. По чуть чуть. Однако, минздрав предупреждает: бездумное использование проги ведет к изменению и усложнению процесса отправки комментов сервисом LJ и, как следствие, к потере работоспособности данного билда. А нового, мб, и не будет.
И вообще всегда советую думать прежде чем что то делать.

Скачать автокомментер ЖЖ

Всех благ.

Обновление парсера [06/01/11]

7 января 2011
В рубриках: Самоделки

Добавлено:

- DupKiller – оставляет только по 1 файлу 1 размера в папке, т.е. удаляет дубли
- массовый конвертер из utf в ansi
- простой коструктор урлов (как показывает практика, сложнее и не надо) – «подставлятор» в урл счетчика
- вставлялка картинок в спарсенные статьи (если кому то надо, то опишу подробнее всю технику вставки). Юзал для своих сатов, работает с некоторыми нюансами :)
- картиночный фильтр (для удаления «битых» картинок), находится на вкладке «Фильтр»
- сохранение странички с расширением .html при тесте селективного парсинга, теперь сразу можно открыть ее в браузере

Исправлено:

- баг с парсингом картинок, теперь парсит нормально (протестировано на google images, спарсил около 2к картинок), но размер картинки должен быть больше 400кб, большего размера не скачивает, ибо нех
- баг с использованием прокси, раньше если прокси оказывался мертвым и коннекта не было парсер считал, что страница спарсена, теперь такие урлы отправляются обратно в очередь на парсинг

Пожелания, как обычно – welcome!

Скачать бесплатный парсер (версия от 06.01.11)

Всех с НГ и рождеством, бразы! :)

Массовая проверка параметров доменов.

16 октября 2010
В рубриках: Самоделки

Очередная полезная программка. Поможет вам прочекать много много доменов за мало мало времени. :) Навеяно этим постом. Elsper, привет! Кстати, статья про гиперкубы – крутая весчь, однако :) с нее началось мое знакомство с твоим блогом. Респект.

Короче, дело к ночи. Что умеет прожка:
- чекать PR
- чекать PR-клей
- чекать количество страниц по яшке
- чекать количество ссылок по яху
- чекать клей по яшке (не через аддурилку!)
- чекать whois (зянято/свободно)

Все это через сокс5 прокси и в многопоточном режиме.
Как работать:
Проверка идет в 2 этапа. На первом шаге чекатется только 1 выбранный параметр, на втором – все остальные (какие нужны, конечно). Например есть у вас 100500 доменов, хотите отсеять те, которые имееют PR от 1 и свободны. Ставите в «проверке 1″ чекать PR (задаете там же ограничение от 1), в «проверке 2″ – выбираете все остальные параметры. Просто, в общем.
Кстати, «-1″ при проверке означает «верхняя граница не задана». Вдруг вам попадется домен с тиц 300, а верхняя граница будет стоять 50? ахахаха ))

В процессе работы можно посмотреть таблицу результатов массовой проверки доменов по параметрам. Отметь нужные (в последнем столбце) и сохранить.

Скачать тут. Удачной ловли! ТопСаперам тоже полезно будет :)

з.ы. предложения по программе в комменты.

Бесплатная програма для массового добавления доменов в панель ISP Manager

19 сентября 2010
В рубриках: Самоделки

Приветствую.
Зарегал недавно доменов немножко (дальше будет множко :) ), встал вопрос как их добавить в панельку. Пошарился по форумам – нашел описание API ISP Manager. Там все оказалось очень просто и легко. По-быстрому набросал прогу и все стало клево :)

Руками добалять я б замучился.
Бесплатная програма для массового добавления доменов в панель ISP Manager – скачать тут.

Пара слов о настройках.
Поле Domains, как вы справедливо догадались, предназначено для доменов – в виде site.com без всяких www и http, слэшей и прочего.
host – адрес сервера (либо в виде айпи, либо доменного имени – все равно)
login – логин в панельке
pass – пароль от панельки
ns1, ns2 – сервера имен (не забывайте, ставить точку в конце адреса!)
ip – на какой айпи вешать добавляемые домены

Все это дело заполняем, жмакаем start и вперед.

Успехов, господа!

Слово о ТИЦ

14 августа 2010

Навеяно этой темой и темой на нулледе.

Что за базы такие «дженах» я не знаю, но подозреваю, что это:
1. Успешные после прогона вот этой программки
2. Сайты с xss
3. ХЗ что – палите, господа, все сделаем :)

По-быстрому прогнал новый сат, сделал замену {website} на урл, насобирал сайтов с «потенциальным xss», выделил те, которые действительно подвержены (получилось около 500 штук xss – парсил только по 1 запросу, в подробности не вдавался).
Написал простую аддурилку, которая специально обучена добавлять такие линки в яшку (обычные линки тоже запросто добавляет) и собственно потратил примерно 1$ на антикаптче.

Если будут положительные результаты в виде ТИЦ – насобираю базу по-больше.

Скачать мою аддурилку можно тут.

Как работать:

1. Положить в файл to-addurl.txt линки. Положить в файл proxy.txt прокси (socks5).
2. запустить прогу, вставить ключ антигейта и жмакнуть старт.
3. после завершения работы будут сформированы файлы good_l.txt – все успешно добавленные линки, problem.txt – проблемные урлы (сайт является зеркалом, запрещен к индексации и тд – в файле напротив каждого урла будет стоять соответствующее сообщение).

Как говорится, have fun!
вопросы – в комменты.

Парсер контента. Обновление.

9 июля 2010
В рубриках: Самоделки

Введен выборочный парсинг контента по ряду признаков. Теперь парсить можно все что угодно.

Как работать с новыми настройками:

1. Ставим галку «Селективный парсинг»
2. Жмем «SelectiveParse». Окрывается окошко с настройками для селективного парсинга.
3. Жмем «add new block», добавляется новый блок для парсинга.
4. Вводим признак начала и признак конца блока, а также имя блока -может быть любым. Добавьте сколько вам угодно блоков. Важно: 1 строка = 1 блок парсинга. Нельзя один блок разбивать на несколько строк!
5. Добавляем модификаторы «[-cleantext]» – удалить из блока все тэги и прочий мусор html оформления (за исключение тэга <br>), «[-all]» – спарсить все вхождения из блока (без этого модификатора парсится только первое вхождение из исходника)
6. Протестить созданный блок парсинга. Ввести URL конкретной страницы и нажать кнопку «Test». Парсер сходит по этому адресу и попытается спарсить по шаблону. Полученные результаты парсинга сразу откроются в блокноте или вашей другой проге по просмотру текстовых файлов, параллельно сохранятся в «SelectiveParseTest\html.txt» – исходник страницы, как его видит парсер, «SelectiveParseTest\test.txt» – спарсенный текст по шаблону.
Важно: если какой-то блок парсинга не сработал, посмотрите, как он выглядит в исходнике, который сохранил парсер! Бывает так, что оформление в браузере (просмотр исходника страницы) отличается от того, как видит исходник страницы парсер.
7. Обязательно жмем «save» и закрываем окошко с настройками
8. В поле «Cайт» Пишем адрес сайта с «http://» и со слэшем на конце «/», в Вайтлист признаки адресов страниц с которых будет парситься текст – это любая последовательность символов из URL. Одна строка – один признак. Парситься по шаблонам будут только эти страницы, с остальных будут собираться только ссылки. В блэклист заносим страницы, где заведомо делать нечего – на такие страницы парсер доже за ссылками не пойдет.
9. Можно запускать парсер.

Пример настроек селективного парсинга для сайта http://mirsovetov.ru/ парсится только основная статья. Блок для парсинга у нас один (все в одну строку!):
[blockname]PageText[/blockname][start]<div id="hypercontext" align="justify" style="padding-right: 10">[/start][stop]</div>[/stop][-cleantext]

Парсер вырезает контент от <div id="hypercontext" align="justify" style="padding-right: 10"> и до </div>
модификатор [-cleantext] говорит о том, что из полученного куска надо удалить все форматирование.

в вайтлист заносим признак из урла статей /a/ все статьи находятся обязательно по таким урлам. Если нужно парсить из определенной категории добавляем и ее тоже. К примеру, Автостатьи – /a/car/ спарсятся только страницы по таким урлам (где есть такое вхождение).
В блэклист пишем расширения картинок (по дефолту стоит) и еще db.php (конкретно для этого сайта, для других сайтов, будут другие вхождения) – это просто какой-то служебный скрипт, нах нам не нужен.

Все. парсим :)

Линк – новый парсер контента. Качаем ребята.

ps вопросы и предложения – в комменты, либо в аську (есть на странице инфо, когда рядом с компом – отвечу).

Гуд лак!

зы – читаем комменты, там будут все обновы по парсеру

Сбор текстовки. Много много копипаста. =)

28 июня 2010
В рубриках: Контент, Самоделки

Последняя версия парсера здесь

Ближе к вечеру появилась мыслишка обновить базу текста для бурж доров. Искать всякие библиотеки в архивах не хотелось, да и в свое время я их уже искал и уже много раз поюзал…

Дабы немножко отвлечься от дум тяжких, написал простой сборщик текстовки для доров, ну или для низкокачественных сатов. Для доров, конечно, в первую очередь.

Собственно вот:
парсер текста

Чтоб долго не ждать и не ебать мозг со ссылками прикрутил многопоточность и сборщика ссылок (ходит по страничкам сайта до тех пор, пока не перестанут встречаться уникальные урлы), а чтобы не парсить откровенное Г, прикрутил блэклист. Если какое-то слово из него встречается в ссылке, то парсер по ней не ходит. Получилось вполне сносно.

В поле «Сайт» втыкаете урл сайта с «http://» и с завершающим слэшем на конце «/», высталяете количество потоков, заполняете блэклист и вперед! На выходе в папке parse кучка текстовки.

Скачать парсер текста

p/s Парсер текста не на что не претендует. Создан просто для того, чтобы быстро набрать нового текста. Думаю, будет интересно товарищам с рейтинга Спута.

Пис, гайс! :)

Авторегер webservis.ru

26 июня 2010
В рубриках: Самоделки

Работает точно так же, как и регер wallst.ru

Cкачать регер webservis.ru :)

P.S. кто юзает/собирается юзать регер для wallst.ru – скачайте заново архив. Поправил досадное недоразумение.

Автореггер для wallst.ru

20 июня 2010
В рубриках: Самоделки

Заказывали? Получайте.
wallst.ru авторегистратор
Как работать с регистратором:
1. В файл email_list.txt кинуть мыл от сервиса mail.ru (*@mail.ru, *@list.ru, *@inbox.ru, *@bk.ru) в формате login@mail.ru:password, 1 строчка – 1 мыло. Если очень нужна поддержка других почтовиков – пишите. Учтите только, что мыла получаются по протоколу pop3.
2. В файл Names.txt кинуть имена. На данный момент там имена человеческие, но советую расширить список. Все имена должны быть в латинице. Берется случайное имя.
3. В файл Logins.txt кинуть названия доменов. Естественно, на латинице. Берется случайное имя. Использованные имена удаляются в пределах данной сессии (но в файле остаются). Чем больше список тем лучше.
4. В файл proxy.txt кинуть список проксей в стандартном формате ip:port. Важно: прога работает только с socks5 серверами. Socks4 и sock4a не поддерживаются. Прогаю на винсоке, обломно что-то добавлять и эти форматы тоже. Но если пиздец как надо – пишите…
5. Запустить прожку, вставить ключ антигейта, установить нужное количество потоков и жмакнуть «start».
Чекбокс «Удалять письма после прочтения» – заставит прогу удалять все письма. Так что, если юзаете какие то мыла, где есть нужные письма не ставьте галку. Кнопка HALT немедленно отрубает прогу. Reload proxy – перезагружает список проксей.
По особенностям работы:
Письма с логином и паролем приходят далеко не сразу (wallst.ru притормаживает, однако). Среднее время ожидания = 2-10 мин. Поток каждые 10 секунд коннектится к почтовику и проверяет, не пришло ли письмо.
Промежуточные результаты реги отображаются в поле «Лог1″ (параллельно сохраняются в файл ACCS.txt), зареганные фтп-аккаунты в поле «Лог2″ (и в файл FTP-ACCS.txt соответственно).
Скачать автореггер wallst.ru
Вроде все. Адиос.

Массовый чекер бэклинков по yahoo!

27 апреля 2010
В рубриках: Самоделки

Приветствую.
Не так давно появилась необходимость прочекать массово довольно-таки большой объем сайтов на бэклинки по яху. Из существующих решений не нашел ничего внятного. Какие-то кустарные методы и способы. Например, зачем использовать парсинг ссылок со страниц siteexplorer (и так на протяжении 10 страниц), если можно заюзать ссылку на скачку первых 1к результатов в формате TSV сразу же с первой страницы? Это быстрее в разы и банят не так быстро…
Многопоточности в такого рода программах я также нигде не нашел (а там, где многопоточность – там и прокси по-любому нужны). Пришлось писать самому :)

Вот что из этого получилось: скачать программу для массовой проверки ссылок по Яху (Yahoo!)

Как с ней работать:

если вам надо прочекать много сайтов на бэки, то для этого понадобятся прокси, где их брать – это уже ваша забота (сайтов с бесплатным доступом, на самом деле хватает – найти не так сложно). Программа работает только с HTTP-проксями, так что будьте внимательны, socks-прокси не подойдут. Собираете список проксей в обычном формате PROXY_IP:PROXY_PORT (например, 123.123.123.123:80), кладете в файл proxy.txt в папке с программой, одна строка – один прокси. Далее в файл sites.txt кладете список сайтов (без «http://»), которые нужно чекнуть. Особенность одна – домены с «www» и без «www» – это, обычно, разные домены, так что сами решайте, что вам нужно чекнуть. Далее запускаете программку, выбираете использовать или нет прокси (если сайтов для чека мало – прокси можно не юзать), объединять или нет результаты проверки в один файл по окончании, выставляете нужное количество потоков и вперед! Результаты парсинга отображаются в т.н. «мониторе потоков».

Результаты чека будут складываться в папку results в виде sitename___links_threadid.txt, threadid – это номер потока (а не количество распарсенных ссылок), сделано в целях избежания ошибок при попадании в список дубликатов сайтов.

Вопросы есть? Или нужны еще какие-то специфические программы? Тогда, го в камменты

О проекте

Проект админят: chayka
SciFi