Приветствую.
Не так давно появилась необходимость прочекать массово довольно-таки большой объем сайтов на бэклинки по яху. Из существующих решений не нашел ничего внятного. Какие-то кустарные методы и способы. Например, зачем использовать парсинг ссылок со страниц siteexplorer (и так на протяжении 10 страниц), если можно заюзать ссылку на скачку первых 1к результатов в формате TSV сразу же с первой страницы? Это быстрее в разы и банят не так быстро…
Многопоточности в такого рода программах я также нигде не нашел (а там, где многопоточность – там и прокси по-любому нужны). Пришлось писать самому

Вот что из этого получилось: скачать программу для массовой проверки ссылок по Яху (Yahoo!)

Как с ней работать:

если вам надо прочекать много сайтов на бэки, то для этого понадобятся прокси, где их брать – это уже ваша забота (сайтов с бесплатным доступом, на самом деле хватает – найти не так сложно). Программа работает только с HTTP-проксями, так что будьте внимательны, socks-прокси не подойдут. Собираете список проксей в обычном формате PROXY_IP:PROXY_PORT (например, 123.123.123.123:80), кладете в файл proxy.txt в папке с программой, одна строка – один прокси. Далее в файл sites.txt кладете список сайтов (без «http://»), которые нужно чекнуть. Особенность одна – домены с «www» и без «www» – это, обычно, разные домены, так что сами решайте, что вам нужно чекнуть. Далее запускаете программку, выбираете использовать или нет прокси (если сайтов для чека мало – прокси можно не юзать), объединять или нет результаты проверки в один файл по окончании, выставляете нужное количество потоков и вперед! Результаты парсинга отображаются в т.н. «мониторе потоков».

Результаты чека будут складываться в папку results в виде sitename___links_threadid.txt, threadid – это номер потока (а не количество распарсенных ссылок), сделано в целях избежания ошибок при попадании в список дубликатов сайтов.

Вопросы есть? Или нужны еще какие-то специфические программы? Тогда, го в камменты