Публикация
Заливаем доры по ftp через прокси
Вспомнил случайно, что есть такая тулза у меня. Многопоточно заливает файлы через прокси на фтп.
Писал для доров, последний раз пользовался, наверное с год назад – когда деревья были большими. Работает шустро, но требует нормальных socks5 проксей. В то время я юзал прокси от awmproxy.ru. Да и сейчас их рекоммендую. Что касается парсинга яшки через эти прокси – то тут ситуация хреновая. Думаю, всему виной всякие сервисы, которых щас расплодилось много по проверке «сео параметров», бля, в пакетном режиме. А заливать доры – норм.
Прога работает так.
1 поток рекурсивно заливает конкретный дор через конкретную проксю, с сохранением структуры папок. Когда файл залит, то он удаляется. Таким образом, прога заливает в цикле до тех пор, пока в папках доров есть хоть что то. Как только там ничего нету – значит все гут. Кстати, не снимайте галки в проге. Я уже не помню, на что они влияют – хоть и подписаны
Но действуют однозначно не так просто.
Прога берет акки из файла accs.txt. Файлы доров должны лежать в папке doors, каждый в своей подпапке.
Формат accs.txt такой (1 строка = 1 акк):
http://site.ru/;ftp.site.ru;user;pass;remote_dir;
site.ru – идентификатор дора в папке doors – в папке под этим именем должны лежать файлы дора
ftp.site.ru – фтп хост
remote_dir – директория на хосте, куда лить. льете в корень – писать /
Вот в общем то и все. Да, заливальщик удаляет файл только тогда, когда получен ответ от сервака, что файл успешно сохранен.
И еще есть нюанс – для заливки по фтп создается 2 сокета, 1 «управляющий» по которому передаются команды (типа принять файл такой то или создать папку), 2 служит только для передачи файлов. Так что будте внимательны – если заливаете, например, в 100 потоков (а я так и заливал – работает стабильно), то на деле у вас 200 соединений. Просто АВМ меня побалил однажды за превышение количества соединений. Просто имейте в виду.
Доброго залива. Пис.
19 пользователя прокомментировали «Заливаем доры по ftp через прокси»
Может ну его, такое в паблик кидать. Это ж всякое школоло поубивает фрихи, а их сейчас не так уж и много (под яшу). Мне то всеравно, скоро сваливаю в гугл. Но подумайте о остальных…
ustas666, да это мелочи все… Жизнь она многогранна.
ustas666: Ну, сначала школоте надо будет научится:
1. находить бонусные фрихи
2. при помощи зенно написать реггер акков
3. многопоточкой проверить, что этот регер на регистрировал
4. передать всё в дорген
5. А вот потом заливать фрихи этой программой
6. обязательно проспам или аддурилка
И всё это делать через прокси.
При чем в день 500 – 700 шт.
Я не думаю, что школота это сделает.
Orion55, вау. Как то так
Привет.
Прокси меняются при неудаче?
Wapten,да. до тех пор, пока все файлы не будут залиты.
Спасибо тебе, добрый человек, замечательная весч.
а потоки выставляются для одного дора,т.е. для одного дора сто потоков.или берет сто доров и льет в один поток?
xoffer сам то понял что спросил?
1 дор = 1 поток
100 потоков = 100 доров
Правильные ребята заливают прямо из R-dorgen, не используя дополнительный софт
На win7 у кого-нить заливает эта прога?
Почему-то пишет что все 2000 соксов ошибочны.
Это точно не так, соксы проверял, да и на другом заливщике эти соксы работают.
отличная вещь, спасибо
только не понял она только на соксах 5х или на любых проксях?
только на пятых соксах
Блин, если на фтп уже есть папка с именем httpdocs например куда-нужно заливать, то он заливает не в нее а в ней создает такуюже и заливает туда
а все дошло
все круто если бы не одно но, через какое-то время часто вылетает (час примерно) ошибка – не помню дословно, что-то там про нехватает памяти для потоков, хотя ее там 16гб оперативки то, а жрет прога не более 300мб
не заливал более 1к доров за раз, потому ошибку не видел, да и доры у меня были не по 1к файлов в общем-то.
А так да, каждый поток резервирует себе немножко памяти, которая должна быть освобождена по окончанию его работы, однако, как то не всегда особождается
или всегда не освобождается. 16гб оперативы это круто, только 32-разрядным приложениям ни к чему: они юзают макс 2гб.
Есть возможность допилить софт?
Нужно чтоб прокси брались по ссылке (не из файла).
Можно за отдельную плату.
mahony, возможно позже
вообще, идите лучше ссылками меняться
хватит доры штамповать