[prescriber]

mno, и у меня Ваша пробная отлично сработала (с Azureus)
Только интерфейс (дизайн) страшненький ... вижу постом выше, что над ним ещё не работали.

[Turtle]

Сообщение от mno

Это вы имеете ввиду, что на серверах, где находяться файлы, нету клиентов, что-бы изначально раздавать файлы? Для того, что-бы это сделать, много не нужно. Главное, сгенерировать .торрент файлы для каждого фильма. Об этом мы уже чуть начали дискуссию.

Я это понимаю. Но даже торренты же, например, нормально пока не создаются — задачи лучше решать последовательно.

Торренты на треккере никогда не собирались лежать. Мы это выше решили, и я поддерживаю это решение полностью. И вторую часть я, если честно, не понял? Вы за то, что-бы выложить все фильмы в архиве на треккер, или против? Если против, то почему?

В результате Вашей работы все файлы архива должны сами автоматом выложиться на трекер, а сейчас этих двух файлов — более, чем достаточно.

[mno]

Супер!

Сообщение от prescriber

Только интерфейс (дизайн) страшненький ... вижу постом выше, что над ним ещё не работали.

Ну как предполагается, эту страничку вообще никто видеть не будет. Ссылки на торренты будут добавлени на инфо-странички самих фильмов.

[Turtle]

Нет, ну иногда админу надо будет поглядывать на статистику трекера, но это же пара сухих цифр, так что всё равно, дизайн этой части — лишнее. И эту статистику, эту пару цифр, кстати, проще вынести на главную страницу архива.

[prescriber]

, тогда и не надо время на это тратить. В таком же формате (по моему) смотрится статистика на eDonkey

[mno]

Сообщение от Turtle

Я это понимаю. Но даже торренты же, например, нормально пока не создаются — задачи лучше решать последовательно.

Вот именно об этом я и написал после того как объявил что треккер зажил

Так что подводим итоги:

Сообщение от mno

1. Сконфигурировать сервер (и установить Apache, MySQL, etc).
2. Установить и сконфигурировать PHPBTTracker+.
3. Поднять треккер и потестить с маленьким колличеством файлов и маленьким колличеством пользователей.
4. Добавить весь список фильмов/мультиков/етс.
4.1. Создать .torrent файл для каждого.
4.2. Наладить связь между сервером с файлами и сервером с треккером. Это может нужно будет делать путем установки торрент клиента на сервер с файлами, или поставить клиент на торрент сервер и связать через nfs.
4.3. может еще что-то...
5. Открыть доступ

1. Сдалено.
2. Сделано.
3. Сделано.
4. Мы сейчас тут.
5.

Для того, что-бы выполнить пункт 4 (добавить все фильмы с архива в треккер) нужно:

4.1. Сгенерировать (автоматом) .торрент файл для каждого фильма. Как мы уже чуть обсуждали, мы собираемся использовать утилиту createtorrent. Почему? Написать bash скрипт который запустит эту утилиту раз для каждого файла в папке просто. Написать скрипт, который это будет через mlDonkey через telnet - сложно и... мягко говоря, не то, с чем я хочу возиться.

4.2. Добавить все эти файлы в треккер. Я еще детально не думал как это будет сделано, но навреное я напишу просто ПХП скрипт, который подключиться к треккеру и передаст через HTTP .торрент файл, один за одним.

4.3. Поднять торрент-клиент на архив сервере (заменит пункт 4.2).

4.4. Автоматизировать это как-то, что-бы это делалось автоматом когда появляются новые фильмы в архиве.

Как это делать? Еще не знаю, у меня нету доступа к серверам с архивом.

Идея 1: Можно наладить доступ через nfs, и ганять createtorrent на треккер-сервере, а не на архив сервере. В этом случае, все равно .торрент файлы будут находиться в архив-сервере. Но проще всего, все это делать на архив-сервере.

[mno]

Впринципе:

Я не знаю mlDoney, но как я понимаю, он работает с торрентами, тоже, и может работать как сид. Правильно?

Если так, то остаеться (с пред. сообщения) пункт 4.1. и новый
4.2: сделать, что-бы mlDoney взял эти .торрент файлы, и подключился как seed к треккеру. А потом он уже все сам сделает.

[mno]

Сообщение от prescriber

, тогда и не надо время на это тратить. В таком же формате (по моему) смотрится статистика на eDonkey

Аа, так там админ интерфейс уже есть, и по-лучше этого списочка... Просто к нему я еще никому не давал доступ. Но там есть возможность создать "папки" - например, одну на фильмы, другую на мультики, и тд. А потом мы можем создать логины для разных пользователей, что-бы те админили только например, одну папку, или все-все.

[Turtle]

Насчёт создания торрентов посредством MLDonkey — мы это на начальном этапе отвергли, как раз по причине неудобности общения с ним, и создание торрента тоже предполагали отдельной утилитке поручить. И вообще, нет особого смысла как-то надеяться на этого клиента, т.к. нам нужно только простое сидирование, точнее, не совсем простое, а с поддержкой DHT.

Как я уже говорил, робот, чующий новый файл, есть готовый, и к нему нужен только набор модулей, после работы которых этот файл будет полностью обторенчен.

Какое-то ручное администрирование, забанивание, и т.д., вряд ли нужно, т.к. сейчас новый файл на серверы могут выложить только их администраторы, то же самое будет касаться и оффлайн-файлов — на соответствующий сервер администраторами будут выкладываться только созданные вручную торренты от них, а робот должен будет подхватывать их, и скармливать трекеру.

В перспективе (не помню, но вроде я такое уже предлагал) — если небольшой входящий трафик позволит провайдер архива, то можно будет сделать так, чтобы торрент-клиенты серверов, при появлении на них новых торрентов оффлайн-файлов, однократно скачивали бы их из сети, после чего роботы бы окучивали их персональной страничкой, и затем удаляли. Результатом будет полноценно оформленный автоматически оффлайн-сектор архива.

[mno]

Turtle, на счет не использования mlDonkey, я согласен. (Как я говорил, я его ни разу не исользовал раньше все равно.) В таком случае, предлагаю такое решение: я возьму пару файлов с архива и скчаю их на сервак с треккером. Там, я скачаю createtorrent утилиту, и панишу скрипт, которому нужно будет передать имя файла (фильма). Эта утилита запустит createtorrent с нужными параметрами, и мы в ответ получим .торрент файл в-той же (или иной) директории, где и сам фильм. Можно в одной держать, можно в разных. Как вам удобнее, это уже потом сконфигурируем.

Потом, я на треккер сервере установлю какой-то нормальный клиент для сидинга. И для начала, про-тестируем как эта система будет работать. Если все ок, то тогда перенесем все это на какой-то сервер с архивом. И там запустим генератор. Когда убедимся, что он работает, то подключим это все в утилиту, что ловит новые фильмы. Тогда, поставим этот клиент на том сервере. Вроде это все. Ну кроми того, что нужен может еще один скрипт, который будет говорить клиенту что мол есть новый .торрент.

По поводу перспективы, я чего-то не врубился, если честно?

[Turtle]

Перспектива такая, что без неё оффлайн-раздачи (поддержка трекером раздач файлов, отсутствующих в архиве) будут выглядеть голыми строчками (в виде ссылок на торренты) в списке оффлайн-раздач, ну или вообще, бессистемно, например в сообщениях на форуме, а так это будет полноценный список, со ссылками на персональные странички файлов, как сейчас, с той лишь разницей, что эти файлы будут лежать в сети, а в архиве отсутствовать. Такой штуки сейчас вообще ни у кого нет.

[mno]

Turtle, Ааа врубился, понял!
Поддерживаю, но об этом думаю стоит подумать чуть позже когда самое главное заживет

[AlekseyS]

"робот, чующий новый файл", а можно его посмотреть чтобы понять что нужно сделать чтобы он смог и торренты создавать?
Еще хочеться понять механизм добавления файла в архив, опять же чтобы понять как в этот процесс можно включить торренты, я опишу как я себе представляю это, а кто точно знает как уточните, исправьте мое предположение:
Полностью готовый файл закачивают на сервер архива в папку, к примеру, NEW.
Робот обработки файлов, запускаемый, к примеру, из cron проверяет эту папку на наличие новых файлов. Если файл есть начинается работа.
1. Утилиты снимают "мерки" - размер, формат, разрешение, поток и т.п. Делают скриншоты, вырезают аудио и видео фрагменты. Считают md5 и т.д.
2. Файл переноситься в центральную папку архива и для него создается персональная страница на основе полученных ранее данных.
3. Через некоторое время, новый файл замечает mlDonkey и хэширует его для раздачи по ED2K. А вот как ссылка на файл в формате ED2K попадает на персональную страницу файла?
4. Новый файл размещается в основном списке файлов архива отдельной строкой. Как он добавляется в список, кто это делает и при помощи чего?

Админы и модеры, дополните/поправьте мое описание, пожалуйста.

.torrent-файл, по моему, логичнее всего создавать на первом этапе вместе с фрагментами и скринами.
Если "робот" это что-то вроде шел-скрипта запускаемого по расписанию, в котором прописан запуск соответствующих утилит с параметрами, то добавить в него шаг для создания .torrent-файла достаточно легко.

[Turtle]

Я бы предположил то же самое, и задал те же вопросы.

Конечно, это обыкновенный скрипт, но "робот" звучит приятнее...

Делали его ArjLover, AlexeyPetrov, может ещё кто, не помню. Насчёт увидеть, и прочего,— это к ArjLover'у вопрос.

[AlekseyS]

Значит ждем ArjLover'a...

Пока ждем, я установил у себя mlDonkey и погонял его на другом трекере. Запустил в нем раздачу одного торрента, все достаточно просто получилось. Я могу или описать все опции которые я менял или, если есть доступ к консоли mlDonkey, я могу настроить его.
Конечно же это те минимальные настройки которые нужны чтобы он начал работать в сети BitTorrent. В процессе нужно будет снимать статистику и уже по ней подстраивать mlDonkey, так что на первое время все таки лучше доступ к его консоли иметь.
Но все это, конечно же, если не найдеться спец который съел стаю собак на работе с mlDonkey и желает настроить его для архива.

Кстати, информация по поводу ограничения забугорного трафика для mlDonkey:
У него в настройках есть параметры которые позволяют открывать/блокировать IP и подсети.

Хотя, по моему мнение, лучше взять 2 клиента один для ED2K, а второй для BitTorrent.
Уж больно mlDonkey мутный, понятно что его писали математики и из этого все и проистекает, но не так же мутить...

[Turtle]

Я и говорю, что не принципиально, какой будет торрент-клиент. Главное, чтобы он был как можно проще, годным для нашей задачи, и совместим со стандартным, в т.ч. своевременно обновляемым.

Да, и трафик архиву режет сам провайдер.

[AlekseyS]

То-есть забугорный трафик режет сам провайдер и с этим морочиться не надо, только вот я тогда не пойму 2-х вещей:
1. Как же тогда делается анлим? ArjLover отдельно проплачивает что-ли эти дни как безлимитные для забугорного трафика?
2. Зачем тогда ведеться список российских подсетей и на главной странице выводить информация о том закрыт доступ или открыт? Для информации, чтобы, так сказать, одни и те же вопросы не задавали все время?

[Turtle]

Это я запутал. Трафик режется (ограничивается по скорости) следующим после серверов архива сервером. Этот сервер вроде в той же стойке, но принадлежит он провайдеру. А зарубежников, конечно, обрабатывают непосредственно серверы архива — там же только AVI надо качать по часам, а остальное содержимое доступно в любое время.

Предлагаю забыть уже про MLDonkey, если он такой неудобный, и попробовать решить задачу в два этапа:

Найти утилиту, правильно создающую торренты.

Найти правильного популярного торрент-клиента, сооответствующего нынешнему стандарту, и легко внушаемого скриптом.

[AlekseyS]

createtorrent создает торренты без особых проблем, консольная утилита, указываются параметры с которыми нужно создать .torrent-файл и все. Ее можно поставить на архивные сервера просто из пакеджей.
Как только мы будем знать итоговый адрес анонс-запроса трекера, можем запускать создание .torrent-файлов для архива, с какого начинать будем?
Можно конечно и без анонс-адреса, а его внести потом, но это уже более муторно...

А насчет клиента, мне кажеться что здесь можно поступить слудующим образом:
1. На одном сервере настроить mlDonkey и посмотреть что да как идет, сколько памяти использует, как грузит процессор и т.д. Это займет минут 10 и раздачи начнуться, ничего нового ставить не нужно, нужен только доступ к консоли mlDonkey.
2. На втором в это время пробовать поднять другой клиент, который выберем, их реально не так уж и много для консоли - ctorrent, rtorrent, xbt-client, transmission и может еще парочка. Вот на это уже нужно будет время и ssh-доступ к архивным машинам.

P.S. Вопрос про клиента возникает еще вот почему:
сервер хотят менять на nginx который оптимизирован на раздачу статики и использует все что можно для оптимизации этой работы, а клиент для раздачи mlDonkey написан на ФЯ и скорее всего достаточно "тяжел" в плане нагрузки на процессор (это конечно нужно проверить). По-этому, соотношение отдача/нагрузка может быть сильно не в пользу mlDonkey...

[Turtle]

ArjLover сильно занят делами, про которые рассказано в новостях на главной странице. Трекер же некуда не убежит, его можно и из Африки налаживать, а вот железо требует личного участия.