[mma]

Сообщение от masok

SATA диски, поставленные взамен утраченного SCSI, гнутся и скрипят под натиском качающих.

Дык, кабы наоборот - было бы странно (при прочих равных условиях).

[masok]

Дык оно понятно. Только за неимением гербовой пришлось писать на простой . Надеюсь, временно.

[DLeading]

Вариант рейда рассматривался или нет?

[Turtle]

DLeading, не рассматривался, потому что его вставлять некуда, как минимум.

[ArjLover]

Друзья, главное - прекратите ругаться. С дисками у нас всегда напряженка и риск жить без рейдов был сделан осознанно. Мы выиграли в дисковом пространстве, потеряли в надежности и такие сбои и потери еще возможны... Ничего страшного, это не жизненно важная информация и с появлением торрента не так сложно восстанавливаемая. Пока будем жить так.

[mma]

Сообщение от ArjLover

Пока будем жить так.

Что ж, пора закругляться ...

... и тем не менее, опасаюсь, что "пока" окажется вынужденно коротким ...

Тем важнее заранее (и, главное, спокойно) обсудить варианты, дабы не принимать следующее решение в спешке ...

Не уверен, например, что даже столь популярный RAID 5 будет достаточен в наших условиях - не попасться бы в ловушку "очевидности".

Сообщение от masok

- в последнем случае умерший большой скази-диск унес с собой еще 2 мелких, не выдержавших возросшей нагрузки. Итого 3.

И у RAID 5 в критическом режиме (потеря одного диска) резко возрастает нагрузка, причем (для больших SATA) на значительный срок - запросто может не выдержать еще один из оставшихся.

А потеря информации в данном случае означает потерю ВСЕЙ информации на винтах ...

Успехов, коллеги!

[RUSpectrum]

mma, в последнем сообщении Вы говорите об аппаратном (ну или "классическом" программном) RAID-5.
(там действительно такая картина )

В предлагаемом варианте при отказе диска НЕТ вычислений на сервере.
CPU серверов НЕ загружаются.

1) С помощью программы тома формируются на стороне клиента (Вот здесь и есть загрузка CPU расчётами).
2) Клиент отправляет тома (файлы) на сервер (http, ftp, торрент... да хоть бандеролью)

3) Остальные клиенты скачивают все эти тома (http, торрент).
4) Клиенты с помощью программы из томов получают видео-файлы.

5) Смотрим любимые фильмы.

Операции 1 и 4 аналогичны работе с архиватором WinRAR (многотомные архивы).

На 4-ом этапе в штатном режиме программа ничего особенного не вычисляет. Активные вычисления программа производит ТОЛЬКО при отказе тома (том отсутствует).

Сообщение от mma

Не уверен, например, что даже столь популярный RAID 5 будет достаточен в наших условиях - не попасться бы в ловушку "очевидности".

Эмм... не совсем понял кому именно Вы это сказали (мне или ответили на реплику ArjLover).

Но дело в том, что в предложенном варианте "сетевого" RAID-5 есть ещё и виртуальное зеркало - это копии, которые хранятся у пользователей. Но у них не всё зеркало, а только кусочки...

Так что получается, что это комбинированный RAID -

RAID-51, или луше будет назвать RAID-5'1

[DLeading]

Давайте обсудим следующее решение вопроса:

Техническая сторона.
Ставим 3 сервера: 2 хранилища, 1 веб и торрент.
1) 4 SATA-диска по 750 Гб в RAID-5.
2) 4 SATA-диска по 750 Гб в RAID-5.
3) Простейший сервер для веб и торрентов. Отдельный для того, чтобы не зависел от профилактических работ на хранилищах.
Раздачу организовываем 2 способами: http + torrent.
Предпочтение отдается торренту.
На http ставится ограничение по скорости и количеству одновременных подключений. Причем ограничение скорости, вынуждающее пользователей пересесть на торрент.
И веб и торрент настраиваются для максимального использования оперативной памяти для кеша. В свое время у меня были проблемы при отдаче большого количества торрентов на 50 Мбит в секунду. Решились они установкой большого кеша в памяти.

Финансовая сторона
Все перечисленное оборудование придется покупать. Общая стоимость зависит от конкретных компонентов, но по предварительным прикидкам стоимость будет не более 4000€. Можно организовать сбор средств от пользователей с указанием собранной суммы.

[orion]

фставлю 5 копеек :
хорошее охлождение дисков - 33% успеха !
таким образом уже как 3 года качаю с arjlover a и раздаю ослом ~1.5tb
какова температура в серверной ?

[sanddevil]

мммм...извиняюсь...а какие сервера стоят на датахранилище?
все тут оруть то-сё..вообще-то надо исходить из финансов в первую очередь. У нас ставят обычно raid 10 из 6 SAS-винтов 3 миррора в страйпе...а чтобы SATA проворачивала - так это надо канал подрезать. или ставить менее бюджетное оборуование. Каков тип серверов? какой канал? какая техплощадка?
Кстати да, какие кондишны стоят в серверной, какая температура? можно поставить стриммер\ДВД-массив для резервной копии архива. кстати, неплохой сервис, если нетоповые фильмы будут храниться на болванках. навроде "фильм по заказу". запросил - тебе его выложили на недельку...скачал-хорошо, нет - ну извини...торрент....хмык! про NFS все слышали? кто подумал что это Need For Speed - идите на сайт lamers.ru. для тех кто остался - поднять треккер, примонтировать папку по NFS к вэб-серверу. всё. и не надо 2 массива. бэкап - как говорил - стриммер\двд-болванки. габаритно, конечно, но оно пожалуй нормаль. болванки, кстать, получше будут.
итого - 2 сервака (а не 3) в синхоне на обоих стоит вэб + торрент, вылетает 1 - работает 2-й.
а касаемо "вынуждают пересесть на торрент" - вы хотите сказать что те кто лезет через браузер-чмошники? то-есть фильмы они для избранных и всё такое? не каждый сможет понять как торрент настроить, я-то понятно, сам раздаю, причём явно не с винды. ну если типа сайт не для лохов, то мож вообще убрать http?

[Dimon_]

Сообщение от sanddevil

какая техплощадка?
Кстати да, какие кондишны стоят в серверной,

Нет данных

Сообщение от sanddevil

навроде "фильм по заказу". запросил - тебе его выложили на недельку...скачал-хорошо, нет - ну извини...

Никакого "по заказу" не будет. Фильмы - доступны для всех. Без ограничений "на недельку".

Сообщение от sanddevil

для тех кто остался - поднять треккер,

Вы вообще, ветки соседние читали?

Сообщение от sanddevil

вы хотите сказать что те кто лезет через браузер-чмошники? то-есть фильмы они для избранных и всё такое?

Во-первых, следите за выражениями. Первое письмо - и сразу с такими текстами.
Во-вторых, браузерами тут качать нелья в любом случае.
В третьих, смотрите выше. Фильмы - они для всех.

Сообщение от sanddevil

не каждый сможет понять как торрент настроить,

Каждый, кто сможет поставить регет по инструкциям с картинакми, сможет поставить мю-торрент по инструкциям с картинакми.

Сообщение от sanddevil

я-то понятно, сам раздаю,

Да уж куда понятнее

Сообщение от sanddevil

ну если типа сайт не для лохов, то мож вообще убрать http?

Про культуру речи я уже говорил, да?
Есть три транспорта - http, ed2k, torrent. Архив будет раздавать любой фильм тремя транспортами. Для всех, безотносительно. А вот то, что приоритетом мы развиваем и будем развивать тот транспорт, который выигрышнее для серверов Архива - это сугубо наши внутренние соображения. Не так?

[Lamden]

Прошу прощения, но у нас, дальнобойщиков, уж довольно давно для украшения кабин используются такие симпатичные кружочки, они еще так здорово переливаются... Так вот намедни мы со сменщиком по пиву принимали, и он рассказал, что эти кружочки еще можно использовать, чтоб на них файлы разные компьютерные писать... Во... А тут, пока еду, делать нечего, вот на Ваш форум забрел, гляжу, мучаетесь, как сохранить свои архивы (мультяшки там прям такие забавные попадаются, спасибо вам). Вот и подумал - может их все на всякий случай на этих кружочках записывать и в какой уголок укромный складывать. Лучше всего, сменщик вот подсказывает, пользоваться банками - весь ваш замечательный архив влезет меньше, чем в десяток банок по сто штук в каждой - и стоить вся радость будет гринов 150... И тогда спокойнее Вам будет - потеряете файл-другой-третий - перезальете его с кружочка (по-ненеашему друган их DVD обзывает) - и порядок. Тогда и ваши заботы сказевые, да раидные полегче станут - не придется 4000 евров платить, а чего попроще. Ведь архивы-то ваши не обновляются практически, а лишь дополняются - забыли вы, видать про это, раз взялись строить раидные крепости вокруг них вместо простенького списывания на дешевые резервные носители. Вот и головки над всякими логарифмами Ридов-Соломонов ломать не придется - выше теоремы Котельникова все одно не прыгнешь.
С любовью, ваш Дальнобойщик, привет ArjLoverу, как забредет, трасса Москва-Гадюкино

[masok]

Последнее сообщение было написано Lamden под псевдонимом (созданным им клоном) Дальнобойщик. Администрация форума выражает свое возмущение произошедшим и ждет объяснений при первом же следующим посещении Lamden форума. В случае, если таковых не последует, Lamden покинет наш форум навсегда.

[masok]

По сути высказанного уже вторично Lamden предложения - почему бы и нет? Только не надо перекладывать эти заботы на команду архива. Закупаете необходимое количество качественных болванок, скачиваете все архивные материалы, записываете, поддерживаете актуальную версию при заменах, храните, каждые полгода проверяете все болванки на "читаемость". В случае проблем с очередным диском на очередном сервере архива по первому щелчку мгновенно заливаете с болванок на ftp архива...

Или вы думаете, что сервера стоят у нас дома и мы будем переливать архив на болванки как-то по-другому? Ошибаетесь...

Так что инициатива - она наказуема, делайте, это может помочь архиву. Но только своими руками делайте, а не нашими.

[Lamden]

Уважаемая masok, приношу Вам лично глубокие извинения - все гораздо проще и не столь трагично, как Вам это представилось. Я демонстрировал своим курсантам веточку "А нужен-ли трекер? " (на предмет - что люди говорят) и оставил один-на один с машиной. Они решили поглядеть дальше и их проф. интересы быстренько довели до этой веточки. Не зная моего пароля они просто зарегистрировались, найдя подходящую картинку из моей коллекции, и высказали свое мнение, в чем честно и признались (я даже несколько ошарашен, неужели Вы могли подумать, что я не нашел бы способа грамотно создать клон:-(). Наказаны мной не были, т.к. правил не нарушили, никого не оскорбили, отметку им также не снизил, т.к. мысль высказана, на мой взгляд, достаточно полезная и разумная (я сам ее как-то мимоходом уже высказывал в одном из обсуждений), тем более, что аргумент о "нединамичности" архива показался мне достаточно свежим и до сих пор в обсуждениях не использовавшимся. Если это по какой-то причине не понравилось администрации, еще раз приношу извинения всему, столь уважаемому мной, Архиву в целом.

P.S. Пока писал ответ, не заметил продолжения - насколько я, наконец, понял основным критерием при рассмотрении вариантов является минимизация трудоемкости процедуры. Ну, что же - это интересная задача, достойная внимания (просто о ней никогда нигде не упоминалось). Единственное уточнение - создание резервных копий на труднодоступных медленных носителях не предполагает отказ от стандартных решений типа раид'ов, но значительно их "облегчает", оставляя за ними лишь функцию быстрого восстановления, но с разумной вероятностью "прокола" (в этом случае вашей избыточности 5% вполне хватит, без погони за немеренными девятками...). В редких же случаях "проколов" таких облегченных раид'ов сохранности системы и поможет отдельное труднодоступное хранилище, восстановление из которых может занимать и длительное время.

[masok]

Lamden, коллеги поручили мне озвучить наше коллегиальное решение. Оно такое:

За траффик, исходящий с Вашего компьютера, в любом случае несёте ответственность Вы. Вы не должны были допускать ситуации, при которой было бы возможным создание клона, что является нарушением правил. Поэтому за факт создания клона Вам выписан бан на неделю. Но, учитывая, что клон ничего предосудительного не сделал, и, что немаловажно, за него принесены извинения, выписанный бан авансом снят. Однако просим учесть, что, в случае последующего нарушения Вами правил (мы надеемся, что этого не случится), Вам будет засчитан и текущий, и авансовый бан. Надеемся, что вынесенное решение будет воспринято правильно.