[RUSpectrum]

Том RAID-5 (из справки по Windows XP):

Отказоустойчивый том, содержащий обычные данные и данные четности, чередуемые полосами по трем и более физическим дискам. Данные четности — это расчетные значения, используемые для восстановления обычных данных при возникновении неисправности. Данные, находившиеся на неисправной области диска, могут быть восстановлены при помощи оставшихся данных и данных четности.

Описание разновидностей RAID в статье "RAID для чайников".
Ещё статья: "Краткий обзор технологии RAID".
Информация о RAID в wikipedia (на англ.).
(обращаю внимание, что там же упоминается алгоритм Рида-Соломона: "Tutorial on Reed-Solomon Coding for Fault-Tolerance in RAID-like Systems" (PDF))
И ещё тут (на англ.).
Ну а кто не владеет аглийским, то хотя бы посмотрите рисунки.
Калькулятор RAID: "RAID Disk Space Calculator".
Статья Криса Касперски "Могущество кодов Рида-Соломона или информация, воскресшая из пепла" (PDF) (хотя и громкое заявление... но вполне оправданное )

Документация к программе RecoveryStar 1.51 тоже окажется познавательной (cлил на rapidshare).

Помимо этого Ваше образование и Ваш личный опыт администратора (сервера/серверов) будет только в помощь.
Если Вы хотябы один раз сталкивались с отказом системы (и "недовольством" работодателя), то непременно задумывались о повышении отказоустойчивости системы.

Многие из Вас уже выполняли подобные (похожие) операции... возможно даже не подозревая об этом.
Когда?
Когда Вы используете ресурс rapidshare и создаете многотомный RAR-архив.
В параметрах можно дополнительно указать количество томов для восстановления (например, 2 тома).
НО... (вот я только-что проэксперементировал с RAR-архиватором и с начала даже не смог понять "что не так") ... НО программа разбивает данные по заданному размеру (например, в размер дискеты), а не по заданному количеству томов.
Увы, но "красиво" распределить данные по всем дискам с помощью WinRAR не получается...

Так как упомянутая ранее программа RecoveryStar мне ближе (с точки зрения понятности функционирования), то расскажу предложение на её примере.
Программа позволяет разбить любой файл на определенное пользователем количество фрагментов (далее "тома с данными") и дополнить данными для восстановления (далее "тома для восстановления").
Формирование томов для восстановления выполняется с помощью кодов Рида-Соломона.

Так как конфигурация серверов ArjLover мне не известна, то предлагаю рассмотреть на примере с такой конфигурацией:
Сервер № 1 (далее s1). На нем есть SCSI диски D1-D4.
Сервер № 2 (далее s2). На нем есть SCSI диски D5-D8.
Сервер № 3 (далее s3). На нем есть SCSI диски D9-D12.
Сервер № 4 (далее s4). На нем есть SCSI диски D13-D16.

Каждый из дисков (D1-D16) емкостью 160 Гбайт. Их общая емкость составляет 2560 Гбайт.

Берём фильм brillianovaja.ruka.cd1.avi (703 Мбайта) и с помощью программы формируем 15 томов с данными (Tdata1-Tdata15) и 1 том с данными для восстановления (Tecc1).
Помещаем полученные тома (ведь это просто файлы) на диски:
Tdata1 на диск D1, Tdata2 на диск D2 и т.д.
Tecc1 на диск D16.

Аналогичным образом поступаем с детским фильмом alye.parusa.avi (688 Мбайт).
Аналогичным образом поступаем с мультфильмом 12.mesyacev.avi (632 Мбайт).
Ну и т.д.



Если повреждается один из дисков (D1-D16; пусть для примера это будет D1), то:

1) Вариант для популярных, распространенных фильмов: данные можно восстановить через торрент. Сервер будет являться пиром и утянет недостающие фрагменты (это уже использовалось ArjLover'ом при последнем отказе).

Напоминаю, что совсем недавно уже была ситуация, когда у пользователей не оказалось копии редкого фильма. Фильм был утрачен. Велись активные поиски на других интернет-ресурсах...
2) Вариант для редких фильмов: данные можно восстановить из оставшихся D2-D16. Скачиваем уцелевшие фрагменты с серверов s1-s4. В программе RecoveryStar выполняем команду "Вылечить". Программа заново формирует утраченный том (утраченный фрагмент файла) Tdata1. Заливаем этот фрагмент на сервер s1 и помещаем его на диск D1 (где он и был ранее).

Разумеется, что при физическом отказе двух и более дисков восстановить данные будет невозможно.
Разрешается эта проблема путем применения бОльшего количества томов для восстановления.

Например, при конфигурации 18 томов с данными + 2 тома для восстановления:
1) Отказ одно диска вообще будет являться штатной ситуацией.
2) Одновременный физический отказ двух дисков - явление маловероятное (хм... хотя и возможное). НО и в этом случае данные будут восстановлены.

Обращаю внимание, что при применении бОльшего количества дисков объем избыточных данных (тома для восстановления) уменьшается.
Например, при конфигурации 15+1 дисков избыточность составляет ~6,7%, а при конфигурации 31+1 дисков избыточность составляет уже только ~3,3%.

При конфигурации 18+2 дисков избыточность составляет 11,1%. Многовато... НО при этом могут отказать ЛЮБЫЕ ДВА ДИСКА.

В целом и в общем мною был описан вариант "сетевого RAID".
По алгоритму (коды Рида-Соломона) данный вариант ближе к RAID-5, а по размещению данных имеет полное сходство с RAID-4 (см. соответствующий рисунок).

Пока у меня всё.

------------------------------------

Важные примечания для штатной работы серверов:

1) В отличии от существующей конфигурации в предложенном варианте данные размещены РАВНОМЕРНО по всем серверам.
Это позволяет получить равномерную нагрузку на все сервера.
Равномерность загрузки сетевых карт и равномерность активности дисков (а значит и их физический ИЗНОС).
В противном случае даже супер-пупер сервер может "надорваться" и отказать, а супер-супер надежные SCSI-диски выйти из строя.

2) Даже при скачивании одного фильма (например, brillianovaja.ruka.cd1.avi) возможна одновременная закачка с четырех серверов.
Даже для одного фильма - 4 сида будут от ArjLover.

------------------------------------

Важное примечание при недоступности одного из серверов (отказ сервера / профилактические работы... хм... уж очень частые):

При недоступности одного и серверов (например, s1) остаются доступными сервера s2-s4, т.е. торентом возможно ПРОДОЛЖИТЬ скачивание доступных 75% фильма.
Оставшиеся 25% можно будет утянуть с других сидов или пиров.
Можно даже сказать, что недоступность одного сервера при профилактическом обслуживании становится штатной ситуацией.

------------------------------------

Диск D16 (c данными для восстановления) может быть и не SCSI-диском, а SATA-диском или даже обычным IDE-диском.
Более того диск может быть USB-диском и его можно отстыковать (это если сервера в пределах досягаемости ).

Данный диск требуется только при пополнении архива новыми фильмами или при возникновении нештатной ситуации, когда требуются данные для восстановления.

------------------------------------

Надеюсь, что данная информация будет осмыслена... Не спешите сказать "нет".

[masok]

Сообщение от RUSpectrum

что Вам знакомы основные принципы RAID и Вы сможете помочь masok в этом разобраться.

Спасибо, тронута .

Но, боюсь, усилия несколько запоздали - профильное образование и 15-летний практический опыт позволяют мне до сих пор понимать техническую терминологию, хотя, конечно, не на уровне серьезного специалиста. Но уж и не на уровне справки виндовс . Название "код Рида-Соломона" тоже почему-то не пугает...

Однако, я думаю, что из дискуссии мне лучше все-таки уйти. Свое мнение по вопросу я уже озвучила, решение буду принимать не я - так что прощаюсь. Подожду развития событий...

P.S. информация к размышлению:
- в последнем случае умерший большой скази-диск унес с собой еще 2 мелких, не выдержавших возросшей нагрузки. Итого 3.
- идея размещения всех давнных архива на всех серверах архива уже появлялась, и лично мне она кажется привлекательной. Вопрос в технической возможности ее реализациии, а это уже не ко мне.
- избыточность до 5% лично я считаю предельно приемлемой.
- регулярный бекап спасет от поисков редких файлов где бы то ни было. Усилия в этом направлении должны быть приоритетными. Впрочем, и поиск серьезных трудностей не представляет, разве что занимает некоторое время.

[ArjLover]

Друзья, главное - прекратите ругаться. С дисками у нас всегда напряженка и риск жить без рейдов был сделан осознанно. Мы выиграли в дисковом пространстве, потеряли в надежности и такие сбои и потери еще возможны... Ничего страшного, это не жизненно важная информация и с появлением торрента не так сложно восстанавливаемая. Пока будем жить так.

[mma]

Сообщение от ArjLover

Пока будем жить так.

Что ж, пора закругляться ...

... и тем не менее, опасаюсь, что "пока" окажется вынужденно коротким ...

Тем важнее заранее (и, главное, спокойно) обсудить варианты, дабы не принимать следующее решение в спешке ...

Не уверен, например, что даже столь популярный RAID 5 будет достаточен в наших условиях - не попасться бы в ловушку "очевидности".

Сообщение от masok

- в последнем случае умерший большой скази-диск унес с собой еще 2 мелких, не выдержавших возросшей нагрузки. Итого 3.

И у RAID 5 в критическом режиме (потеря одного диска) резко возрастает нагрузка, причем (для больших SATA) на значительный срок - запросто может не выдержать еще один из оставшихся.

А потеря информации в данном случае означает потерю ВСЕЙ информации на винтах ...

Успехов, коллеги!

[RUSpectrum]

Сообщение от masok

- в последнем случае умерший большой скази-диск унес с собой еще 2 мелких, не выдержавших возросшей нагрузки. Итого 3.

Ну это и не мудрено, т.к. при отказе 1-ого диска необходимо было снизить нагрузку (количество коннектов и скорость отдачи на каждый коннект). Сервер с фильмами "атакуется" наиболее решительно. Вариант решения уже был изложен. Да Вы и сами об этом пишите:

Сообщение от masok

- идея размещения всех давнных архива на всех серверах архива уже появлялась, и лично мне она кажется привлекательной.

А то в конце июня больше недели не мог утянуть 45% фильма "Весна на Заречной улице". Как встало на 55% и... тишина. Разумеется, что всё же скачал, но медленно - в день "по чайной ложке".

Сообщение от masok

- избыточность до 5% лично я считаю предельно приемлемой.

Это "не предмет для торга". Это не зависит от вариантов реализации RAID (аппаратный, программный или "сетевой").
Процент избыточности зависит только от общего количества дисков и количества дисков для восстановления (определяет допустимое количество отказавших дисков).
Хм... хотя при аппаратной реализации RAID могут быть ограничения на количество дисков, которые можно подключить к плате RAID-контроллера.

Сообщение от masok

- регулярный бекап спасет от поисков редких файлов где бы то ни было. Усилия в этом направлении должны быть приоритетными.

Кстати, посмотрите документацию на RecoveryStar. Там как раз (ну почти) рассмотрен вариант "бекапа" - пример с 2-мя копиями CD-диска.
Посмотрите график надежности.
Синий график быстро "упирается в пол".
Более того данный график иллюстрирует надежность RAID-1 / "зеркалирование дисков" (ведь там тоже "вторая копия" ).
Ну это всё исключительно в познавательных целях...

[RUSpectrum]

mma, в последнем сообщении Вы говорите об аппаратном (ну или "классическом" программном) RAID-5.
(там действительно такая картина )

В предлагаемом варианте при отказе диска НЕТ вычислений на сервере.
CPU серверов НЕ загружаются.

1) С помощью программы тома формируются на стороне клиента (Вот здесь и есть загрузка CPU расчётами).
2) Клиент отправляет тома (файлы) на сервер (http, ftp, торрент... да хоть бандеролью)

3) Остальные клиенты скачивают все эти тома (http, торрент).
4) Клиенты с помощью программы из томов получают видео-файлы.

5) Смотрим любимые фильмы.

Операции 1 и 4 аналогичны работе с архиватором WinRAR (многотомные архивы).

На 4-ом этапе в штатном режиме программа ничего особенного не вычисляет. Активные вычисления программа производит ТОЛЬКО при отказе тома (том отсутствует).

Сообщение от mma

Не уверен, например, что даже столь популярный RAID 5 будет достаточен в наших условиях - не попасться бы в ловушку "очевидности".

Эмм... не совсем понял кому именно Вы это сказали (мне или ответили на реплику ArjLover).

Но дело в том, что в предложенном варианте "сетевого" RAID-5 есть ещё и виртуальное зеркало - это копии, которые хранятся у пользователей. Но у них не всё зеркало, а только кусочки...

Так что получается, что это комбинированный RAID -

RAID-51, или луше будет назвать RAID-5'1

[RUSpectrum]

Всё таки вернусь к вопросу:

Сообщение от RUSpectrum

10) Размер кластера на диске.

1) При скачивании через HTTP чтение данных происходит ЛИНЕЙНО.
В данном случае весьма практично применить большой размер кластера.

2) При скачивании через торрент:
Обмен данными происходит частями (512К, 1М или 2М) и блоками (16К). Клиент запрашивает серию из нескольких блоков.
В клиентской программе видно, что даже при одном сиде (ArjLoverServer) заполнение данными происходит НЕЛИНЕЙНО (рандомно?).

ИМХО, что размер кластера должен быть не менее одного торрент-блока, т.е. не менее 16Кбайт.

Чем больше размер кластера, тем выше производительность, а "треск" головок диска меньше (меньше износ диска).

[DLeading]

Давайте обсудим следующее решение вопроса:

Техническая сторона.
Ставим 3 сервера: 2 хранилища, 1 веб и торрент.
1) 4 SATA-диска по 750 Гб в RAID-5.
2) 4 SATA-диска по 750 Гб в RAID-5.
3) Простейший сервер для веб и торрентов. Отдельный для того, чтобы не зависел от профилактических работ на хранилищах.
Раздачу организовываем 2 способами: http + torrent.
Предпочтение отдается торренту.
На http ставится ограничение по скорости и количеству одновременных подключений. Причем ограничение скорости, вынуждающее пользователей пересесть на торрент.
И веб и торрент настраиваются для максимального использования оперативной памяти для кеша. В свое время у меня были проблемы при отдаче большого количества торрентов на 50 Мбит в секунду. Решились они установкой большого кеша в памяти.

Финансовая сторона
Все перечисленное оборудование придется покупать. Общая стоимость зависит от конкретных компонентов, но по предварительным прикидкам стоимость будет не более 4000€. Можно организовать сбор средств от пользователей с указанием собранной суммы.

[orion]

фставлю 5 копеек :
хорошее охлождение дисков - 33% успеха !
таким образом уже как 3 года качаю с arjlover a и раздаю ослом ~1.5tb
какова температура в серверной ?

[sanddevil]

мммм...извиняюсь...а какие сервера стоят на датахранилище?
все тут оруть то-сё..вообще-то надо исходить из финансов в первую очередь. У нас ставят обычно raid 10 из 6 SAS-винтов 3 миррора в страйпе...а чтобы SATA проворачивала - так это надо канал подрезать. или ставить менее бюджетное оборуование. Каков тип серверов? какой канал? какая техплощадка?
Кстати да, какие кондишны стоят в серверной, какая температура? можно поставить стриммер\ДВД-массив для резервной копии архива. кстати, неплохой сервис, если нетоповые фильмы будут храниться на болванках. навроде "фильм по заказу". запросил - тебе его выложили на недельку...скачал-хорошо, нет - ну извини...торрент....хмык! про NFS все слышали? кто подумал что это Need For Speed - идите на сайт lamers.ru. для тех кто остался - поднять треккер, примонтировать папку по NFS к вэб-серверу. всё. и не надо 2 массива. бэкап - как говорил - стриммер\двд-болванки. габаритно, конечно, но оно пожалуй нормаль. болванки, кстать, получше будут.
итого - 2 сервака (а не 3) в синхоне на обоих стоит вэб + торрент, вылетает 1 - работает 2-й.
а касаемо "вынуждают пересесть на торрент" - вы хотите сказать что те кто лезет через браузер-чмошники? то-есть фильмы они для избранных и всё такое? не каждый сможет понять как торрент настроить, я-то понятно, сам раздаю, причём явно не с винды. ну если типа сайт не для лохов, то мож вообще убрать http?

[Dimon_]

Сообщение от sanddevil

какая техплощадка?
Кстати да, какие кондишны стоят в серверной,

Нет данных

Сообщение от sanddevil

навроде "фильм по заказу". запросил - тебе его выложили на недельку...скачал-хорошо, нет - ну извини...

Никакого "по заказу" не будет. Фильмы - доступны для всех. Без ограничений "на недельку".

Сообщение от sanddevil

для тех кто остался - поднять треккер,

Вы вообще, ветки соседние читали?

Сообщение от sanddevil

вы хотите сказать что те кто лезет через браузер-чмошники? то-есть фильмы они для избранных и всё такое?

Во-первых, следите за выражениями. Первое письмо - и сразу с такими текстами.
Во-вторых, браузерами тут качать нелья в любом случае.
В третьих, смотрите выше. Фильмы - они для всех.

Сообщение от sanddevil

не каждый сможет понять как торрент настроить,

Каждый, кто сможет поставить регет по инструкциям с картинакми, сможет поставить мю-торрент по инструкциям с картинакми.

Сообщение от sanddevil

я-то понятно, сам раздаю,

Да уж куда понятнее

Сообщение от sanddevil

ну если типа сайт не для лохов, то мож вообще убрать http?

Про культуру речи я уже говорил, да?
Есть три транспорта - http, ed2k, torrent. Архив будет раздавать любой фильм тремя транспортами. Для всех, безотносительно. А вот то, что приоритетом мы развиваем и будем развивать тот транспорт, который выигрышнее для серверов Архива - это сугубо наши внутренние соображения. Не так?

[Lamden]

Прошу прощения, но у нас, дальнобойщиков, уж довольно давно для украшения кабин используются такие симпатичные кружочки, они еще так здорово переливаются... Так вот намедни мы со сменщиком по пиву принимали, и он рассказал, что эти кружочки еще можно использовать, чтоб на них файлы разные компьютерные писать... Во... А тут, пока еду, делать нечего, вот на Ваш форум забрел, гляжу, мучаетесь, как сохранить свои архивы (мультяшки там прям такие забавные попадаются, спасибо вам). Вот и подумал - может их все на всякий случай на этих кружочках записывать и в какой уголок укромный складывать. Лучше всего, сменщик вот подсказывает, пользоваться банками - весь ваш замечательный архив влезет меньше, чем в десяток банок по сто штук в каждой - и стоить вся радость будет гринов 150... И тогда спокойнее Вам будет - потеряете файл-другой-третий - перезальете его с кружочка (по-ненеашему друган их DVD обзывает) - и порядок. Тогда и ваши заботы сказевые, да раидные полегче станут - не придется 4000 евров платить, а чего попроще. Ведь архивы-то ваши не обновляются практически, а лишь дополняются - забыли вы, видать про это, раз взялись строить раидные крепости вокруг них вместо простенького списывания на дешевые резервные носители. Вот и головки над всякими логарифмами Ридов-Соломонов ломать не придется - выше теоремы Котельникова все одно не прыгнешь.
С любовью, ваш Дальнобойщик, привет ArjLoverу, как забредет, трасса Москва-Гадюкино

[masok]

Последнее сообщение было написано Lamden под псевдонимом (созданным им клоном) Дальнобойщик. Администрация форума выражает свое возмущение произошедшим и ждет объяснений при первом же следующим посещении Lamden форума. В случае, если таковых не последует, Lamden покинет наш форум навсегда.

[masok]

По сути высказанного уже вторично Lamden предложения - почему бы и нет? Только не надо перекладывать эти заботы на команду архива. Закупаете необходимое количество качественных болванок, скачиваете все архивные материалы, записываете, поддерживаете актуальную версию при заменах, храните, каждые полгода проверяете все болванки на "читаемость". В случае проблем с очередным диском на очередном сервере архива по первому щелчку мгновенно заливаете с болванок на ftp архива...

Или вы думаете, что сервера стоят у нас дома и мы будем переливать архив на болванки как-то по-другому? Ошибаетесь...

Так что инициатива - она наказуема, делайте, это может помочь архиву. Но только своими руками делайте, а не нашими.

[Lamden]

Уважаемая masok, приношу Вам лично глубокие извинения - все гораздо проще и не столь трагично, как Вам это представилось. Я демонстрировал своим курсантам веточку "А нужен-ли трекер? " (на предмет - что люди говорят) и оставил один-на один с машиной. Они решили поглядеть дальше и их проф. интересы быстренько довели до этой веточки. Не зная моего пароля они просто зарегистрировались, найдя подходящую картинку из моей коллекции, и высказали свое мнение, в чем честно и признались (я даже несколько ошарашен, неужели Вы могли подумать, что я не нашел бы способа грамотно создать клон:-(). Наказаны мной не были, т.к. правил не нарушили, никого не оскорбили, отметку им также не снизил, т.к. мысль высказана, на мой взгляд, достаточно полезная и разумная (я сам ее как-то мимоходом уже высказывал в одном из обсуждений), тем более, что аргумент о "нединамичности" архива показался мне достаточно свежим и до сих пор в обсуждениях не использовавшимся. Если это по какой-то причине не понравилось администрации, еще раз приношу извинения всему, столь уважаемому мной, Архиву в целом.

P.S. Пока писал ответ, не заметил продолжения - насколько я, наконец, понял основным критерием при рассмотрении вариантов является минимизация трудоемкости процедуры. Ну, что же - это интересная задача, достойная внимания (просто о ней никогда нигде не упоминалось). Единственное уточнение - создание резервных копий на труднодоступных медленных носителях не предполагает отказ от стандартных решений типа раид'ов, но значительно их "облегчает", оставляя за ними лишь функцию быстрого восстановления, но с разумной вероятностью "прокола" (в этом случае вашей избыточности 5% вполне хватит, без погони за немеренными девятками...). В редких же случаях "проколов" таких облегченных раид'ов сохранности системы и поможет отдельное труднодоступное хранилище, восстановление из которых может занимать и длительное время.

[masok]

Lamden, коллеги поручили мне озвучить наше коллегиальное решение. Оно такое:

За траффик, исходящий с Вашего компьютера, в любом случае несёте ответственность Вы. Вы не должны были допускать ситуации, при которой было бы возможным создание клона, что является нарушением правил. Поэтому за факт создания клона Вам выписан бан на неделю. Но, учитывая, что клон ничего предосудительного не сделал, и, что немаловажно, за него принесены извинения, выписанный бан авансом снят. Однако просим учесть, что, в случае последующего нарушения Вами правил (мы надеемся, что этого не случится), Вам будет засчитан и текущий, и авансовый бан. Надеемся, что вынесенное решение будет воспринято правильно.