[mma]

Сообщение от masok

SATA диски, поставленные взамен утраченного SCSI, гнутся и скрипят под натиском качающих.

Дык, кабы наоборот - было бы странно (при прочих равных условиях).

[masok]

Дык оно понятно. Только за неимением гербовой пришлось писать на простой . Надеюсь, временно.

[DLeading]

Вариант рейда рассматривался или нет?

[Turtle]

DLeading, не рассматривался, потому что его вставлять некуда, как минимум.

[mma]

Сообщение от Turtle

DLeading, не рассматривался, потому что его вставлять некуда, как минимум.

Ат-иманно, переход на новую технологию потянет цепочку событий: придется рассматривать установку отдельной корзины, затем доп.источника питания к оной, затем ...

Проще сервер заменить, а это немалые одномоментные вложения ... ради дальнейшей экономии на расходном материале (винтах).
В принципе, RAID 5 на SATA 750гиг (2250гиг=750х4 и еще +1 резервный винт) покроет весь архив фильмов, но скорость будет ниже сказевой.

Можно сделать более быстрый RAID (распараллеливание), но упадет надежность ...

Можно ...
Но пока отдельные индивидуумы умудряются качать (как выяснилось) в 50 потоков, что (при явном запрете) можно сделать лишь злонамеренно ...

[RUSpectrum]

Сообщение от DLeading

Вариант рейда рассматривался или нет?

Сообщение от Turtle

DLeading, не рассматривался, потому что его вставлять некуда, как минимум.

Для защиты данных есть такие программы, как ICEECC и RecoveryStar.
Обе программы - российские разрабоки, а RecoveryStar - открытый проект.
Используется кодирование Рида-Соломона.
Такое кодирование применяется в RAID-системах, CD-дисках и т.д.
Чем больше количество физических дисков - тем меньше избыточность.

Защищайте свои фильмы и спите спокойно.

[RUSpectrum]

masok, "Спокойствие, только спокойствие" (с)

Производительность дисков распределяется так:
IDE диски < SATA диски < SCSI диски.
SATA диски хороши в своем классе. Не надо их так "ругать"...

Всем:
Если просто читать файл с SATA диска и SCSI диска, то скорости чтения будут приблизительно одинаковые.
Но если файлы фрагментированы и идет массовое чтение файлов, то SATA проигрывает по оборотам диска (7200 rpm против 10000 или 15000 rpm у SCSI) и по скорости доступа головки (у SCSI время доступа может быть на порядок меньше, т.е. лучше).

"Больной скорее жив, чем мертв" (c)

Хотелось бы услышать от администраторов ArjLover конфигурацию серверов и некоторые дополнительные показатели:

1) Модели материнских плат серверов (можно понять, что можно выжать)
2) Модель процессоров (и их количество)
3) Объем оперативной памяти (увы, но это тоже может влиять на производительность файловых операций)
4) Модели дисков (SATA/SCSI) и их объем в Гбайтах.
5) Конфигурация дисков (это если есть аппаратный или программный RAID).
6) Сетевая скорость подключения к каждому серверу (т.е. "потолок" скорости).
7) Статистика коннектов (вроде есть на главной странице, но не уверен).
8) Статистика открытых на чтение файлов.
9) Прочее (может быть что-то упустил).

По поводу долговечности дисков:
Из личного опыта - до 3 лет (IDE, SCSI). Значительно реже - 4 года. Потом всё равно выходят из строя.
По SATA - 3 года ещё не истекли. Поэтому не могу сказать про их надежность.

По поводу RAID: Очень желательно наличие RAID-0, т.к. скорость работы с дисками значительно увеличивается.

Если RAID невозможен по техническим причинам (нет свободных слотов на материнской плате), то ещё раз обращаю Ваше внимание на мой пост выше (про программную защиту).

[RUSpectrum]

Кстати вспомнил ещё один параметр:
10) Размер кластера на диске.

Например, в Windows XP по умолчанию используется размер кластера в 4 Кбайта. Если этот параметр уменьшить, то данные будут размещаться компактно, но при этом упадет скорость дисковых операций. А вот если размер кластера увеличить, то скорость дисковых операций увеличится.

[masok]

Сообщение от RUSpectrum

Хотелось бы услышать от администраторов ArjLover конфигурацию серверов и некоторые дополнительные показатели:

Зачем? Техническое решение после взвешивания всех за и против уже принято. Дело за финансовым.

[masok]

Многократные обсуждения достоинств и недостатков разных систем хранения данных архива пока ни к чему не привели. Критерий истины, как известно - практика, и она достаточно красноречива.

[RUSpectrum]

masok, очень странно слышать это от Вас.

Техническое решение после взвешивания всех за и против уже принято.

и

Многократные обсуждения достоинств и недостатков разных систем хранения данных архива пока ни к чему не привели.

И где логика?
Из новостей на сайте:
Сначала "это будет мой первый опыт с SATA дисками", а уже при первых сложностях - "Дайте нам деньги на SCSI диск (или подарите) и будет всем щастие".
И всё?
Это решение до следующего отказа системы...

Критерий истины, как известно - практика, и она достаточно красноречива.

Да. И?..

P.S. - Странные люди, однако...

[masok]

RUSpectrum, не надо вводить окружающих в заблуждение, указанные вами программы предназначены ля спасения данных от "побитости", и ничем не помогут при выходе из строя жесткого диска сервера архива целиком в условиях отсутствия RAID.

А больше вы ничего не предлагаете.

Желающие могут ознакомиться с описанием RecoveryStar, и ICE EСС самостоятельно.

[mma]

Сообщение от masok

Многократные обсуждения достоинств и недостатков разных систем хранения данных архива пока ни к чему не привели. Критерий истины, как известно - практика, и она достаточно красноречива.

Все мы очень признательны архиву ArjLover (и тем, кто его поддерживает) и надеемся, что для него "жизнь кончается не завтра".

Поэтому даже "обсуждение во след" уже принятым решениям, полагаю, не повредит (будут, надеюсь, новые технические средства и в дальнейшем). Тем более, что вопросы будут возникать ...

Насколько понимаю, основных технических проблем было две: надежность и производительность (обычно - конкурирующих друг с другом за ограниченные ресурсы).

Никоим образом не предполагаю что-либо "оспаривать" или "ставить под сомнение" - просто практика показала, что проблемы возникли именно там, где их и следовало ожидать. И меня лично (как, наверно, и у многих других) возникло чувство вины за то, что не заострил внимание ранее ...

В том, что касается производительности, то генеральной линией стало (насколько понимал) использование ресурсов пользователей для ее повышения (торрент, ослик с муликом). Именно так и воспринимал (возможно - ошибочно) переход к SATA, чья производительность заведомо ниже скази (что наверняка заранее было известно тем, кто принимал решение).

При этом полагал (как выяснилось - ошибочно), что дешевизна SATA позволит их использовать для повышения надежности (ставшей острейшей проблемой архива ArjLover сравнительно недавно) - собственно именно так когда-то и возник RAID ("Аббревиатура RAID изначально расшифровывалась как «Redundant Arrays of Inexpensive Disks»: «избыточный (резервный) массив недорогих дисков». Именно так был представлен RAID его создателями Петтерсоном (David A. Patterson), Гибсоном (Garth A. Gibson) и Катцом (Randy H. Katz) в 1987 году. ")

Еще раз хочу отметить, что вовсе не претендую на какие-либо разъяснения ... просто некоторые реплики уважаемых сотрудников архива говорят о том, что помощь необходима не только материальная ...

Не обижайтесь, пожалуйста, и спасибо ВАМ ВСЕМ - мы ВАМ очень признательны!

[masok]

mma, честно говоря, я всегда с большим интересом читаю ваши технически безупречные и честно аргументированные сообщения. И моя реплика, процитированная вами, возможно сформулирована не корректно. Мы не против настоящей помощи, в том числе и с помощью обсуждения. Мы очень даже за, и благодарны за нее.

Но именно помощи, а не попытке чужую беду руками развести.

[RUSpectrum]

Сообщение от masok

RUSpectrum, не надо вводить окружающих в заблуждение...

Это уже, как минимум, обвинение в мой адрес?..

masok, это Вам не надо вводить окружающих в заблуждение!

Во-первых, Вам (и mma Вам в помощь) придется вспомнить общие принципы работы классического RAID-5.
А во-вторых, как вы уже писали:

Критерий истины, как известно - практика...

А Вы смотрели эти программы?
В документации RecoveryStar ясно говорится о "RAID-подобности"...
Жду с нетерпением Ваших рассуждений.

P.S. - Программа RecoveryStar версии 1.4 явно устарела. Можно применить исключительно в познавательных целях, но не практических...

[masok]

RUSpectrum, я не готова продолжать с вами дискуссию около этих программ. Если вы считаете, что с помощью их реально в наших условиях возможно повысить производительность и устойчивость нашей системы хранения данных без ущерба для их объема - напишите короткое, внятное и аргументированное техническое предложение и опубликуйте его здесь.

Тогда будет предмет для обсуждения.

[RUSpectrum]

masok, хм... ну с этого и надо было начинать.

По поводу "повысить производительность": данные программы и алгоритмы никак не связаны с производительностью системы. НО, ИМХО, попутно можно получить и этот эффект.

По поводу "повысить производительность и устойчивость нашей системы хранения данных": Да. Программы для этого и предназначены.

По поводу "без ущерба для их объема": увы, это невозможно. Информацию не берется ниоткуда. Требуется избыточность (например, как в WinRAR). Объем зависит от выбранных параметров.

Я подготовлю сообщение и опубликую здесь.
Для большей информативности мне придется полазить по интернету.
Прошу набраться терпения...

[masok]

RUSpectrum, если бы у нас была возможность повышать помехоустойчивость за счет избыточности - по классической теореме - мы бы орагинзовали RAID, надеждный крепкий RAID, и проблема была бы решена просто и надежно.

Программный способ возможно, экономичнее в смысле потребляемого объема, но все равно его потребляет, а значит, неприемлем. К тому же он наверняка менее надежен, чем аппаратный.

Предложение, впрочем, опубликуйте - возможно, у других членов команды иной взгляд на этот путь решения, чем у меня.

[mma]

Сообщение от RUSpectrum

Во-первых, Вам (и mma Вам в помощь) придется вспомнить общие принципы работы классического RAID-5.

RUSpectrum, у Вас ко мне лично какие-то претензии?

Их можно высказать прямо ... надеюсь, нам не придется вспоминать программу начальной школы?

Сообщение от masok

Мы не против настоящей помощи, в том числе и с помощью обсуждения. Мы очень даже за, и благодарны за нее.

Известный «мудрец» сказал: «Специалист подобен флюсу: полнота его одностороння».

Очень сложно знать ВСЕ – даже в достаточно узкой области (особенно - в бурно развивающейся).
Еще труднее сделать так, чтобы специалисты из разных областей одинаково понимали, чем чреваты принимаемые решения.

Насколько понял, некоторые результаты оказались неожиданными и для Вас.

Сообщение от masok

Но именно помощи, а не попытке чужую беду руками развести.

Беда-то вовсе не чужая, а наша общая ...

А вот насчет помощи ... полагал, например, что мой скромный опыт (последний раз отвечал за функционирование серверов аж 3 года назад и самый крутой из них имел RAID 5 всего лишь на сказевых 40-гигабайтниках) не позволяет мне лезть со своими советами (типичного флюса) к серьезным занятым людям. (Так, например, переход к 500- и 750-гиговым винтам очень сильно увеличивает время восстановления конфигурации и делает систему на RAID 5 заметно более уязвимой – увеличивается вероятность выхода из строя еще одного винта, могут потребоваться иные решения ... и т.д.).

Но вот если бы предполагаемые решения предлагались к обсуждению, то (полагаю) среди пользователей архива нашлись бы достаточно компетентные специалисты (и примеры тому мы уже видели).

Что можно сделать сейчас?
1. Можно (как предлагает RUSpectrum) поискать программные методы (если есть достаточные процессорные резервы).
2. Обсудить возможные варианты перехода в следующем поколении (полагаю, что RAID’а не избежать).

Кто-либо нуждается в нашей помощи?
Не уверен ...

[RUSpectrum]

Сообщение от mma

RUSpectrum, у Вас ко мне лично какие-то претензии?

Их можно высказать прямо ... надеюсь, нам не придется вспоминать программу начальной школы?

mma, ну не кипятитесь Вы так. Просто я предположил, что Вам знакомы основные принципы RAID и Вы сможете помочь masok в этом разобраться.
Ничего плохого я даже и не думал.