Архив | Об архиве | FAQ | New BAN List | Полезные ссылки | Друзья архива | Архив новостей |
|
Регистрация | Справка | Правила форума | Поиск | Сообщения за день | Пользователи | Календарь |
Приёмная ArjLover-a Послания и пожелания по работе Архива |
|
Опции темы | Опции просмотра |
|
|||
Обсуждение перспектив развития системы хранения данных архива с технической точки зрения
Дык, кабы наоборот - было бы странно (при прочих равных условиях).
|
|
|||
Обсуждение перспектив развития системы хранения данных архива с технической точки зрения
Цитата:
Проще сервер заменить, а это немалые одномоментные вложения ... ради дальнейшей экономии на расходном материале (винтах). В принципе, RAID 5 на SATA 750гиг (2250гиг=750х4 и еще +1 резервный винт) покроет весь архив фильмов, но скорость будет ниже сказевой. Можно сделать более быстрый RAID (распараллеливание), но упадет надежность ... Можно ... Но пока отдельные индивидуумы умудряются качать (как выяснилось) в 50 потоков, что (при явном запрете) можно сделать лишь злонамеренно ... Последний раз редактировалось mma, 22.06.2008 в 09:45. |
|
|||
Цитата:
Обе программы - российские разрабоки, а RecoveryStar - открытый проект. Используется кодирование Рида-Соломона. Такое кодирование применяется в RAID-системах, CD-дисках и т.д. Чем больше количество физических дисков - тем меньше избыточность. Защищайте свои фильмы и спите спокойно. |
|
|||
masok, "Спокойствие, только спокойствие" (с)
Производительность дисков распределяется так: IDE диски < SATA диски < SCSI диски. SATA диски хороши в своем классе. Не надо их так "ругать"... Всем: Если просто читать файл с SATA диска и SCSI диска, то скорости чтения будут приблизительно одинаковые. Но если файлы фрагментированы и идет массовое чтение файлов, то SATA проигрывает по оборотам диска (7200 rpm против 10000 или 15000 rpm у SCSI) и по скорости доступа головки (у SCSI время доступа может быть на порядок меньше, т.е. лучше). "Больной скорее жив, чем мертв" (c) Хотелось бы услышать от администраторов ArjLover конфигурацию серверов и некоторые дополнительные показатели: 1) Модели материнских плат серверов (можно понять, что можно выжать) 2) Модель процессоров (и их количество) 3) Объем оперативной памяти (увы, но это тоже может влиять на производительность файловых операций) 4) Модели дисков (SATA/SCSI) и их объем в Гбайтах. 5) Конфигурация дисков (это если есть аппаратный или программный RAID). 6) Сетевая скорость подключения к каждому серверу (т.е. "потолок" скорости). 7) Статистика коннектов (вроде есть на главной странице, но не уверен). 8) Статистика открытых на чтение файлов. 9) Прочее (может быть что-то упустил). По поводу долговечности дисков: Из личного опыта - до 3 лет (IDE, SCSI). Значительно реже - 4 года. Потом всё равно выходят из строя. По SATA - 3 года ещё не истекли. Поэтому не могу сказать про их надежность. По поводу RAID: Очень желательно наличие RAID-0, т.к. скорость работы с дисками значительно увеличивается. Если RAID невозможен по техническим причинам (нет свободных слотов на материнской плате), то ещё раз обращаю Ваше внимание на мой пост выше (про программную защиту). Последний раз редактировалось RUSpectrum, 28.06.2008 в 16:14. |
|
|||
Кстати вспомнил ещё один параметр:
10) Размер кластера на диске. Например, в Windows XP по умолчанию используется размер кластера в 4 Кбайта. Если этот параметр уменьшить, то данные будут размещаться компактно, но при этом упадет скорость дисковых операций. А вот если размер кластера увеличить, то скорость дисковых операций увеличится. |
|
|||
masok, очень странно слышать это от Вас.
Цитата:
Цитата:
Из новостей на сайте: Сначала "это будет мой первый опыт с SATA дисками", а уже при первых сложностях - "Дайте нам деньги на SCSI диск (или подарите) и будет всем щастие". И всё? Это решение до следующего отказа системы... Цитата:
P.S. - Странные люди, однако... |
|
||||
RUSpectrum, не надо вводить окружающих в заблуждение, указанные вами программы предназначены ля спасения данных от "побитости", и ничем не помогут при выходе из строя жесткого диска сервера архива целиком в условиях отсутствия RAID.
А больше вы ничего не предлагаете. Желающие могут ознакомиться с описанием RecoveryStar, и ICE EСС самостоятельно. |
|
|||
Цитата:
Поэтому даже "обсуждение во след" уже принятым решениям, полагаю, не повредит (будут, надеюсь, новые технические средства и в дальнейшем). Тем более, что вопросы будут возникать ... Насколько понимаю, основных технических проблем было две: надежность и производительность (обычно - конкурирующих друг с другом за ограниченные ресурсы). Никоим образом не предполагаю что-либо "оспаривать" или "ставить под сомнение" - просто практика показала, что проблемы возникли именно там, где их и следовало ожидать. И меня лично (как, наверно, и у многих других) возникло чувство вины за то, что не заострил внимание ранее ... В том, что касается производительности, то генеральной линией стало (насколько понимал) использование ресурсов пользователей для ее повышения (торрент, ослик с муликом). Именно так и воспринимал (возможно - ошибочно) переход к SATA, чья производительность заведомо ниже скази (что наверняка заранее было известно тем, кто принимал решение). При этом полагал (как выяснилось - ошибочно), что дешевизна SATA позволит их использовать для повышения надежности (ставшей острейшей проблемой архива ArjLover сравнительно недавно) - собственно именно так когда-то и возник RAID ("Аббревиатура RAID изначально расшифровывалась как «Redundant Arrays of Inexpensive Disks»: «избыточный (резервный) массив недорогих дисков». Именно так был представлен RAID его создателями Петтерсоном (David A. Patterson), Гибсоном (Garth A. Gibson) и Катцом (Randy H. Katz) в 1987 году. ") Еще раз хочу отметить, что вовсе не претендую на какие-либо разъяснения ... просто некоторые реплики уважаемых сотрудников архива говорят о том, что помощь необходима не только материальная ... Не обижайтесь, пожалуйста, и спасибо ВАМ ВСЕМ - мы ВАМ очень признательны! |
|
||||
mma, честно говоря, я всегда с большим интересом читаю ваши технически безупречные и честно аргументированные сообщения. И моя реплика, процитированная вами, возможно сформулирована не корректно. Мы не против настоящей помощи, в том числе и с помощью обсуждения. Мы очень даже за, и благодарны за нее.
Но именно помощи, а не попытке чужую беду руками развести. |
|
|||
Это уже, как минимум, обвинение в мой адрес?..
masok, это Вам не надо вводить окружающих в заблуждение! Во-первых, Вам (и mma Вам в помощь) придется вспомнить общие принципы работы классического RAID-5. А во-вторых, как вы уже писали: Цитата:
В документации RecoveryStar ясно говорится о "RAID-подобности"... Жду с нетерпением Ваших рассуждений. P.S. - Программа RecoveryStar версии 1.4 явно устарела. Можно применить исключительно в познавательных целях, но не практических... |
|
||||
RUSpectrum, я не готова продолжать с вами дискуссию около этих программ. Если вы считаете, что с помощью их реально в наших условиях возможно повысить производительность и устойчивость нашей системы хранения данных без ущерба для их объема - напишите короткое, внятное и аргументированное техническое предложение и опубликуйте его здесь.
Тогда будет предмет для обсуждения. |
|
|||
masok, хм... ну с этого и надо было начинать.
По поводу "повысить производительность": данные программы и алгоритмы никак не связаны с производительностью системы. НО, ИМХО, попутно можно получить и этот эффект. По поводу "повысить производительность и устойчивость нашей системы хранения данных": Да. Программы для этого и предназначены. По поводу "без ущерба для их объема": увы, это невозможно. Информацию не берется ниоткуда. Требуется избыточность (например, как в WinRAR). Объем зависит от выбранных параметров. Я подготовлю сообщение и опубликую здесь. Для большей информативности мне придется полазить по интернету. Прошу набраться терпения... |
|
||||
RUSpectrum, если бы у нас была возможность повышать помехоустойчивость за счет избыточности - по классической теореме - мы бы орагинзовали RAID, надеждный крепкий RAID, и проблема была бы решена просто и надежно.
Программный способ возможно, экономичнее в смысле потребляемого объема, но все равно его потребляет, а значит, неприемлем. К тому же он наверняка менее надежен, чем аппаратный. Предложение, впрочем, опубликуйте - возможно, у других членов команды иной взгляд на этот путь решения, чем у меня. |
|
|||
Цитата:
Их можно высказать прямо ... надеюсь, нам не придется вспоминать программу начальной школы? Цитата:
Очень сложно знать ВСЕ – даже в достаточно узкой области (особенно - в бурно развивающейся). Еще труднее сделать так, чтобы специалисты из разных областей одинаково понимали, чем чреваты принимаемые решения. Насколько понял, некоторые результаты оказались неожиданными и для Вас. Цитата:
А вот насчет помощи ... полагал, например, что мой скромный опыт (последний раз отвечал за функционирование серверов аж 3 года назад и самый крутой из них имел RAID 5 всего лишь на сказевых 40-гигабайтниках) не позволяет мне лезть со своими советами (типичного флюса) к серьезным занятым людям. (Так, например, переход к 500- и 750-гиговым винтам очень сильно увеличивает время восстановления конфигурации и делает систему на RAID 5 заметно более уязвимой – увеличивается вероятность выхода из строя еще одного винта, могут потребоваться иные решения ... и т.д.). Но вот если бы предполагаемые решения предлагались к обсуждению, то (полагаю) среди пользователей архива нашлись бы достаточно компетентные специалисты (и примеры тому мы уже видели). Что можно сделать сейчас? 1. Можно (как предлагает RUSpectrum) поискать программные методы (если есть достаточные процессорные резервы). 2. Обсудить возможные варианты перехода в следующем поколении (полагаю, что RAID’а не избежать). Кто-либо нуждается в нашей помощи? Не уверен ... |
|
|||
Цитата:
Ничего плохого я даже и не думал. |