Архив Об архиве FAQ New BAN List Полезные ссылки Друзья архива Архив новостей
Архив by ArjLover   Архив by ArjLover
Мультики by ArjLover
Приёмная ArjLover-a
Перезагрузить страницу Обсуждение перспектив развития системы хранения данных архива с технической точки зрения
Регистрация СправкаПравила форума Поиск Сообщения за день Все разделы прочитаны Пользователи Календарь

Приёмная ArjLover-a Послания и пожелания по работе Архива

Ответ
 
Опции темы Опции просмотра
  #1  
Старый 20.06.2008, 08:49
Member
 
Регистрация: 14.01.2007
Russian Federation
Пол: Male
Сообщений: 84
Обсуждение перспектив развития системы хранения данных архива с технической точки зрения

Цитата:
Сообщение от masok Посмотреть сообщение
SATA диски, поставленные взамен утраченного SCSI, гнутся и скрипят под натиском качающих.
Дык, кабы наоборот - было бы странно (при прочих равных условиях).
Ответить с цитированием
  #2  
Старый 20.06.2008, 12:52
Аватар для masok
Администратор
 
Регистрация: 26.11.2006
Адрес: Russian Federation Москва
Пол: Female
Сообщений: 22,811
Дык оно понятно. Только за неимением гербовой пришлось писать на простой . Надеюсь, временно.
Ответить с цитированием
  #3  
Старый 21.06.2008, 00:16
Junior Member
 
Регистрация: 23.02.2007
Russian Federation
Сообщений: 29
Вариант рейда рассматривался или нет?
Ответить с цитированием
  #4  
Старый 21.06.2008, 00:40
Супермодератор
 
Регистрация: 10.12.2006
Адрес: Russian Federation Москва
Пол: Male
Сообщений: 4,963
DLeading, не рассматривался, потому что его вставлять некуда, как минимум.
Ответить с цитированием
  #5  
Старый 22.06.2008, 10:43
Member
 
Регистрация: 14.01.2007
Russian Federation
Пол: Male
Сообщений: 84
Обсуждение перспектив развития системы хранения данных архива с технической точки зрения

Цитата:
Сообщение от Turtle Посмотреть сообщение
Цитата:
Сообщение от DLeading Посмотреть сообщение
Вариант рейда рассматривался или нет?
DLeading, не рассматривался, потому что его вставлять некуда, как минимум.
Ат-иманно, переход на новую технологию потянет цепочку событий: придется рассматривать установку отдельной корзины, затем доп.источника питания к оной, затем ...

Проще сервер заменить, а это немалые одномоментные вложения ... ради дальнейшей экономии на расходном материале (винтах).
В принципе, RAID 5 на SATA 750гиг (2250гиг=750х4 и еще +1 резервный винт) покроет весь архив фильмов, но скорость будет ниже сказевой.

Можно сделать более быстрый RAID (распараллеливание), но упадет надежность ...

Можно ...

Но пока отдельные индивидуумы умудряются качать (как выяснилось) в 50 потоков, что (при явном запрете) можно сделать лишь злонамеренно ...

Последний раз редактировалось mma, 22.06.2008 в 10:45.
Ответить с цитированием
  #6  
Старый 27.06.2008, 22:47
Senior Member
 
Регистрация: 06.03.2008
Адрес: Russian Federation Южный Урал
Пол: Male
Сообщений: 166
Lightbulb

Цитата:
Сообщение от DLeading Посмотреть сообщение
Вариант рейда рассматривался или нет?
Цитата:
Сообщение от Turtle Посмотреть сообщение
DLeading, не рассматривался, потому что его вставлять некуда, как минимум.
Для защиты данных есть такие программы, как ICEECC и RecoveryStar.
Обе программы - российские разрабоки, а RecoveryStar - открытый проект.
Используется кодирование Рида-Соломона.
Такое кодирование применяется в RAID-системах, CD-дисках и т.д.
Чем больше количество физических дисков - тем меньше избыточность.

Защищайте свои фильмы и спите спокойно.
Ответить с цитированием
  #7  
Старый 28.06.2008, 17:12
Senior Member
 
Регистрация: 06.03.2008
Адрес: Russian Federation Южный Урал
Пол: Male
Сообщений: 166
masok, "Спокойствие, только спокойствие" (с)

Производительность дисков распределяется так:
IDE диски < SATA диски < SCSI диски.
SATA диски хороши в своем классе. Не надо их так "ругать"...

Всем:
Если просто читать файл с SATA диска и SCSI диска, то скорости чтения будут приблизительно одинаковые.
Но если файлы фрагментированы и идет массовое чтение файлов, то SATA проигрывает по оборотам диска (7200 rpm против 10000 или 15000 rpm у SCSI) и по скорости доступа головки (у SCSI время доступа может быть на порядок меньше, т.е. лучше).

"Больной скорее жив, чем мертв" (c)

Хотелось бы услышать от администраторов ArjLover конфигурацию серверов и некоторые дополнительные показатели:

1) Модели материнских плат серверов (можно понять, что можно выжать)
2) Модель процессоров (и их количество)
3) Объем оперативной памяти (увы, но это тоже может влиять на производительность файловых операций)
4) Модели дисков (SATA/SCSI) и их объем в Гбайтах.
5) Конфигурация дисков (это если есть аппаратный или программный RAID).
6) Сетевая скорость подключения к каждому серверу (т.е. "потолок" скорости).
7) Статистика коннектов (вроде есть на главной странице, но не уверен).
8) Статистика открытых на чтение файлов.
9) Прочее (может быть что-то упустил).

По поводу долговечности дисков:
Из личного опыта - до 3 лет (IDE, SCSI). Значительно реже - 4 года. Потом всё равно выходят из строя.
По SATA - 3 года ещё не истекли. Поэтому не могу сказать про их надежность.

По поводу RAID: Очень желательно наличие RAID-0, т.к. скорость работы с дисками значительно увеличивается.

Если RAID невозможен по техническим причинам (нет свободных слотов на материнской плате), то ещё раз обращаю Ваше внимание на мой пост выше (про программную защиту).

Последний раз редактировалось RUSpectrum, 28.06.2008 в 17:14.
Ответить с цитированием
  #8  
Старый 28.06.2008, 17:25
Senior Member
 
Регистрация: 06.03.2008
Адрес: Russian Federation Южный Урал
Пол: Male
Сообщений: 166
Кстати вспомнил ещё один параметр:
10) Размер кластера на диске.

Например, в Windows XP по умолчанию используется размер кластера в 4 Кбайта. Если этот параметр уменьшить, то данные будут размещаться компактно, но при этом упадет скорость дисковых операций. А вот если размер кластера увеличить, то скорость дисковых операций увеличится.
Ответить с цитированием
  #9  
Старый 28.06.2008, 17:32
Аватар для masok
Администратор
 
Регистрация: 26.11.2006
Адрес: Russian Federation Москва
Пол: Female
Сообщений: 22,811
Цитата:
Сообщение от RUSpectrum
Хотелось бы услышать от администраторов ArjLover конфигурацию серверов и некоторые дополнительные показатели:
Зачем? Техническое решение после взвешивания всех за и против уже принято. Дело за финансовым.
Ответить с цитированием
  #10  
Старый 28.06.2008, 17:37
Аватар для masok
Администратор
 
Регистрация: 26.11.2006
Адрес: Russian Federation Москва
Пол: Female
Сообщений: 22,811
Многократные обсуждения достоинств и недостатков разных систем хранения данных архива пока ни к чему не привели. Критерий истины, как известно - практика, и она достаточно красноречива.
Ответить с цитированием
  #11  
Старый 28.06.2008, 18:25
Senior Member
 
Регистрация: 06.03.2008
Адрес: Russian Federation Южный Урал
Пол: Male
Сообщений: 166
masok, очень странно слышать это от Вас.
Цитата:
Техническое решение после взвешивания всех за и против уже принято.
и
Цитата:
Многократные обсуждения достоинств и недостатков разных систем хранения данных архива пока ни к чему не привели.
И где логика?
Из новостей на сайте:
Сначала "это будет мой первый опыт с SATA дисками", а уже при первых сложностях - "Дайте нам деньги на SCSI диск (или подарите) и будет всем щастие".
И всё?
Это решение до следующего отказа системы...
Цитата:
Критерий истины, как известно - практика, и она достаточно красноречива.
Да. И?..

P.S. - Странные люди, однако...
Ответить с цитированием
  #12  
Старый 28.06.2008, 23:04
Аватар для masok
Администратор
 
Регистрация: 26.11.2006
Адрес: Russian Federation Москва
Пол: Female
Сообщений: 22,811
RUSpectrum, не надо вводить окружающих в заблуждение, указанные вами программы предназначены ля спасения данных от "побитости", и ничем не помогут при выходе из строя жесткого диска сервера архива целиком в условиях отсутствия RAID.

А больше вы ничего не предлагаете.

Желающие могут ознакомиться с описанием RecoveryStar, и ICE EСС самостоятельно.
Ответить с цитированием
  #13  
Старый 29.06.2008, 10:08
Member
 
Регистрация: 14.01.2007
Russian Federation
Пол: Male
Сообщений: 84
Цитата:
Сообщение от masok Посмотреть сообщение
Многократные обсуждения достоинств и недостатков разных систем хранения данных архива пока ни к чему не привели. Критерий истины, как известно - практика, и она достаточно красноречива.
Все мы очень признательны архиву ArjLover (и тем, кто его поддерживает) и надеемся, что для него "жизнь кончается не завтра".

Поэтому даже "обсуждение во след" уже принятым решениям, полагаю, не повредит (будут, надеюсь, новые технические средства и в дальнейшем). Тем более, что вопросы будут возникать ...

Насколько понимаю, основных технических проблем было две: надежность и производительность (обычно - конкурирующих друг с другом за ограниченные ресурсы).

Никоим образом не предполагаю что-либо "оспаривать" или "ставить под сомнение" - просто практика показала, что проблемы возникли именно там, где их и следовало ожидать. И меня лично (как, наверно, и у многих других) возникло чувство вины за то, что не заострил внимание ранее ...

В том, что касается производительности, то генеральной линией стало (насколько понимал) использование ресурсов пользователей для ее повышения (торрент, ослик с муликом). Именно так и воспринимал (возможно - ошибочно) переход к SATA, чья производительность заведомо ниже скази (что наверняка заранее было известно тем, кто принимал решение).

При этом полагал (как выяснилось - ошибочно), что дешевизна SATA позволит их использовать для повышения надежности (ставшей острейшей проблемой архива ArjLover сравнительно недавно) - собственно именно так когда-то и возник RAID ("Аббревиатура RAID изначально расшифровывалась как «Redundant Arrays of Inexpensive Disks»: «избыточный (резервный) массив недорогих дисков». Именно так был представлен RAID его создателями Петтерсоном (David A. Patterson), Гибсоном (Garth A. Gibson) и Катцом (Randy H. Katz) в 1987 году. ")

Еще раз хочу отметить, что вовсе не претендую на какие-либо разъяснения ... просто некоторые реплики уважаемых сотрудников архива говорят о том, что помощь необходима не только материальная ...

Не обижайтесь, пожалуйста, и спасибо ВАМ ВСЕМ - мы ВАМ очень признательны!
Ответить с цитированием
  #14  
Старый 29.06.2008, 13:33
Аватар для masok
Администратор
 
Регистрация: 26.11.2006
Адрес: Russian Federation Москва
Пол: Female
Сообщений: 22,811
mma, честно говоря, я всегда с большим интересом читаю ваши технически безупречные и честно аргументированные сообщения. И моя реплика, процитированная вами, возможно сформулирована не корректно. Мы не против настоящей помощи, в том числе и с помощью обсуждения. Мы очень даже за, и благодарны за нее.

Но именно помощи, а не попытке чужую беду руками развести.
Ответить с цитированием
  #15  
Старый 29.06.2008, 19:08
Senior Member
 
Регистрация: 06.03.2008
Адрес: Russian Federation Южный Урал
Пол: Male
Сообщений: 166
Цитата:
Сообщение от masok Посмотреть сообщение
RUSpectrum, не надо вводить окружающих в заблуждение...
Это уже, как минимум, обвинение в мой адрес?..

masok, это Вам не надо вводить окружающих в заблуждение!

Во-первых, Вам (и mma Вам в помощь) придется вспомнить общие принципы работы классического RAID-5.
А во-вторых, как вы уже писали:
Цитата:
Критерий истины, как известно - практика...
А Вы смотрели эти программы?
В документации RecoveryStar ясно говорится о "RAID-подобности"...
Жду с нетерпением Ваших рассуждений.

P.S. - Программа RecoveryStar версии 1.4 явно устарела. Можно применить исключительно в познавательных целях, но не практических...
Ответить с цитированием
  #16  
Старый 29.06.2008, 22:45
Аватар для masok
Администратор
 
Регистрация: 26.11.2006
Адрес: Russian Federation Москва
Пол: Female
Сообщений: 22,811
RUSpectrum, я не готова продолжать с вами дискуссию около этих программ. Если вы считаете, что с помощью их реально в наших условиях возможно повысить производительность и устойчивость нашей системы хранения данных без ущерба для их объема - напишите короткое, внятное и аргументированное техническое предложение и опубликуйте его здесь.

Тогда будет предмет для обсуждения.
Ответить с цитированием
  #17  
Старый 30.06.2008, 12:47
Senior Member
 
Регистрация: 06.03.2008
Адрес: Russian Federation Южный Урал
Пол: Male
Сообщений: 166
masok, хм... ну с этого и надо было начинать.

По поводу "повысить производительность": данные программы и алгоритмы никак не связаны с производительностью системы. НО, ИМХО, попутно можно получить и этот эффект.

По поводу "повысить производительность и устойчивость нашей системы хранения данных": Да. Программы для этого и предназначены.

По поводу "без ущерба для их объема": увы, это невозможно. Информацию не берется ниоткуда. Требуется избыточность (например, как в WinRAR). Объем зависит от выбранных параметров.

Я подготовлю сообщение и опубликую здесь.
Для большей информативности мне придется полазить по интернету.
Прошу набраться терпения...
Ответить с цитированием
  #18  
Старый 30.06.2008, 13:29
Аватар для masok
Администратор
 
Регистрация: 26.11.2006
Адрес: Russian Federation Москва
Пол: Female
Сообщений: 22,811
RUSpectrum, если бы у нас была возможность повышать помехоустойчивость за счет избыточности - по классической теореме - мы бы орагинзовали RAID, надеждный крепкий RAID, и проблема была бы решена просто и надежно.

Программный способ возможно, экономичнее в смысле потребляемого объема, но все равно его потребляет, а значит, неприемлем. К тому же он наверняка менее надежен, чем аппаратный.

Предложение, впрочем, опубликуйте - возможно, у других членов команды иной взгляд на этот путь решения, чем у меня.
Ответить с цитированием
  #19  
Старый 01.07.2008, 21:10
Member
 
Регистрация: 14.01.2007
Russian Federation
Пол: Male
Сообщений: 84
Цитата:
Сообщение от RUSpectrum Посмотреть сообщение
Во-первых, Вам (и mma Вам в помощь) придется вспомнить общие принципы работы классического RAID-5.
RUSpectrum, у Вас ко мне лично какие-то претензии?

Их можно высказать прямо ... надеюсь, нам не придется вспоминать программу начальной школы?
Цитата:
Сообщение от masok
Мы не против настоящей помощи, в том числе и с помощью обсуждения. Мы очень даже за, и благодарны за нее.
Известный «мудрец» сказал: «Специалист подобен флюсу: полнота его одностороння».

Очень сложно знать ВСЕ – даже в достаточно узкой области (особенно - в бурно развивающейся).
Еще труднее сделать так, чтобы специалисты из разных областей одинаково понимали, чем чреваты принимаемые решения.

Насколько понял, некоторые результаты оказались неожиданными и для Вас.
Цитата:
Сообщение от masok
Но именно помощи, а не попытке чужую беду руками развести.
Беда-то вовсе не чужая, а наша общая ...

А вот насчет помощи ... полагал, например, что мой скромный опыт (последний раз отвечал за функционирование серверов аж 3 года назад и самый крутой из них имел RAID 5 всего лишь на сказевых 40-гигабайтниках) не позволяет мне лезть со своими советами (типичного флюса) к серьезным занятым людям. (Так, например, переход к 500- и 750-гиговым винтам очень сильно увеличивает время восстановления конфигурации и делает систему на RAID 5 заметно более уязвимой – увеличивается вероятность выхода из строя еще одного винта, могут потребоваться иные решения ... и т.д.).

Но вот если бы предполагаемые решения предлагались к обсуждению, то (полагаю) среди пользователей архива нашлись бы достаточно компетентные специалисты (и примеры тому мы уже видели).

Что можно сделать сейчас?
1. Можно (как предлагает RUSpectrum) поискать программные методы (если есть достаточные процессорные резервы).
2. Обсудить возможные варианты перехода в следующем поколении (полагаю, что RAID’а не избежать).

Кто-либо нуждается в нашей помощи?
Не уверен ...
Ответить с цитированием
  #20  
Старый 01.07.2008, 21:31
Senior Member
 
Регистрация: 06.03.2008
Адрес: Russian Federation Южный Урал
Пол: Male
Сообщений: 166
Цитата:
Сообщение от mma Посмотреть сообщение
RUSpectrum, у Вас ко мне лично какие-то претензии?

Их можно высказать прямо ... надеюсь, нам не придется вспоминать программу начальной школы?
mma, ну не кипятитесь Вы так. Просто я предположил, что Вам знакомы основные принципы RAID и Вы сможете помочь masok в этом разобраться.
Ничего плохого я даже и не думал.
Ответить с цитированием
Ответ


Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
 
Опции темы
Опции просмотра

Ваши права в разделе
Вы не можете создавать темы
Вы не можете отвечать на сообщения
Вы не можете прикреплять файлы
Вы не можете редактировать сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.
Быстрый переход


Часовой пояс GMT +3, время: 14:53.


vBulletin® Version 3.6.8.
Copyright ©2000 - 2019, Jelsoft Enterprises Ltd.
Перевод: zCarot