Архив Об архиве FAQ New BAN List Полезные ссылки Друзья архива Архив новостей
Архив by ArjLover   Архив by ArjLover
Мультики by ArjLover
Приёмная ArjLover-a
Перезагрузить страницу Архивация фильмов
Регистрация СправкаПравила форума Поиск Сообщения за день Все разделы прочитаны Пользователи Календарь

Приёмная ArjLover-a Послания и пожелания по работе Архива

Ответ
 
Опции темы Опции просмотра
  #1  
Старый 01.08.2007, 13:09
Аватар для Alexblood
Junior Member
 
Регистрация: 01.08.2007
Russian Federation
Пол: Male
Сообщений: 2
Архивация фильмов

Я не знаю, я здесь новенький, может это уже кем-то предлагалось. Вижу много разговоров на тему контрольных сумм. При закачке, а особенно, при докачке несколько байтиков вполне может потеряться, для авишек - это распространенная тема. По-моему гораздо проще заархивировать фильм в формате "rar", дать 5 процентов на восстановление и это точная гарантия того, что при всех докачках и перекачках вы что сняли с сервера, то и получите (+ 5% на всякий пожарный). RAR будет своего рода контейнером для перевозки AVI из пункта А в пункт Б.
Ответить с цитированием
  #2  
Старый 01.08.2007, 13:23
Супермодератор
 
Регистрация: 10.12.2006
Адрес: Russian Federation Москва
Пол: Male
Сообщений: 5,012
5%, и даже 0,1% лишнего объёма попросту нет в наличии.

RAR — платная программа, да и восстановление там возможно далеко не всегда.

Архив стремится к доступности и пониманию способов достижения результата как можно менее подготовленными пользователями сети, с затратой ими как можно меньшего количества своего времени, например, мамами без привлечения пап, и не в ущерб детям.
Ответить с цитированием
  #3  
Старый 01.08.2007, 13:36
Аватар для Alexblood
Junior Member
 
Регистрация: 01.08.2007
Russian Federation
Пол: Male
Сообщений: 2
Насчет места - это понятно, хотя, если честно, то RAR архив сам по себе надежный контейнер. WinRAR - платная, это тоже понятно. Но есть бесплатная 7-ZIP, тоже все может. Доступность и понимание - и это понятно, хотя контрольные суммы, это я Вам скажу, тоже не просто. Самораспаковывающийся архив, по-моему, доступен и понятен. Хотя, конечно, Вам решать, мое дело предложить.
Ответить с цитированием
  #4  
Старый 01.08.2007, 16:56
Супермодератор
 
Регистрация: 10.12.2006
Адрес: Russian Federation Москва
Пол: Male
Сообщений: 5,012
Самораспаковывающийся, т.е. только в Windows, однозначно не годится, не говоря уже про сомнительность выкладывания в больших количествах в открытую сеть *.exe-файлов, да и сильно пострадает рейтинг, в котором сейчас индексация файлов *.avi Google и другими поисковиками занимает большую долю.
Ответить с цитированием
  #5  
Старый 02.08.2007, 21:46
Аватар для ArjLover
Администратор
 
Регистрация: 25.11.2006
Адрес: Czech Republic Прага
Пол: Male
Сообщений: 2,886
Отправить сообщение для ArjLover с помощью ICQ
Да, пользы будет меньше чем вреда. При современных технологиях файлы при прокачке портятся редко (у себя вообще не помню такого случая за 15 лет начиная с модемов). А вот разархивировать потом 1,5 гига - это надо будет неслабо винчестером пошуршать...
Ответить с цитированием
  #6  
Старый 03.08.2007, 01:19
Junior Member
 
Регистрация: 03.08.2007
Сообщений: 1
Существуют программы типа QuickPar и IceECC, которые позволяют восстановить битый файл, при этим не изменяют оригинал. Если есть такая потребность - то добавить к каждому видеофайлу еще и небольшой (скажем 1МБ) файл проверки/восстановления технически несложно, повысит на порядок надежность и самое важное - уберет необходимость в повторных перекачках.
Ответить с цитированием
  #7  
Старый 03.08.2007, 01:35
Супермодератор
 
Регистрация: 10.12.2006
Адрес: Russian Federation Москва
Пол: Male
Сообщений: 5,012
Это понятно, но проверено, что правильными программами-качалками файлы скачиваются нормально. В основном все вопросы возникают, когда народ, не удосужившись почитать инструкции, качает файлы браузерами или плеерами, в результате чего недокачивает, и пытается их посмотреть.
Ответить с цитированием
  #8  
Старый 22.08.2007, 23:26
Junior Member
 
Регистрация: 03.02.2007
Сообщений: 9
Бьются файлы. Я настаиваю - и в моём представлении истины это совершенно точно. Если Вы имеете в виду под правильными программами-качалками битторент или ed2k-клиент - то Вы правы. А по http - бьются. Если параллельно в системе работает ещё какая-то качалка, пусть даже тот же µTorrent на отдачу, хоть другой http-клиент, то хоть браузером, хоть DM, хоть reget, хоть чем - будут биться. Говорю Вам как человек, скачавший из сети метровую в высоту стопку дивидишек (на шпинделях), из которых значительная часть скачана именно по http в виде многотомных архивов. Достаточно было включить что-нибудь активно работающее с сетью параллельно со скачиванием - и некоторая часть томов (стометровых) билась (до половины общего количества), приходилось перекачивать. Может быть дело в рахитичности винды, может быть в кривости фаервола, но тем не менее.

И я бы всё-таки предложил бы конечно не самораспаковывающиеся архивы. Лучше специальный клиент, читающий файл с контрольными суммами и http-ссылкой. Аналогично торрент-клиенту. С обычным скачиванием по http-протоколу и проверкой контрольных сумм. Если суммы просто crc32, например, пусть даже на каждый мегабайт, на гигабайтный фильм это будет 4К. То есть 0,0004%. То есть в 2 тысячи раз меньше того, сколько у вас нет. Такой клиент можно и под win32, и под unix написать за пять минут. Программу вычисления контрольных сумм - тоже. Лучше конечно не crc32, а пусть даже md5, порядок чисел не изменится. Что-нибудь типа:

=== a.esli.eto.lubov.avi.arjlover ===
http://filmiki.arjlover.net/filmiki/....eto.lubov.avi
1446512640 (длина)
контрольная сумма1
контрольная сумма2
...
=== a.esli.eto.lubov.avi.arjlover ===

При чём такой клиент будет лишь альтернативой для скачивания, им же можно, допустим, и проверять корректность уже скачанных файлов, и исправлять их перекачивая нужные участки. Можно и многопоточность (для разных серверов) организовать.
Ответить с цитированием
  #9  
Старый 22.08.2007, 23:55
Супермодератор
 
Регистрация: 10.12.2006
Адрес: Russian Federation Москва
Пол: Male
Сообщений: 5,012
Проще выяснить, в чём проблема с http, и исправить её, чем изобретать велосипед.
Ответить с цитированием
  #10  
Старый 23.08.2007, 08:33
Аватар для alexko
Senior Member
 
Регистрация: 11.12.2006
Адрес: Russian Federation Москва
Пол: Male
Сообщений: 473
Цитата:
Сообщение от Turtle Посмотреть сообщение
Проще выяснить, в чём проблема с http, и исправить её, чем изобретать велосипед.
Точно!

Я скачал не меньше, а может и больше метра ДВД-шек
Очень-очень редко бывал сбой.

Гораздо больше - при записи на балку.
__________________
Если в инете есть фильм, мы его скачаем.
Если нет - зальем.
Ответить с цитированием
  #11  
Старый 23.08.2007, 11:51
Member
 
Регистрация: 06.01.2007
Адрес: Russian Federation Питер
Пол: Female
Сообщений: 88
Отправить сообщение для Lana_sa с помощью ICQ
у меня одновременно работают и осел, и торрент, и с мыла качаю, и с фтп... при этом с архива никогда битого ничего не было.
може квалификация у меня того... повышать пора?..
Ответить с цитированием
  #12  
Старый 23.08.2007, 12:23
Супермодератор
 
Регистрация: 10.12.2006
Адрес: Russian Federation Москва
Пол: Male
Сообщений: 5,012
Например, данные могут портиться при передаче по шине IDE, если эта шина используется с нарушениями, в частности, к ней неправильно подключены устройства, т.к. контроль целостности данных при передаче по этой шине не осуществляется.

Также, данные могут портиться в оперативной памяти компьютера, и даже в кешах процессора, если у этих устройств отсутствует контроль ошибок, или он выключен.

Самые классические грабли — это плохой блок питания компьютера, в т.ч. его продолжение, располагающееся на материнской плате. В этом случае данные могут портиться при передачах во внутренних шинах компьютера, на контроле целостности данных в которых мировая инженерная мысль тоже до сих пор традиционно экономит.

Что же до интернета, то к нему претензий быть не может, т.к. сам протокол TCP/IP на 100% обеспечивает целостность передачи данных.
Ответить с цитированием
  #13  
Старый 24.08.2007, 00:02
Member
 
Регистрация: 14.01.2007
Russian Federation
Пол: Male
Сообщений: 84
Цитата:
Сообщение от Turtle Посмотреть сообщение
Проще выяснить, в чём проблема с http, и исправить её, чем изобретать велосипед.
Скачал Download Master'ом не менее 960гигабайт (из самых разных источников) - ни одного "битого" файла, даже несмотря на то, что иногда приходилось жестко "останавливать" компьютер reset'ом: скачивание аккуратно продолжалось.

Не имел (пока?) проблем и с emule ...
Цитата:
Сообщение от Turtle Посмотреть сообщение
Самые классические грабли — это плохой блок питания компьютера, в т.ч. его продолжение, располагающееся на материнской плате. В этом случае данные могут портиться при передачах во внутренних шинах компьютера, на контроле целостности данных в которых мировая инженерная мысль тоже до сих пор традиционно экономит.
Поддерживаю ... А тут еще и жара намедни рассупонилась.
Цитата:
Сообщение от Turtle Посмотреть сообщение
Что же до интернета, то к нему претензий быть не может, т.к. сам протокол TCP/IP на 100% обеспечивает целостность передачи данных.
А вот тут все несколько сложней: в Интернете используются и протоколы, не гарантирующие доставку ... увы.

Дык, еще - и как настроить (например - те же пакеты QoS) ...

Последний раз редактировалось mma, 24.08.2007 в 00:12.
Ответить с цитированием
  #14  
Старый 24.08.2007, 00:43
Junior Member
 
Регистрация: 03.02.2007
Сообщений: 9
На счёт граблей с железом - исключено. При чём здесь железо? На моём веку помер не один винчестер, я знаю, что это такое. Те же скачанные торрентом фильмы не бьются (я конечно не все подряд перепроверяю, но иногда встаю на дораздачу и т.д.), болванки пишутся (всегда корректность записи проверяю, прежде чем потереть оригинал), и с ними глюков нет. И я бы не сказал бы, что "проще выяснить, в чём проблема с http". Абсолютно необоснованное утверждение ИМХО. Не вижу никакой простоты. Проблему можно заподозрить и в железе, и в ОС, и в фаерволе, и в других качалках, и в вирусах (которых у меня к слову нет), и в модеме, и в провайдере, и в файлообменнике... Так что...

По поводу того, что у кого-то сбоев не было - попрошу без хвастовства. Это неконструктивно. Если я куплю ещё один компьютер и поставлю другую операционку, другой модем, у меня с вероятностью 50/50 тоже довольно долго сбоев не будет. И что? Какие ваши годы?..

Потом, вон Alexko тоже со мной абсолютно согласен: "Очень-очень редко бывал сбой." Значит эта проблема возникала не только у меня. Это даже при том, что он, насколько я понимаю, параллельно с качалкой не оставлял ещё какой-нибудь eMule. С Alexblood - уже трое. Наберите в гугле "бьёт файлы" и получите ещё 800 тысяч пострадавших.

И это ещё не считая, что многие ошибки незаметны. Сколько в емуле групп источников одних и тех же фильмов, одинакового размера, но с разными хэшами? Ошибки ведь заметны сразу только если передача идёт архивом. Если прямо авишкой, как здесь, то мелкие "артефакты" принимаешь за глюк рипа/кодека, а не передачи. А иногда плеер "проскакивает" пару секунд и думаешь - ну просто монтаж такой.

Потом, ну даже если проблему и можно идентифицировать и решить. Она точно не в железе, по крайней мере не в компьютере. Кстати, у меня SATA. Компьютер настолько активно используется, что были бы проблемы с железом - я бы это замечал бы. И не перезагружал бы винду раз в два месяца когда свет вырубают. Так вот если проблему можно решить, почему бы не решить? С емулем/торрентами таких проблем не возникает, и не смотря на "интернет, к которому претензий быть не может" и UDP... Не я писал winsock, не я писал фаервол, не я писал качалки, поэтому лично я не могу быть уверен, в "надёжности интернета". Для меня это вообще оксюморон. Ещё скажите, что надёжность программистов чем-то гарантируется. "Надёжные тормоза и осторожное вождение решают проблему безопасности на 100%" - это конечно да... но некоторые не брезгуют АБС, ремнями и подушками безопасности... ещё и фары днём зачем-то включают.

Цитата:
у меня одновременно работают и осел, и торрент, и с мыла качаю, и с фтп... при этом с архива никогда битого ничего не было.
може квалификация у меня того... повышать пора?..
Сколько сотен (десятков?) гигабайт скачали? Как устанавливали факт отсутствия ошибок передачи? Не лень было вручную проверять каждый файл? (Я так понимаю это сотни файлов? Ведь не на двух-трёх же Вы делаете выводы?) И что Вы мне предлагаете сделать, чтобы у меня файлы тоже не бились? Перестать качать? Поставить юникс? Выкачивать по два раза и в случае расхождения перекачивать нужный байт и принимать решение о его значении методом простого большинства голосов? Поставить такую же ОС/фаервол/железо как у Вас? А других глюков в них случайно не окажется вместо исправленных?

В общем, поймите правильно, лично у меня сейчас нет проблем с выкачиванием фильмов. Этот метр дивидишек я до пенсии не пересмотрю. Просто я думаю об обычных пользователях, которым объяснить, что такое http - проблема, не то что "разобраться в чём с http проблема" - просто... :-\ Контрольные суммы и возможность перекачивания нужного куска накладных расходов особо не требуют и кардинально избавляют от необходимости решения каких бы то ни было проблем. Даже если в момент записи на винт отключили электричество во всём районе или какая-нибудь игрушка повесила систему, можно быть уверенным, что файл скачается байт-в-байт и его не придётся если что докачивать целиком (а не все сидят на мегабите, плюс нагрузка на сервер).
Ответить с цитированием
  #15  
Старый 24.08.2007, 01:44
Senior Member
 
Регистрация: 01.01.2007
Адрес: Latvia Рига
Сообщений: 300
Скачал гораздо меньше, в основном из раздач на форумах, потому проводилась 100% проверка. Во всех случаях ошибок не было.
Остается присоединиться к команде "неконструктивных хвастунов".

Для выявления показателя битости файлов не требуется 100% выборка. При объеме скачанного > 100 файлов, достаточно 15 штук, чтобы определить ошибки единичны или в 50% файлов. Так что утверждение о таком проценте битых файлов звучит фантастически.

Что касается заботы о потребителе, если кто может сделать такую кросплатформенную качалку, конечно удобно, для неискушенных, и правила автоматически соблюдаются и фирменная качалка
__________________
Помогу оцифровать интересные материалы для ArjLover (Рига, Латвия).

Последний раз редактировалось lamer0, 24.08.2007 в 08:44.
Ответить с цитированием
  #16  
Старый 24.08.2007, 02:19
Супермодератор
 
Регистрация: 10.12.2006
Адрес: Russian Federation Москва
Пол: Male
Сообщений: 5,012
Цитата:
Сообщение от Jan_Janych Посмотреть сообщение
На счёт граблей с железом - исключено. При чём здесь железо?
При том, что протокол TCP/IP обеспечивает гарантированную целостность доставляемых в компьютер данных, т.е. на выходе сетевого контроллера, или DSL-модема, они гарантированно целостны. И далее, исключив вариант с их повреждением какими-либо программами, остаются только аппаратные сбои — например, при передаче по шине PCI контроля целостности данных нет. Про шину SATA я не в курсе, но скорее всего там тоже так.

Вообще, это нормально, т.к. такой контроль требовал бы неопределённого времени на передачу, в случае бесконечной неудачи, поэтому логично, что его отсутствие компенсировано определённым запасом по схемотехнике.

Как известно, любое открытие признаётся только тогда, когда оно устойчиво повторяемо в независимых стереотипных условиях, поэтому попробуйте серьёзно озадачить скачкой какой-либо другой компьютер, или два.
Ответить с цитированием
  #17  
Старый 24.08.2007, 08:54
Аватар для alexko
Senior Member
 
Регистрация: 11.12.2006
Адрес: Russian Federation Москва
Пол: Male
Сообщений: 473
Цитата:
Сообщение от Jan_Janych Посмотреть сообщение

Потом, вон Alexko тоже со мной абсолютно согласен: "Очень-очень редко бывал сбой." Значит эта проблема возникала не только у меня. Это даже при том, что он, насколько я понимаю, параллельно с качалкой не оставлял ещё какой-нибудь eMule.
Абсолютно согласен я тут только в том, что и у меня бывают сбои при скачивании.

Нет, у меня постоянно работают emule, FlashGet и MailDownloder (причем сразу штук 3-5). Плюс иногда подключается ReGet, торрент... ну и серфинг. Все вырубать стал лишь когда балки режу.
__________________
Если в инете есть фильм, мы его скачаем.
Если нет - зальем.
Ответить с цитированием
  #18  
Старый 24.08.2007, 16:33
Senior Member
 
Регистрация: 27.11.2006
Сообщений: 2,854
Цитата:
Сообщение от Jan_Janych Посмотреть сообщение
На счёт граблей с железом - исключено. При чём здесь железо? На моём веку помер не один винчестер, я знаю, что это такое. Те же скачанные торрентом фильмы не бьются (я конечно не все подряд перепроверяю, но иногда встаю на дораздачу и т.д.), болванки пишутся (всегда корректность записи проверяю, прежде чем потереть оригинал), и с ними глюков нет.
Скачаные торрентом и осллом куски файлов у Вас, возможно, так же бьются, но поскольку там есть та самая проверка контрольных сумм частей файлов, битые части перекачиваются заново и в итоге получается нормальный файл. Подозреваю, что где-то в логах соответствующих программ есть информация об этом.
Ответить с цитированием
  #19  
Старый 26.08.2007, 07:46
Junior Member
 
Регистрация: 03.02.2007
Сообщений: 9
Цитата:
Сообщение от Turtle Посмотреть сообщение
И далее, исключив вариант с их повреждением какими-либо программами, остаются только аппаратные сбои —
А можно поподробнее начиная со слова "исключив"? Я, например, не исключаю, что в винде или фаерволе - глюк на глюке. А потратить день на установку различных фаерволов и их тестирование мне как-то более лениво, чем написать специальный клиент для скачивания. Потому, что это гарантированно решит сразу целый класс возможных проблем у многих пользователей, а не одну конкретную лично у меня, да и то не факт, и убедиться в достижении результата будет принципиально невозможно. Само тестирование может занять месяцы - и всё равно ничего не гарантирует.

Поверьте, правильнее сделать лишнюю проверку, чем не сделать необходимую.

Цитата:
Сообщение от Turtle Посмотреть сообщение
Как известно, любое открытие признаётся только тогда, когда оно устойчиво повторяемо в независимых стереотипных условиях, поэтому попробуйте серьёзно озадачить скачкой какой-либо другой компьютер, или два.
По-моему Вы что-то путаете. Я не собираюсь доказывать факт наличия возможности существования глюков в программах. ИМХО это очевидная истина, не требующая доказательств.

Цитата:
Сообщение от alexco Посмотреть сообщение
Абсолютно согласен я тут только в том, что и у меня бывают сбои при скачивании.


Цитата:
Сообщение от Uswer Посмотреть сообщение
Скачаные торрентом и осллом куски файлов у Вас, возможно, так же бьются, но поскольку там есть та самая проверка контрольных сумм частей файлов, битые части перекачиваются заново и в итоге получается нормальный файл. Подозреваю, что где-то в логах соответствующих программ есть информация об этом.
Я вообще пишу о том, что ИМХО так и должно быть.
Ответить с цитированием
  #20  
Старый 26.08.2007, 09:47
Senior Member
 
Регистрация: 01.01.2007
Адрес: Latvia Рига
Сообщений: 300
Пожалуйста, напишите клиент, никто не запрещает, спасибо скажут.

Только не забудьте протестировать его в различных условиях,
что бы другим не приходилось перенастраивать или сносить файрволл и систему.
__________________
Помогу оцифровать интересные материалы для ArjLover (Рига, Латвия).

Последний раз редактировалось lamer0, 26.08.2007 в 10:01.
Ответить с цитированием
Ответ


Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
 
Опции темы
Опции просмотра

Ваши права в разделе
You may not post new threads
You may not post replies
You may not post attachments
You may not edit your posts

BB code is Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход


Часовой пояс GMT +3, время: 13:05.


vBulletin® Version 3.8.7.
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Перевод: zCarot