File split (требуется кардинально новый плагин)
File split (требуется кардинально новый плагин)
Различных программ/методов/плагинов разбития файлов на куски - куча. Но всех их объединяет один недостаток - разбивая файл, они копируют результат в новые файлы. Чем это плохо я попытаюсь объяснить на примере из жизни.
Пример: допустим у меня свободного места на жёстком диске ровно 1.5 GB. Я скачал большой видеофайл из сети (размером 1.3 GB) и мне необходимо записать его на два CD-R диска. Было бы у меня достаточно свободного места - я бы разбил его тем же Total Commander'ом, заархивировал бы в многотомный RAR-архив и т.д. Но места нет и разбить файл не представляется возможным...
Выход - нужен специальный плагин. Плагин который бы разбивал файлы не копируя, а именно "режа" его (т.е. оригинальный файл "портится", делится на части). Методов реализации вижу два: либо это можно сделать на низком уровне (файловой системы) и как-то добавлять метки новых файлов (тогда вся процедура пройдёт быстро); либо, используя небольшой буфер в памяти, копировать данные в новые файлы и параллельно сразу же затирать эти данные в исходном файле.
Спасибо что уделили внимание. Надеюсь на помощь и понимание.
Пример: допустим у меня свободного места на жёстком диске ровно 1.5 GB. Я скачал большой видеофайл из сети (размером 1.3 GB) и мне необходимо записать его на два CD-R диска. Было бы у меня достаточно свободного места - я бы разбил его тем же Total Commander'ом, заархивировал бы в многотомный RAR-архив и т.д. Но места нет и разбить файл не представляется возможным...
Выход - нужен специальный плагин. Плагин который бы разбивал файлы не копируя, а именно "режа" его (т.е. оригинальный файл "портится", делится на части). Методов реализации вижу два: либо это можно сделать на низком уровне (файловой системы) и как-то добавлять метки новых файлов (тогда вся процедура пройдёт быстро); либо, используя небольшой буфер в памяти, копировать данные в новые файлы и параллельно сразу же затирать эти данные в исходном файле.
Спасибо что уделили внимание. Надеюсь на помощь и понимание.
- zg
- zero-gravity
- Posts: 6037
- Joined: Tue 15 Mar, 2005 17:36
- Location: riga
- Been thanked: 185 times
- Contact:
Re: File split (требуется кардинально новый плагин)
на выбор:Nikolai wrote:Пример: допустим у меня свободного места на жёстком диске ровно 1.5 GB. Я скачал большой видеофайл из сети (размером 1.3 GB) и мне необходимо записать его на два CD-R диска.
1. попросить у мамы денег на новый хард.
2. попросить у мамы денег на dvd-писалку.
-
- Posts: 155
- Joined: Thu 12 May, 2005 14:27
- Location: Киев
- Contact:
- Centaur
- Posts: 1083
- Joined: Tue 05 Apr, 2005 20:09
- Location: Novosibirsk, Russia
- Been thanked: 2 times
Первое нельзя сделать, потому что операционная система не предоставляет необходимого для этого доступа к файлам.
Второе нельзя сделать, потому что это потребует очень сложного и тормозного алгоритма перемещения данных. Причём отключение электроэнергии или, скажем, исчезновение свободного места на любом шаге процесса приведёт к тому, что будет невозможно восстановить исходный файл.
Если сеть надёжная, то вместо того, чтобы страдать фигнёй, предлагаю программе разрезания подсовывать файл непосредственно на сети.
А места должно быть много. Мне иногда под промежуточные результаты требуется 120 гигабайт
Второе нельзя сделать, потому что это потребует очень сложного и тормозного алгоритма перемещения данных. Причём отключение электроэнергии или, скажем, исчезновение свободного места на любом шаге процесса приведёт к тому, что будет невозможно восстановить исходный файл.
Если сеть надёжная, то вместо того, чтобы страдать фигнёй, предлагаю программе разрезания подсовывать файл непосредственно на сети.
А места должно быть много. Мне иногда под промежуточные результаты требуется 120 гигабайт
zg
Gleb Kozyrev
Некрасиво людей так оскорблять. Я предлагаю идею плагина, если считаете её плохой - скажите почему. А послать вас куда подальше я тоже могу.
Gleb Kozyrev
Некрасиво людей так оскорблять. Я предлагаю идею плагина, если считаете её плохой - скажите почему. А послать вас куда подальше я тоже могу.
Да, это понятно. Но по-моему риск потери данных будет оправдан.Centaur wrote:Второе нельзя сделать, потому что это потребует очень сложного и тормозного алгоритма перемещения данных. Причём отключение электроэнергии или, скажем, исчезновение свободного места на любом шаге процесса приведёт к тому, что будет невозможно восстановить исходный файл.
Надёжная, но файл оригинал лежит на FTP в 95% случаев.Centaur wrote:Если сеть надёжная, то вместо того, чтобы страдать фигнёй, предлагаю программе разрезания подсовывать файл непосредственно на сети.
У меня места много. Места мало на работе, где есть сетка и CD-RW привод.Centaur wrote:А места должно быть много. Мне иногда под промежуточные результаты требуется 120 гигабайт
- Centaur
- Posts: 1083
- Joined: Tue 05 Apr, 2005 20:09
- Location: Novosibirsk, Russia
- Been thanked: 2 times
Тогда надо брать любой FTP-клиент, умеющий качать фрагментами. Задавать ему «хочу 736100352 байт вот этого файла, с самого начала», записывать, потом командовать «хочу всё, что осталось, от смещения 736100352», и тоже записывать.Надёжная, но файл оригинал лежит на FTP в 95% случаев.
В конце концов, если приспичило на работе фильмы качать, то можно винт принести и по USB подцепить. Или DVD-привод, аналогично. Но винт — быстрее.
-
- Posts: 155
- Joined: Thu 12 May, 2005 14:27
- Location: Киев
- Contact:
- WhiteDragon
- Posts: 182
- Joined: Thu 14 Apr, 2005 09:14
- Location: Stavropol
- Contact:
zg и Gleb Kozyrev, жалко что здесь модераторы не наказывают за оффтопик. Постов вы сделали много, а смысла в них мало. Одним словом - флудеры.
Неплохая идея. Скачал кусок, записал, стёр и дальше качать. Можешь назвать пару таких клиентов? FAR это может?Centaur wrote:Тогда надо брать любой FTP-клиент, умеющий качать фрагментами. Задавать ему «хочу 736100352 байт вот этого файла, с самого начала», записывать, потом командовать «хочу всё, что осталось, от смещения 736100352», и тоже записывать.
Действительно интересно. Т.е. "монтируешь" большой файл в чудо-прогу, а она (к примеру на виртуальном диске) выдаёт его части. Физически файл остаётся целым, просто искривляется пространство А реально вообще такую штуку сделать? Сильно сложно? По-моему очень полезная прога будет.WhiteDragon wrote:наиболее интересный вариант был бы написать виртуальную ФС для таких темпов
тоесть чтобы на ней просто появлялись файлы при обращении к которым драйвер бы обращался к реальным куданить в середину
что такое ddk? d...... development kit?WhiteDragon wrote:ddk в зубы и вперед
Вот что тебе поможет:Nikolai wrote:Надёжная, но файл оригинал лежит на FTP в 95% случаев.Centaur wrote:Если сеть надёжная, то вместо того, чтобы страдать фигнёй, предлагаю программе разрезания подсовывать файл непосредственно на сети.
http://www.killprog.com/fdrvr.html
Code: Select all
FTP Drive - программа, открывающая возможность работы с FTP тем программам, которые этого не умеют.
Эмулирует виртуальный логический раздел, в котором заданные FTP серверы представлены как каталоги первого уровня.
Полезно например для просмотра фильмов, прослушивания музыки непосредственно с FTP сервера без скачивания.
- Centaur
- Posts: 1083
- Joined: Tue 05 Apr, 2005 20:09
- Location: Novosibirsk, Russia
- Been thanked: 2 times
Как минимум, это умеет программа cURL с ключом --range.Nikolai wrote:Неплохая идея. Скачал кусок, записал, стёр и дальше качать. Можешь назвать пару таких клиентов? FAR это может?Centaur wrote:Тогда надо брать любой FTP-клиент, умеющий качать фрагментами. Задавать ему «хочу 736100352 байт вот этого файла, с самого начала», записывать, потом командовать «хочу всё, что осталось, от смещения 736100352», и тоже записывать.
- WhiteDragon
- Posts: 182
- Joined: Thu 14 Apr, 2005 09:14
- Location: Stavropol
- Contact:
вообще у меня давно есть идея написать шасширяемую vfs
чтобы туда потом можно было всяку дрянь изображать
реестр на \etc\registry нампример смонтировать
мыло на \u\wd\mail\имя_ящека
и прочее
но в то время когда у меня есть время на это - у меня линукс
так что если кто напишет - буду благодарен
вообще сложного там ничего нет
чтобы туда потом можно было всяку дрянь изображать
реестр на \etc\registry нампример смонтировать
мыло на \u\wd\mail\имя_ящека
и прочее
но в то время когда у меня есть время на это - у меня линукс
так что если кто напишет - буду благодарен
вообще сложного там ничего нет
Знаю эту прогу. Теоретически можно использовать, но на практике FtpDrive пригоднен разве что фильмы прямо с сервака смотреть. Прога нестабильна в работе (выбивает explorer) и неудобно реализовано подключение к сервакам - сначала прописываешь их вручную в txt-конфиге и потом они появляются в виде папок на диске z:al666 wrote:Вот что тебе поможет:
http://www.killprog.com/fdrvr.html
Всё равно автор молодец. Аналогов FtpDrive нет. Глядишь скоро до ума её доведёт.
Спасибо за cURL. Классная штука, много чего умеет. Сегодня испытал данный метод и нахожу его наиболее приемлимым.Centaur wrote:Как минимум, это умеет программа cURL с ключом --range.
Что ж, будем надеятся кто-нибудь сможет это сделать. Я сам скорее смогу написать утилиту, которая на лету перекидывает данные в split-файлы. Vfs пока для меня слишком сложно.WhiteDragon wrote:вообще у меня давно есть идея написать шасширяемую vfs