File split (требуется кардинально новый плагин)

Хотите предложить идею нового плагина или знаете, что улучшить в существующем? Пишите сюда.
Nikolai
Posts: 9
Joined: Mon 27 Jun, 2005 10:01
Location: Kiev, Ukraine
Contact:

File split (требуется кардинально новый плагин)

Post by Nikolai »

Различных программ/методов/плагинов разбития файлов на куски - куча. Но всех их объединяет один недостаток - разбивая файл, они копируют результат в новые файлы. Чем это плохо я попытаюсь объяснить на примере из жизни.

Пример: допустим у меня свободного места на жёстком диске ровно 1.5 GB. Я скачал большой видеофайл из сети (размером 1.3 GB) и мне необходимо записать его на два CD-R диска. Было бы у меня достаточно свободного места - я бы разбил его тем же Total Commander'ом, заархивировал бы в многотомный RAR-архив и т.д. Но места нет и разбить файл не представляется возможным...

Выход - нужен специальный плагин. Плагин который бы разбивал файлы не копируя, а именно "режа" его (т.е. оригинальный файл "портится", делится на части). Методов реализации вижу два: либо это можно сделать на низком уровне (файловой системы) и как-то добавлять метки новых файлов (тогда вся процедура пройдёт быстро); либо, используя небольшой буфер в памяти, копировать данные в новые файлы и параллельно сразу же затирать эти данные в исходном файле.

Спасибо что уделили внимание. Надеюсь на помощь и понимание.
User avatar
zg
zero-gravity
Posts: 6037
Joined: Tue 15 Mar, 2005 17:36
Location: riga
Been thanked: 185 times
Contact:

Re: File split (требуется кардинально новый плагин)

Post by zg »

Nikolai wrote:Пример: допустим у меня свободного места на жёстком диске ровно 1.5 GB. Я скачал большой видеофайл из сети (размером 1.3 GB) и мне необходимо записать его на два CD-R диска.
на выбор:
1. попросить у мамы денег на новый хард.
2. попросить у мамы денег на dvd-писалку.
Gleb Kozyrev
Posts: 155
Joined: Thu 12 May, 2005 14:27
Location: Киев
Contact:

Post by Gleb Kozyrev »

+1
User avatar
Centaur
Posts: 1083
Joined: Tue 05 Apr, 2005 20:09
Location: Novosibirsk, Russia
Been thanked: 2 times

Post by Centaur »

Первое нельзя сделать, потому что операционная система не предоставляет необходимого для этого доступа к файлам.

Второе нельзя сделать, потому что это потребует очень сложного и тормозного алгоритма перемещения данных. Причём отключение электроэнергии или, скажем, исчезновение свободного места на любом шаге процесса приведёт к тому, что будет невозможно восстановить исходный файл.

Если сеть надёжная, то вместо того, чтобы страдать фигнёй, предлагаю программе разрезания подсовывать файл непосредственно на сети.

А места должно быть много. Мне иногда под промежуточные результаты требуется 120 гигабайт :)
Nikolai
Posts: 9
Joined: Mon 27 Jun, 2005 10:01
Location: Kiev, Ukraine
Contact:

Post by Nikolai »

zg
Gleb Kozyrev
Некрасиво людей так оскорблять. Я предлагаю идею плагина, если считаете её плохой - скажите почему. А послать вас куда подальше я тоже могу.
Centaur wrote:Второе нельзя сделать, потому что это потребует очень сложного и тормозного алгоритма перемещения данных. Причём отключение электроэнергии или, скажем, исчезновение свободного места на любом шаге процесса приведёт к тому, что будет невозможно восстановить исходный файл.
Да, это понятно. Но по-моему риск потери данных будет оправдан.
Centaur wrote:Если сеть надёжная, то вместо того, чтобы страдать фигнёй, предлагаю программе разрезания подсовывать файл непосредственно на сети.
Надёжная, но файл оригинал лежит на FTP в 95% случаев.
Centaur wrote:А места должно быть много. Мне иногда под промежуточные результаты требуется 120 гигабайт
У меня места много. Места мало на работе, где есть сетка и CD-RW привод.
User avatar
zg
zero-gravity
Posts: 6037
Joined: Tue 15 Mar, 2005 17:36
Location: riga
Been thanked: 185 times
Contact:

Post by zg »

Nikolai wrote:У меня места много. Места мало на работе, где есть сетка и CD-RW привод.
на работе надо работать, а не порнуху из интернета качать.
User avatar
Centaur
Posts: 1083
Joined: Tue 05 Apr, 2005 20:09
Location: Novosibirsk, Russia
Been thanked: 2 times

Post by Centaur »

Надёжная, но файл оригинал лежит на FTP в 95% случаев.
Тогда надо брать любой FTP-клиент, умеющий качать фрагментами. Задавать ему «хочу 736100352 байт вот этого файла, с самого начала», записывать, потом командовать «хочу всё, что осталось, от смещения 736100352», и тоже записывать.

В конце концов, если приспичило на работе фильмы качать, то можно винт принести и по USB подцепить. Или DVD-привод, аналогично. Но винт — быстрее.
Gleb Kozyrev
Posts: 155
Joined: Thu 12 May, 2005 14:27
Location: Киев
Contact:

Post by Gleb Kozyrev »

Привод CD-RW есть, а свободного места на жёстком диске нету? Силён.
User avatar
WhiteDragon
Posts: 182
Joined: Thu 14 Apr, 2005 09:14
Location: Stavropol
Contact:

Post by WhiteDragon »

наиболее интересный вариант был бы написать виртуальную ФС для таких темпов
тоесть чтобы на ней просто появлялись файлы при обращении к которым драйвер бы обращался к реальным куданить в середину

ddk в зубы и вперед :)
Nikolai
Posts: 9
Joined: Mon 27 Jun, 2005 10:01
Location: Kiev, Ukraine
Contact:

Post by Nikolai »

zg и Gleb Kozyrev, жалко что здесь модераторы не наказывают за оффтопик. Постов вы сделали много, а смысла в них мало. Одним словом - флудеры.
Centaur wrote:Тогда надо брать любой FTP-клиент, умеющий качать фрагментами. Задавать ему «хочу 736100352 байт вот этого файла, с самого начала», записывать, потом командовать «хочу всё, что осталось, от смещения 736100352», и тоже записывать.
Неплохая идея. Скачал кусок, записал, стёр и дальше качать. Можешь назвать пару таких клиентов? FAR это может?
WhiteDragon wrote:наиболее интересный вариант был бы написать виртуальную ФС для таких темпов
тоесть чтобы на ней просто появлялись файлы при обращении к которым драйвер бы обращался к реальным куданить в середину
Действительно интересно. Т.е. "монтируешь" большой файл в чудо-прогу, а она (к примеру на виртуальном диске) выдаёт его части. Физически файл остаётся целым, просто искривляется пространство :-) А реально вообще такую штуку сделать? Сильно сложно? По-моему очень полезная прога будет.
WhiteDragon wrote:ddk в зубы и вперед
что такое ddk? d...... development kit?
User avatar
zg
zero-gravity
Posts: 6037
Joined: Tue 15 Mar, 2005 17:36
Location: riga
Been thanked: 185 times
Contact:

Post by zg »

Nikolai wrote:zg и Gleb Kozyrev, жалко что здесь модераторы не наказывают за оффтопик. Постов вы сделали много, а смысла в них мало. Одним словом - флудеры.
ой баюс, баюс.
что такое ddk? d...... development kit?
уууу, сило неасфальтированое…
al666
Posts: 239
Joined: Mon 04 Jul, 2005 08:55
Been thanked: 1 time

Post by al666 »

Nikolai wrote:
Centaur wrote:Если сеть надёжная, то вместо того, чтобы страдать фигнёй, предлагаю программе разрезания подсовывать файл непосредственно на сети.
Надёжная, но файл оригинал лежит на FTP в 95% случаев.
Вот что тебе поможет:
http://www.killprog.com/fdrvr.html

Code: Select all

FTP Drive - программа, открывающая возможность работы с FTP тем программам, которые этого не умеют. 

Эмулирует виртуальный логический раздел, в котором заданные FTP серверы представлены как каталоги первого уровня.

Полезно например для просмотра фильмов, прослушивания музыки непосредственно с FTP сервера без скачивания.
User avatar
Centaur
Posts: 1083
Joined: Tue 05 Apr, 2005 20:09
Location: Novosibirsk, Russia
Been thanked: 2 times

Post by Centaur »

Nikolai wrote:
Centaur wrote:Тогда надо брать любой FTP-клиент, умеющий качать фрагментами. Задавать ему «хочу 736100352 байт вот этого файла, с самого начала», записывать, потом командовать «хочу всё, что осталось, от смещения 736100352», и тоже записывать.
Неплохая идея. Скачал кусок, записал, стёр и дальше качать. Можешь назвать пару таких клиентов? FAR это может?
Как минимум, это умеет программа cURL с ключом --range.
User avatar
WhiteDragon
Posts: 182
Joined: Thu 14 Apr, 2005 09:14
Location: Stavropol
Contact:

Post by WhiteDragon »

вообще у меня давно есть идея написать шасширяемую vfs
чтобы туда потом можно было всяку дрянь изображать
реестр на \etc\registry нампример смонтировать
мыло на \u\wd\mail\имя_ящека
и прочее
но в то время когда у меня есть время на это - у меня линукс :)
так что если кто напишет - буду благодарен :)
вообще сложного там ничего нет
Nikolai
Posts: 9
Joined: Mon 27 Jun, 2005 10:01
Location: Kiev, Ukraine
Contact:

Post by Nikolai »

al666 wrote:Вот что тебе поможет:
http://www.killprog.com/fdrvr.html
Знаю эту прогу. Теоретически можно использовать, но на практике FtpDrive пригоднен разве что фильмы прямо с сервака смотреть. Прога нестабильна в работе (выбивает explorer) и неудобно реализовано подключение к сервакам - сначала прописываешь их вручную в txt-конфиге и потом они появляются в виде папок на диске z:
Всё равно автор молодец. Аналогов FtpDrive нет. Глядишь скоро до ума её доведёт.
Centaur wrote:Как минимум, это умеет программа cURL с ключом --range.
Спасибо за cURL. Классная штука, много чего умеет. Сегодня испытал данный метод и нахожу его наиболее приемлимым.
WhiteDragon wrote:вообще у меня давно есть идея написать шасширяемую vfs
Что ж, будем надеятся кто-нибудь сможет это сделать. Я сам скорее смогу написать утилиту, которая на лету перекидывает данные в split-файлы. Vfs пока для меня слишком сложно.
Post Reply

Return to “Предложения и идеи”