Скачивание файлов с http

Хотите предложить идею нового плагина или знаете, что улучшить в существующем? Пишите сюда.
Post Reply
Leisheng
Posts: 6
Joined: Wed 18 Dec, 2013 08:15
Has thanked: 1 time

Скачивание файлов с http

Post by Leisheng »

Здравствуйте.

Есть такой вопрос. В FAR существует плагин для работы с FTP. Есть ли что-то подобное для HTTP?
Я хочу скачать огромную кучу файлов с https. Не в браузере же тыкать по каждому. Хочется select all - copy.
Dzirt2005
Posts: 326
Joined: Fri 29 Feb, 2008 12:11
Been thanked: 10 times

Скачивание файлов с http

Post by Dzirt2005 »

Leisheng, wget, curl, FlashGet в конце концов, не? Или задача стоит "нужно это сделать именно в Far"?
Leisheng
Posts: 6
Joined: Wed 18 Dec, 2013 08:15
Has thanked: 1 time

Скачивание файлов с http

Post by Leisheng »

Dzirt2005, спасибо, просто не знал про эти проги.
User avatar
buniak_a_h
Posts: 4234
Joined: Sat 20 Apr, 2013 00:17
Location: Санкт-Петробад
Has thanked: 222 times
Been thanked: 642 times
Contact:

Скачивание файлов с http

Post by buniak_a_h »

Есть такой плагин - FarFTP. Когда-то он умел скачивать файлы по http-протоколу. В хелпе до сих пор остались следы:
FTP плагин может обрабатывать следующий формат описания адреса сервера:
[ftp://][user[:password]@]hostname[:port][/folder]
[http://][user[:password]@]hostname[:port][/folder]
Увы, уж не знаю почему, но теперь не работает.
Господа знатоки! Не глянете, почему перестало работать? Может, там мелочь какая-то …
User avatar
zg
zero-gravity
Posts: 6015
Joined: Tue 15 Mar, 2005 17:36
Location: riga
Been thanked: 185 times
Contact:

Скачивание файлов с http

Post by zg »

buniak_a_h wrote: Thu 04 Jun, 2020 20:05Господа знатоки! Не глянете, почему перестало работать? Может, там мелочь какая-то …
можно почитать документацию:

Code: Select all

  3. Плагин понимает префикс "http://", но пока НЕ РАБОТАЕТ с протоколом
     HTTP.
     Если Вы создали сервер с префиксом "http", плагин всё равно будет
     обращаться к этому серверу как к ftp-серверу.
а потом кто-то мне доказывает, что документация нужна.
User avatar
buniak_a_h
Posts: 4234
Joined: Sat 20 Apr, 2013 00:17
Location: Санкт-Петробад
Has thanked: 222 times
Been thanked: 642 times
Contact:

Скачивание файлов с http

Post by buniak_a_h »

zg, а Вам не кажется, что такая строка должна присутствовать в hlf ? Ну, или из hlf выбросить упоминание об http?
Документация нужна, но (а) непротиворечивая и (б) актуальная. Тем более, что там написано «пока», а когда-то этот плагин работал по протоколу http, и слово пока тут неуместно.
User avatar
HaRT
Moderator
Posts: 10806
Joined: Tue 30 Aug, 2005 17:21
Has thanked: 220 times
Been thanked: 357 times

Скачивание файлов с http

Post by HaRT »

buniak_a_h wrote: Fri 05 Jun, 2020 00:30когда-то этот плагин работал по протоколу http
Как тогда проверяли?
И что мешает вам сейчас взять Far 1.75 и проверить, не подводит ли вас память? (Ничего личного, просто человеческая память может ещё и не такие штуки выдавать.)
Фар есть инструмент, а не нянька. © 2009 DrKnS
User avatar
buniak_a_h
Posts: 4234
Joined: Sat 20 Apr, 2013 00:17
Location: Санкт-Петробад
Has thanked: 222 times
Been thanked: 642 times
Contact:

Скачивание файлов с http

Post by buniak_a_h »

HaRT wrote: Fri 05 Jun, 2020 00:42 Как тогда проверяли?
Очень просто: заходил на сайты и скачивал файлы. Сайты выглядели как папки.
Не все сайты работали, у некоторых было по сотне одноимённых файлов, на некоторых плагин зацикливался. Но на тех, которые меня тогда интересовали, он работал. Например, качал телепрограмму, курсы валют с ЦБ и с сайта провайдера хакнутые программы (была у них свалка).
HaRT wrote: Fri 05 Jun, 2020 00:42 И что мешает вам сейчас взять Far 1.75 и проверить
Увы, сломалось давно - ещё на 1.75. С тех пор телепрограмма стала по https, свалку провайдера прикрыли а для скачивания курсов валют пришлось свою программу делать (включена была в поставку основного нашего продукта).
User avatar
buniak_a_h
Posts: 4234
Joined: Sat 20 Apr, 2013 00:17
Location: Санкт-Петробад
Has thanked: 222 times
Been thanked: 642 times
Contact:

Скачивание файлов с http

Post by buniak_a_h »

Залез я в старый-старый ФАР. Far navigator v 1.9 под Far 1.75 открывает http и некоторые файлы даже скачивает. И даже работает с Far 3.0.5615 x86. Глючит немного, правда: окончания чтения сайта я ни разу не дождался, также как окончания чтения файла. Прерывал по Esc, но при этом и список файлов был сформирован, и файл прочитан (скопирован на диск).
Увы, с 64-разрядным не работает.
User avatar
zg
zero-gravity
Posts: 6015
Joined: Tue 15 Mar, 2005 17:36
Location: riga
Been thanked: 185 times
Contact:

Скачивание файлов с http

Post by zg »

buniak_a_h wrote: Fri 05 Jun, 2020 00:30zg, а Вам не кажется, что такая строка должна присутствовать в hlf ?
нет, не кажется. плагин не поддерживается.
Last edited by zg on Fri 05 Jun, 2020 08:34, edited 1 time in total.
User avatar
HaRT
Moderator
Posts: 10806
Joined: Tue 30 Aug, 2005 17:21
Has thanked: 220 times
Been thanked: 357 times

Скачивание файлов с http

Post by HaRT »

buniak_a_h wrote: Fri 05 Jun, 2020 00:52 Очень просто: заходил на сайты и скачивал файлы. Сайты выглядели как папки.
Типичная картина для FTP.
Я-то имел в виду вот что: как вы проверяли, что сайт отдавал папки/файлы именно именно по HTTP, а не по FTP, как указано в процитированном выше фрагменте документации?
Для серверов той поры было вполне типично поддерживать для отдачи статического контента оба протокола с URL'ами, отличающимися лишь схемой.
Фар есть инструмент, а не нянька. © 2009 DrKnS
User avatar
Zeroes
Мультикопипастер Броадкастер
Posts: 569
Joined: Wed 16 Mar, 2005 20:53
Location: Gomel \ Belarus
Has thanked: 1 time
Been thanked: 3 times
Contact:

Скачивание файлов с http

Post by Zeroes »

Я с Wget'a перешёл на Aria2

https://aria2.github.io/

aria2 is a lightweight multi-protocol & multi-source command-line download utility. It supports HTTP/HTTPS, FTP, SFTP,
BitTorrent and Metalink. aria2 can be manipulated via built-in JSON-RPC and XML-RPC interfaces.

правда набирать в cmd line привык WGET поэтому сделал батник
wget.bat
aria2c.exe --check-certificate=false %1
Last edited by Zeroes on Tue 27 Sep, 2022 11:26, edited 1 time in total.
--- Zeroes & Ones ---
User avatar
HaRT
Moderator
Posts: 10806
Joined: Tue 30 Aug, 2005 17:21
Has thanked: 220 times
Been thanked: 357 times

Скачивание файлов с http

Post by HaRT »

Zeroes wrote: Tue 27 Sep, 2022 11:26 Я с Wget'a перешёл на Aria2
Я ещё для aria2c всегда добавляю опцию -R, чтобы по возможности установить дату модификации с сервера, как это делает wget. Почему-то не могу сейчас найти эту опцию в документации, но она работает (по меньшей мере в версии 1.33.1). А ещё я для больших файлов выставляю -x 16, чтобы скачивалось в много потоков сразу, если сервер это поддерживает (правда, некоторые серверы за такое на время банят).
Фар есть инструмент, а не нянька. © 2009 DrKnS
User avatar
Taciturn
Posts: 600
Joined: Thu 26 May, 2005 17:14
Location: Санкт-Петербург
Has thanked: 89 times
Been thanked: 31 times
Contact:

Скачивание файлов с http

Post by Taciturn »

HaRT, в полной справке

Code: Select all

aria2c.exe -h#all
всё есть:
-R, --remote-time[=true|false] Retrieve timestamp of the remote file from the remote HTTP/FTP server and if it is available, apply it to the local file.
Possible Values: true, false
Default: false
Post Reply

Return to “Предложения и идеи”