Page 1 of 1
Скачивание файлов с http
Posted: Thu 04 Jun, 2020 14:47
by Leisheng
Здравствуйте.
Есть такой вопрос. В FAR существует плагин для работы с FTP. Есть ли что-то подобное для HTTP?
Я хочу скачать огромную кучу файлов с https. Не в браузере же тыкать по каждому. Хочется select all - copy.
Скачивание файлов с http
Posted: Thu 04 Jun, 2020 14:54
by Dzirt2005
Leisheng, wget, curl, FlashGet в конце концов, не? Или задача стоит "нужно это сделать именно в Far"?
Скачивание файлов с http
Posted: Thu 04 Jun, 2020 15:39
by Leisheng
Dzirt2005, спасибо, просто не знал про эти проги.
Скачивание файлов с http
Posted: Thu 04 Jun, 2020 20:05
by buniak_a_h
Есть такой плагин - FarFTP. Когда-то он умел скачивать файлы по http-протоколу. В хелпе до сих пор остались следы:
FTP плагин может обрабатывать следующий формат описания адреса сервера:
[ftp://][user[:password]@]hostname[:port][/folder]
[http://][user[:password]@]hostname[:port][/folder]
Увы, уж не знаю почему, но теперь не работает.
Господа знатоки! Не глянете, почему перестало работать? Может, там мелочь какая-то …
Скачивание файлов с http
Posted: Fri 05 Jun, 2020 00:14
by zg
buniak_a_h wrote: ↑Thu 04 Jun, 2020 20:05Господа знатоки! Не глянете, почему перестало работать? Может, там мелочь какая-то …
можно почитать документацию:
Code: Select all
3. Плагин понимает префикс "http://", но пока НЕ РАБОТАЕТ с протоколом
HTTP.
Если Вы создали сервер с префиксом "http", плагин всё равно будет
обращаться к этому серверу как к ftp-серверу.
а потом кто-то мне доказывает, что документация нужна.
Скачивание файлов с http
Posted: Fri 05 Jun, 2020 00:30
by buniak_a_h
zg, а Вам не кажется, что такая строка должна присутствовать в hlf ? Ну, или из hlf выбросить упоминание об http?
Документация нужна, но (а) непротиворечивая и (б) актуальная. Тем более, что там написано «пока», а когда-то этот плагин работал по протоколу http, и слово пока тут неуместно.
Скачивание файлов с http
Posted: Fri 05 Jun, 2020 00:42
by HaRT
buniak_a_h wrote: ↑Fri 05 Jun, 2020 00:30когда-то этот плагин
работал по протоколу http
Как тогда проверяли?
И что мешает вам сейчас взять Far 1.75 и проверить, не подводит ли вас память? (Ничего личного, просто человеческая память может ещё и не такие штуки выдавать.)
Скачивание файлов с http
Posted: Fri 05 Jun, 2020 00:52
by buniak_a_h
HaRT wrote: ↑Fri 05 Jun, 2020 00:42
Как тогда проверяли?
Очень просто: заходил на сайты и скачивал файлы. Сайты выглядели как папки.
Не все сайты работали, у некоторых было по сотне одноимённых файлов, на некоторых плагин зацикливался. Но на тех, которые меня тогда интересовали, он работал. Например, качал телепрограмму, курсы валют с ЦБ и с сайта провайдера хакнутые программы (была у них свалка).
HaRT wrote: ↑Fri 05 Jun, 2020 00:42
И что мешает вам сейчас взять Far 1.75 и проверить
Увы, сломалось давно - ещё на 1.75. С тех пор телепрограмма стала по https, свалку провайдера прикрыли а для скачивания курсов валют пришлось свою программу делать (включена была в поставку основного нашего продукта).
Скачивание файлов с http
Posted: Fri 05 Jun, 2020 02:33
by buniak_a_h
Залез я в старый-старый ФАР.
Far navigator v 1.9 под Far 1.75 открывает http и некоторые файлы даже скачивает. И даже работает с Far 3.0.5615
x86. Глючит немного, правда: окончания чтения сайта я ни разу не дождался, также как окончания чтения файла. Прерывал по
Esc
, но при этом и список файлов был сформирован, и файл прочитан (скопирован на диск).
Увы, с 64-разрядным не работает.
Скачивание файлов с http
Posted: Fri 05 Jun, 2020 08:34
by zg
buniak_a_h wrote: ↑Fri 05 Jun, 2020 00:30zg, а Вам не кажется, что такая строка
должна присутствовать в hlf ?
нет, не кажется. плагин не поддерживается.
Скачивание файлов с http
Posted: Fri 05 Jun, 2020 13:02
by HaRT
buniak_a_h wrote: ↑Fri 05 Jun, 2020 00:52
Очень просто: заходил на сайты и скачивал файлы. Сайты выглядели как папки.
Типичная картина для FTP.
Я-то имел в виду вот что: как вы проверяли, что сайт отдавал папки/файлы именно именно по HTTP, а не по FTP, как указано в процитированном выше фрагменте документации?
Для серверов той поры было вполне типично поддерживать для отдачи статического контента оба протокола с URL'ами, отличающимися лишь схемой.
Скачивание файлов с http
Posted: Tue 27 Sep, 2022 11:26
by Zeroes
Я с Wget'a перешёл на Aria2
https://aria2.github.io/
aria2 is a lightweight multi-protocol & multi-source command-line download utility. It supports HTTP/HTTPS, FTP, SFTP,
BitTorrent and Metalink. aria2 can be manipulated via built-in JSON-RPC and XML-RPC interfaces.
правда набирать в cmd line привык WGET поэтому сделал батник
wget.bat
aria2c.exe --check-certificate=false %1
Скачивание файлов с http
Posted: Tue 27 Sep, 2022 13:23
by HaRT
Zeroes wrote: ↑Tue 27 Sep, 2022 11:26
Я с Wget'a перешёл на Aria2
Я ещё для
aria2c
всегда добавляю опцию
-R
, чтобы по возможности установить дату модификации с сервера, как это делает
wget
. Почему-то не могу сейчас найти эту опцию в документации, но она работает (по меньшей мере в версии 1.33.1). А ещё я для больших файлов выставляю
-x 16
, чтобы скачивалось в много потоков сразу, если сервер это поддерживает (правда, некоторые серверы за такое на время банят).
Скачивание файлов с http
Posted: Tue 27 Sep, 2022 20:45
by Taciturn
HaRT, в полной справке
всё есть:
-R, --remote-time[=true|false] Retrieve timestamp of the remote file from the remote HTTP/FTP server and if it is available, apply it to the local file.
Possible Values: true, false
Default: false