Download file from cloud.mail.ru from linux console with bash script

dl-cloud-mail-ru.sh

#!/usr/bin/env bash

# Скрипт по загрузке публичных файлов с Облака mail.ru. Поддерживается докачка.
# v1.0.5 от 2022-05-30
#
# ЕСЛИ СКРИПТ НЕ РАБОТАЕТ
#
# 1. Убедитесь, что файл доступен публично. Возможна загрузка только публичных файлов.
# 2. Mail.ru время от времени меняет внутрянку, не очень сильно, но требуется адаптация скрипта.
#    Если скрипт не работает, просьба сделать работающий форк и скинуть ссылку в комментарии.
#    Спасибо.
#
# КАК ПОЛЬЗОВАТЬСЯ
#
# 1. Скачать скрипт.
# 2. Сделать его исполняемым:
# 	chmod +x dl-cloud-mail-ru.sh
# 3. Получить ссылку на файл для скачивания (см. чуть ниже, как это сделать).
# 3. Скачать файл из облака:
# 	./dl-cloud-mail-ru.sh ссылка_на_файл локальный_путь
#    Например (пример рабочий, файл существует, можно потестировать скрипт):
# 	./dl-cloud-mail-ru.sh https://cloud.mail.ru/public/Y5C8/KRwhz4JHW/linux-5.12.7.tar.xz linux-kernel.tar.xz
#
# КАК ПОЛУЧИТЬ ССЫЛКУ НА СКАЧИВАНИЕ ФАЙЛА В ПАПКЕ
#
# Если у вас есть ссылка на папку, и нужно скачать файл оттуда:
#
# 1. Два раза кликнуть на файл в папке. Появится всплывающее окно с кнопкой "Скачать".
# 2. В это время в адресной строке браузера будет отображаться ссылка на файл. Это и есть ссылка для скрипта.

# ENGLISH
#
# IMPORTANT: mail.ru sometimes changes internals, not too much, but script must be changed.
#
# If this script does not work:
#   - see forks, may be there is a fix already,
#   - if not, please post patch in comments or create a working fork of this gist.
# Thank you!

# ИСТОРИЯ И БЛАГОДАРНОСТИ
#
# 2022-05-30 отражены изменения со стороны mail.ru, спасибо https://gist.github.com/grumbik
# 2021-05-27 дополнена документация
# 2021-05-26 изменения со стороны mail.ru, плюс теперь определяем url к файлу проще без обращения к api,
#            спасибо kerastinell https://gist.github.com/kerastinell
# 2018-06-18 mail.ru изменил формат страницы
# 2017-09-22 исходная идея: https://novall.net/itnews/bash-skript-dlya-skachivaniya-fajlov-s-mail-ru-cherez-konsol-linux.html

URL="$1"
DST_FILE="$2"

[ -z "$DST_FILE" ] && {
    echo "Syntax: `basename $0` <url> <dst_file>" >&2
    echo "Example: `basename $0` https://cloud.mail.ru/public/BeAr/3s8QfYgLj /path/to/my/file.rar" >&2
    echo "Test: `basename $0` https://cloud.mail.ru/public/Y5C8/KRwhz4JHW/linux-5.12.7.tar.xz linux-5.12.7.tar.xz" >&2
    exit 1
}

function getPageInformation() {
	local pageUrl="$1"

	wget --quiet -O - "$pageUrl" > page.html
	wget --quiet -O - "$pageUrl" | sed -n "/window.cloudSettings/,/};<\/script>/p"
}

function ensureFileExists() {
	local pageInformation="$1"

	echo "$pageInformation" |  grep -q '"not_exists"' && {
		echo "Error: file does not exist" >&2
		exit 1
	}
}

function extractDownloadUrl() {
	local pageUrl="$1" pageInformation="$2" storageUrl filePath

	storageUrl=$(echo "$pageInformation" | sed -r 's|</?script[^>]*>|\n|g' | sed -n 's|.*\(window.cloudSettings=.*}\)|\1|p' | sed -n 's/.*\(weblink_get[^}]*}\).*/\1/p' | sed -n 's|.*\(https://[^"]*\)".*|\1|p')
  filePath=$(echo "$pageUrl" | awk -F '/public/' '{print $2}')

	[ -z "$storageUrl" ] || [ -z "$filePath" ] && {
		echo "Error: failed to extract storage's url or file path" >&2
		exit 1
	}

	echo "$storageUrl/$filePath"
}

pageInformation=$(getPageInformation "$URL")
ensureFileExists "$pageInformation"
downloadUrl=$(extractDownloadUrl "$URL" "$pageInformation")

wget --continue --no-check-certificate --referer="$URL" "$downloadUrl" -O "$DST_FILE"

@kerastinell супер! Будем ждать итоговый вариант! 👍

@cronfy готово, и ещё я добавил проверку на существование файла: https://gist.github.com/kerastinell/badbd1da6a76a6c77a15661bf0f1e288

@kerastinell спасибо! Обновил скрипт.

@cronfy обновил regexp: https://gist.github.com/grumbik/2158b58a4520bd85f9fdd3acb54a1555

@grumbik спасибо! Внёс обновление.

В инструкции не правильно указано. По крайней мере для моей системы.
Вместо:
./dl-cloud-mail-ru.sh https://cloud.mail.ru/public/Y5C8/KRwhz4JHW/linux-5.12.7.tar.xz linux-kernel.tar.xz

• надо написать:
  ./dl-cloud-mail-ru.sh https://cloud.mail.ru/public/Y5C8/KRwhz4JHW linux-kernel.tar.xz

Иначе, будет выдавать ошибку:
Error: failed to extract storage's url or file path
http://: Invalid host name.

Тестировал на Debian 10.

@nailarch спасибо за информацию, но у меня не воспроизвелось. По ссылке из инструкции - скачивается нормально, по вашей ссылке - ОШИБКА 404: Not Found.

Hmm, what might the issue on bash or zsh if I am getting this?
bash-3.2$ ./dl.sh https://cloud.mail.ru/public/tHA5/HDetxxxxxM id.dmg sed: illegal option -- r usage: sed script [-Ealn] [-i extension] [file ...] sed [-Ealn] [-i extension] [-e script] ... [-f script_file] ... [file ...] Error: failed to extract storage's url or file path http://: Invalid host name.

Link altered cause of sensitive info!

@piratx you might be using macOS with sed version that does not support -r flag. Try to replace sed -r to sed -E in the script.

@cronfy Олег, подскажите, пожалуйста, а есть возможность как-то из скрипта использовать далее полученные ссылки для скачивания файла, указав полученный url в браузере (ну т.е. по факту получить прямую ссылку)? Скрипт же по итогу получает прямую ссылку, даже выводит ее, однако при обращении к ней через браузер выдается 403... Но как же он тогда качает файл?

Спасибо!

@Immick Для скачивания файла используется wget (последняя строка скрипта). Если посмотреть на его аргументы, можно увидеть, что помимо ссылки в параметрах также указывается referer. Полагаю, именно это и важно для скачивания файла.

• чтобы скачать файл по public ссылке типа https://cloud.mail.ru/public/FGlZ/hYpBtNcGx
• с сохранением оригинального имени файла test.mp4
• вместо флага -O можно использовать --content-disposition:

wget --continue --no-check-certificate --referer="$URL" "$downloadUrl" --content-disposition