Как скачать аудио с сайта через код страницы

Извлечение аудио из встроенных плееров с помощью JavaScript

Современные сайты часто используют кастомные плееры на базе HTML5 Audio, Howler.js или WaveSurfer.js. Чтобы извлечь аудиопоток, проанализируйте DOM: найдите элемент <audio> или объект плеера в window. Например, для Howler.js проверьте Howler._howls – массив активных экземпляров, где _src содержит URL трека. Если плеер использует HLS или DASH, ищите <script> с инициализацией new Hls() или new dashjs.MediaPlayer() – в них передаются манифесты .m3u8/.mpd с прямыми ссылками на сегменты аудио.

Для динамически загружаемого контента (например, SoundCloud, Spotify Web) используйте DevTools Network: фильтруйте запросы по типу media или audio, ищите .mp3, .aac, .ogg. В случае обфускации URL (например, токенизированные ссылки) перехватите XHR-запросы через XMLHttpRequest.prototype.open или fetch с помощью monkey-patching. Пример для перехвата fetch: const originalFetch = window.fetch; window.fetch = async (...args) => { const response = await originalFetch(...args); if (args[0].includes('audio')) console.log(response.url); return response; };. Для плееров с DRM (Widevine) извлечение невозможно без обхода защиты.

Работа с аудиопотоками в форматах HLS и DASH

HLS (HTTP Live Streaming) и DASH (Dynamic Adaptive Streaming over HTTP) – протоколы адаптивного стриминга, использующие сегментированные медиафайлы для передачи аудио и видео. HLS разработан Apple и поддерживается всеми устройствами iOS, macOS и большинством Android-устройств. DASH – открытый стандарт, продвигаемый MPEG, совместимый с широким спектром платформ, включая Smart TV и игровые консоли.

Для извлечения аудио из HLS-потока требуется парсинг манифеста (.m3u8). В базовом варианте файл содержит ссылки на сегменты (.ts или .aac) и метаданные о битрейте. Пример структуры:

• #EXTM3U – заголовок манифеста;
• #EXT-X-STREAM-INF:BANDWIDTH=128000 – описание потока с битрейтом 128 Кбит/с;
• audio_128k.m3u8 – путь к плейлисту сегментов;
• #EXTINF:6.0 – длительность сегмента в секундах;
• segment1.ts – путь к аудиосегменту.

DASH использует XML-манифест (.mpd), где аудиопотоки описываются в тегах <AdaptationSet> с атрибутом mimeType="audio/mp4". Сегменты хранятся в форматах .mp4 или .m4a. Пример минимального манифеста:

<MPD>
<Period>
<AdaptationSet mimeType="audio/mp4">
<Representation id="1" bandwidth="128000">
<SegmentTemplate media="audio_$Number$.m4a" startNumber="1"/>
</Representation>
</AdaptationSet>
</Period>
</MPD>

Для загрузки сегментов используйте инструменты с поддержкой параллельных запросов. В Python подойдет requests с библиотекой m3u8 для HLS и xml.etree.ElementTree для парсинга DASH. Пример кода для HLS:

import m3u8
import requests
playlist = m3u8.load("https://example.com/audio.m3u8")
for segment in playlist.segments:
response = requests.get(segment.uri)
with open(segment.uri.split("/")[-1], "wb") as f:
f.write(response.content)

Объединение сегментов в единый файл требует учета контейнеров. Для HLS (.ts) используйте ffmpeg:

ffmpeg -i "concat:segment1.ts|segment2.ts" -c copy output.aac

Для DASH (.m4a) подойдет тот же инструмент, но с указанием формата:

ffmpeg -f concat -i segments.txt -c copy output.m4a

Где segments.txt содержит список файлов в формате:

file 'segment1.m4a'
file 'segment2.m4a'

Проблемы при работе с потоками включают шифрование сегментов (AES-128 в HLS) и динамическое обновление манифестов. Для расшифровки HLS используйте ключ из тега #EXT-X-KEY и библиотеку pycryptodome. Пример:

from Crypto.Cipher import AES
key = requests.get("https://example.com/key.key").content
iv = bytes.fromhex("00000000000000000000000000000000")
cipher = AES.new(key, AES.MODE_CBC, iv)
decrypted = cipher.decrypt(encrypted_segment)

Оптимизируйте загрузку, ограничивая количество одновременных соединений (4–6 для HLS, 2–3 для DASH) и используя кеширование манифестов. Для мониторинга изменений в плейлистах проверяйте атрибут #EXT-X-TARGETDURATION в HLS или <MPD@minimumUpdatePeriod> в DASH. При работе с CDN учитывайте географические ограничения и заголовки Cache-Control.

Сохранение найденных аудиофайлов через консольные команды

После идентификации прямых ссылок на аудиофайлы в коде страницы (например, .mp3, .ogg, .m4a или .wav) их можно сохранить локально с помощью инструментов командной строки. Основной инструмент – cURL или wget, доступные в Linux, macOS и Windows через WSL или Git Bash.

Для загрузки файла через cURL используйте команду:

curl -O "URL_АУДИОФАЙЛА"
Ключ -O сохраняет файл с оригинальным именем. Если сервер требует заголовков (например, User-Agent или Referer), добавьте их:
curl -O -H "User-Agent: Mozilla/5.0" -H "Referer: https://example.com" "URL_АУДИОФАЙЛА"

wget удобнее для массовой загрузки. Базовая команда:

wget "URL_АУДИОФАЙЛА"
Для обхода ограничений по User-Agent или Referer используйте:
wget --user-agent="Mozilla/5.0" --referer="https://example.com" "URL_АУДИОФАЙЛА"

Если файл защищён базовой аутентификацией, добавьте:

wget --user=ЛОГИН --password=ПАРОЛЬ "URL_АУДИОФАЙЛА"

При работе с динамическими ссылками (например, генерируемыми JavaScript) сначала получите конечный URL через инструменты разработчика браузера (вкладка Network, фильтр по Media). Если ссылка временная, используйте youtube-dl или его форк yt-dlp для извлечения аудио из потоковых протоколов:
yt-dlp -x --audio-format mp3 "URL_СТРАНИЦЫ"
Ключ -x извлекает только аудиодорожку, а --audio-format конвертирует её в указанный формат.

Для автоматизации загрузки нескольких файлов создайте текстовый файл со списком URL (например, urls.txt) и выполните:
wget -i urls.txt

или

while read url; do curl -O "$url"; done < urls.txt

Если сервер блокирует частые запросы, добавьте задержку:

while read url; do curl -O "$url"; sleep 2; done < urls.txt

Проверяйте целостность загруженных файлов. Для .mp3 используйте ffprobe из пакета FFmpeg:
ffprobe -v error -show_format -show_streams "ФАЙЛ.mp3"

Храните загруженные файлы в структурированных каталогах. Для массовой загрузки используйте скрипты с динамическим именованием:

for i in {1..10}; do wget -O "audio_$i.mp3" "URL_ШАБЛОН_$i"; done
Где URL_ШАБЛОН – ссылка с переменной частью (например, https://example.com/audio?id=1). Для сложных сценариев пишите bash-скрипты с обработкой ошибок и логами.

Обход ограничений доступа к аудиоконтенту на защищённых страницах

Многие сайты используют механизмы защиты аудиоконтента через динамическую загрузку или проверку заголовков запросов. Например, SoundCloud и Spotify применяют токены доступа в URL-адресах треков, которые генерируются на стороне сервера и действуют ограниченное время. Чтобы извлечь аудио, проанализируйте сетевые запросы в инструментах разработчика браузера (вкладка "Network"). Фильтруйте по типу "media" или "audio" и ищите запросы с расширениями .mp3, .m4a или .opus. Копируйте полный URL, включая параметры токена, и используйте его в сторонних инструментах, таких как yt-dlp или wget.

Для платформ с DRM-защитой, таких как Apple Music или Tidal, стандартные методы не работают. Однако если аудио воспроизводится в браузере, оно уже декодировано и временно хранится в кэше. На Windows путь к кэшу Chrome выглядит так: %LocalAppData%\Google\Chrome\User Data\Default\Cache. Используйте утилиту ChromeCacheView от NirSoft для извлечения файлов. На macOS кэш находится в ~/Library/Caches/Google/Chrome/Default/Cache. Ищите файлы размером от нескольких мегабайт – это могут быть аудиопотоки.

Некоторые сайты проверяют заголовок Referer или Origin, чтобы убедиться, что запрос исходит с их домена. Обойти это можно с помощью расширений для браузера, таких как "ModHeader" или "Requestly", которые позволяют подменять заголовки. Установите Referer на URL страницы с аудио, а Origin – на домен сайта. Альтернативный способ – использовать curl с флагом -H "Referer: https://example.com", где example.com – целевой сайт.

Если аудио загружается через WebSocket или WebRTC, стандартные инструменты анализа сети не всегда показывают поток. В Chrome откройте chrome://webrtc-internals для мониторинга WebRTC-соединений. Для WebSocket используйте вкладку "WS" в инструментах разработчика. Записывайте трафик с помощью Wireshark, фильтруя по протоколу websocket или stun. Извлеките бинарные данные и сохраните их в файл с расширением .opus или .aac.

На сайтах с ленивой загрузкой аудио (например, Bandcamp) контент подгружается только при прокрутке страницы или нажатии кнопки "Play". Чтобы получить URL, эмулируйте эти действия с помощью JavaScript в консоли браузера. Например, выполните document.querySelector('audio').play(), затем проверьте сетевые запросы. Для автоматизации используйте Puppeteer или Playwright с кодом, который прокручивает страницу и инициирует воспроизведение.

Защищённые страницы часто используют обфускацию JavaScript для скрытия логики загрузки аудио. Инструменты вроде de4js или JS Nice помогут деобфусцировать код. Ищите функции с названиями fetchAudio, getStreamUrl или loadTrack. Если URL генерируется динамически, установите точки останова в коде и отслеживайте переменные, содержащие конечный адрес. Для сложных случаев используйте Frida для инъекции кода в работающее приложение и перехвата вызовов API.

При работе с мобильными версиями сайтов или PWA (Progressive Web Apps) аудио может загружаться через API, недоступные в десктопной версии. Используйте режим устройства в инструментах разработчика Chrome (Ctrl+Shift+M) и переключитесь на мобильный User-Agent, например: Mozilla/5.0 (iPhone; CPU iPhone OS 15_0 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.0 Mobile/15E148 Safari/604.1. Это может раскрыть дополнительные эндпоинты API, которые возвращают прямые ссылки на аудиофайлы.

Вопрос-ответ: