Настройка хранилища медиафайлов мобильного приложения (S3/Cloud Storage)

Настройка хранилища медиафайлов мобильного приложения (S3/Cloud Storage)

Загрузка фото и видео из мобильного приложения — задача, которую легко недооценить. Один запрос на 50 МБ видео через бэкенд-прокси создаёт колоссальную нагрузку на сервер, увеличивает время отклика и расходует двойной трафик. Пользователи бросают загрузку, если она длится дольше трёх секунд. Мы предлагаем проверенную архитектуру: presigned URL → прямая загрузка из клиента в S3 или GCS. Бэкенд только выдаёт токен и получает подтверждение — вся тяжесть ложится на облачную инфраструктуру. Такой подход под ключ снижает нагрузку на ваш сервер, ускоряет отдачу контента и гарантирует безопасность. Наш опыт — более 5 лет интеграции облачных хранилищ в мобильные приложения для iOS и Android.

Почему стоит загружать медиа напрямую в S3?

Прямая загрузка через presigned URL решает проблемы с производительностью и надёжностью. Сравните с прокси-методом:

Мы настоятельно рекомендуем прямую загрузку для медиа — это снижает стоимость инфраструктуры и повышает отзывчивость приложения. Официальная документация AWS: Presigned URLs.

Сравнение провайдеров облачного хранения

R2 и B2 совместимы с S3 API — один и тот же клиентский код, только другой endpoint. Выбор провайдера зависит от региона трафика и бюджета. Например, для проектов с большим исходящим трафиком Cloudflare R2 может сократить расходы на egress до нуля.

Как мы реализуем загрузку с прогрессом?

Пользователь видит progress bar — это не опционально для видео. Шаги реализации:

1. Приложение запрашивает у бэкенда presigned URL, передавая тип и размер файла.
2. Бэкенд генерирует временный токен с ограниченными правами (например, PUT-разрешениe на конкретный объект).
3. Клиент загружает файл напрямую в облачное хранилище, используя полученный URL и стандартные механизмы отслеживания прогресса.

iOS через URLSession.uploadTask с делегатом:

class MediaUploader: NSObject, URLSessionTaskDelegate {
    private lazy var session: URLSession = {
        URLSession(configuration: .default, delegate: self, delegateQueue: nil)
    }()

    func upload(fileURL: URL, presignedURL: URL, progress: @escaping (Double) -> Void, completion: @escaping (Result<Void, Error>) -> Void) {
        var request = URLRequest(url: presignedURL)
        request.httpMethod = "PUT"
        request.setValue(fileURL.mimeType, forHTTPHeaderField: "Content-Type")

        let task = session.uploadTask(with: request, fromFile: fileURL)
        task.taskDescription = fileURL.lastPathComponent
        uploadCompletionHandlers[task.taskIdentifier] = completion
        uploadProgressHandlers[task.taskIdentifier] = progress
        task.resume()
    }

    func urlSession(_ session: URLSession, task: URLSessionTask, didSendBodyData bytesSent: Int64, totalBytesSent: Int64, totalBytesExpectedToSend: Int64) {
        let progress = Double(totalBytesSent) / Double(totalBytesExpectedToSend)
        uploadProgressHandlers[task.taskIdentifier]?(progress)
    }
}

На Android через OkHttp с кастомным RequestBody:

class ProgressRequestBody(
    private val file: File,
    private val contentType: MediaType,
    private val onProgress: (Int) -> Unit
) : RequestBody() {
    override fun contentType() = contentType
    override fun contentLength() = file.length()
    override fun writeTo(sink: BufferedSink) {
        val buffer = ByteArray(8192)
        var uploaded = 0L
        file.inputStream().use { input ->
            var bytesRead: Int
            while (input.read(buffer).also { bytesRead = it } != -1) {
                sink.write(buffer, 0, bytesRead)
                uploaded += bytesRead
                val progress = (uploaded * 100 / file.length()).toInt()
                onProgress(progress)
            }
        }
    }
}

Что делать с большими видеофайлами?

S3 требует multipart для файлов больше 5 МБ (рекомендуется от 100 МБ). Преимущества: параллельная загрузка частей, возможность возобновить после прерывания.

class S3MultipartUploader(private val s3Client: S3Client) {
    suspend fun upload(bucketName: String, key: String, file: File): String {
        // 1. Инициализируем multipart upload
        val createResponse = s3Client.createMultipartUpload {
            bucket = bucketName
            this.key = key
            contentType = file.detectMimeType()
        }
        val uploadId = createResponse.uploadId!!
        val partSize = 10 * 1024 * 1024L // 10 МБ на часть
        val parts = mutableListOf<CompletedPart>()
        try {
            file.inputStream().use { stream ->
                var partNumber = 1
                val buffer = ByteArray(partSize.toInt())
                var bytesRead: Int
                while (stream.read(buffer).also { bytesRead = it } != -1) {
                    val partData = buffer.copyOf(bytesRead)
                    val uploadPartResponse = s3Client.uploadPart {
                        bucket = bucketName
                        this.key = key
                        this.uploadId = uploadId
                        this.partNumber = partNumber
                        body = ByteStream.fromBytes(partData)
                    }
                    parts.add(CompletedPart {
                        this.partNumber = partNumber
                        eTag = uploadPartResponse.eTag
                    })
                    partNumber++
                }
            }
            // 3. Завершаем multipart upload
            s3Client.completeMultipartUpload {
                bucket = bucketName
                this.key = key
                this.uploadId = uploadId
                multipartUpload = CompletedMultipartUpload {
                    this.parts = parts
                }
            }
            return "https://$bucketName.s3.amazonaws.com/$key"
        } catch (e: Exception) {
            // Очищаем незавершённый upload — иначе оплачивается
            s3Client.abortMultipartUpload {
                bucket = bucketName
                this.key = key
                this.uploadId = uploadId
            }
            throw e
        }
    }
}

abortMultipartUpload при ошибке — важно. Незавершённые multipart uploads продолжают тарифицироваться в AWS. Добавьте Lifecycle Rule на удаление незавершённых uploads через 7 дней как страховку.

Обработка медиа перед загрузкой

Видео 4K 200 МБ напрямую в S3 — редко нужно. На клиенте перед загрузкой:

• Изображения: сжатие через UIGraphicsImageRenderer (iOS) или BitmapFactory.Options.inSampleSize (Android). WebP вместо JPEG — лучшее соотношение качества/размера.
• Видео: транскодирование через AVAssetExportSession (iOS) или MediaCodec/Transformer (Android) до 1080p/720p. Для React Native — react-native-video-processing.

// iOS: сжатие видео перед загрузкой
let exporter = AVAssetExportSession(asset: asset, presetName: AVAssetExportPreset1280x720)!
exporter.outputURL = outputURL
exporter.outputFileType = .mp4
exporter.shouldOptimizeForNetworkUse = true
await exporter.export()
// После экспорта — загружаем outputURL в S3

Клиентское сжатие — компромисс: меньше трафика, быстрее загрузка, но нагрузка на CPU устройства. Это позволяет сэкономить на хранении и исходящем трафике (особенно при больших объёмах).

CDN для раздачи

S3 напрямую — только для приватных файлов. Публичные медиа (аватары, контент) — через CloudFront или Cloudflare CDN. Это кэширование на edge-нодах по всему миру и HTTPS без дополнительной настройки. Подключение CDN может снизить задержки до 50 мс для пользователей в отдалённых регионах.

{
  "CORSRules": [
    {
      "AllowedOrigins": ["*"],
      "AllowedMethods": ["PUT", "POST"],
      "AllowedHeaders": ["*"],
      "ExposeHeaders": ["ETag"]
    }
  ]
}