GCSのアップロード/ダウンロードを早くする

cloudplatform.googleblog.com

  • gsutil -m でParallelに実行
  • parallel_composite_upload_threshold オプションで1ファイルあたりの分割粒度を調整
  • ファイルPATHがsequentialな名前よりは、random hashにする(アップロード完了後に名前だけ変更すればOK)
  • sliceとthreadsのオプション変更でダウンロードも早くなる