Unix/Linuxには、圧縮ユーティリティ(gzip/compress)が圧縮できる最大ファイルサイズの制限があります。何年も前に、gzipページで最大4GBのファイルを圧縮できると言及されていたのを覚えています。実際、私は定期的に約512GBのフィリーを圧縮する必要があります。圧縮ユーティリティを使用していくつかのファイルをテストしたところ、圧縮前と解凍後のDBファイルのハッシュコード(MD5)が同じであることがわかりました。
gzip
は最近、4より大きいファイルを圧縮できますGiBサイズは、実際にはそれ自体の制限はありません(基盤となるファイルシステムによって制限されます) )。4より大きいファイルの唯一の制限GiBはgzip -l
サイズが正しく報告されません。別の方法については、 大きなGZIPPEDファイルの非圧縮サイズを処理する最速の方法 を参照してください。
より良い圧縮や速度を提供する他の多くの圧縮ツールがあり、それらはより適切であると思われるかもしれません: [〜#〜] xz [〜#〜] 、 7-Zip =.。
Gzipは連結可能なストリームの圧縮であるため(manページの「高度な使用法」を参照)、アルゴリズムがハードエンコーディングの制限(*)に達した場合、現在のストリームを終了して新しいストリームを開始できます。
したがって、gzip自体のデータサイズに厳しい制限はありません
(*制限があるかどうかを言うのにXflate
について十分に知りません)