web-dev-qa-db-ja.com

Cで大きなファイルのMD5ハッシュを計算する方法は？

OpenSSLライブラリを使用してCで書いています。

Md5を使用して大きなファイルのハッシュを計算するにはどうすればよいですか？

私が知っているように、ファイル全体をRAMをchar配列としてロードしてから、ハッシュ関数を呼び出す必要があります。しかし、ファイルの長さが約4Gbの場合はどうでしょうか？悪い考えのように思えます。

[〜＃〜]解決済み[〜＃〜]： askovpen のおかげで、バグを発見しました。私は使いました

while ((bytes = fread (data, 1, 1024, inFile)) != 0)
    MD5_Update (&mdContext, data, 1024);

ない

while ((bytes = fread (data, 1, 1024, inFile)) != 0)
    MD5_Update (&mdContext, data, bytes);
chashmd5
16
user1256821

例

gcc -g -Wall -o file file.c -lssl -lcrypto

#include <stdio.h>
#include <openssl/md5.h>

int main()
{
    unsigned char c[MD5_DIGEST_LENGTH];
    char *filename="file.c";
    int i;
    FILE *inFile = fopen (filename, "rb");
    MD5_CTX mdContext;
    int bytes;
    unsigned char data[1024];

    if (inFile == NULL) {
        printf ("%s can't be opened.\n", filename);
        return 0;
    }

    MD5_Init (&mdContext);
    while ((bytes = fread (data, 1, 1024, inFile)) != 0)
        MD5_Update (&mdContext, data, bytes);
    MD5_Final (c,&mdContext);
    for(i = 0; i < MD5_DIGEST_LENGTH; i++) printf("%02x", c[i]);
    printf (" %s\n", filename);
    fclose (inFile);
    return 0;
}

結果：

$ md5sum file.c
25a904b0e512ee546b3f47574703d9fc  file.c
$ ./file
25a904b0e512ee546b3f47574703d9fc file.c
34
askovpen

まず、MD5はハッシュアルゴリズムです。何も暗号化しません。

とにかく、あなたはあなたが好きなサイズのチャンクでファイルを読むことができます。 MD5_Init を1回呼び出してから、ファイルから読み取ったデータのチャンクごとに MD5_Update を呼び出します。完了したら、結果を取得するために MD5_Final を呼び出します。

6
David Schwartz

ファイル全体を一度にメモリにロードする必要はありません。関数 MD5_Init（）、MD5_Update（）およびMD5_Final（） を使用して、チャンクで処理してハッシュを生成できます。 「アトミック」操作にすることを心配している場合は、操作中に他のユーザーがファイルを変更できないようにファイルをロックする必要がある場合があります。

4
Mark Wilkins

一番上の答えは正しいですが、何も言及されていませんでした。ハッシュの値は、使用されるバッファーサイズごとに異なります。値はハッシュ全体で一貫しているため、同じバッファーサイズは毎回同じハッシュを生成しますが、このハッシュを後で同じデータのハッシュと比較する場合は、呼び出しごとに同じバッファーサイズを使用する必要があります。

さらに、ダイジェストコードが正しく機能することを確認し、ハッシュをオンラインハッシュWebサイトと比較するためにオンラインにしたい場合、それらは1のバッファー長を使用しているように見えます。これも興味深い考えをもたらします。大きなファイルをハッシュするには、バッファ長1を使用します。それだけ時間がかかります（duh）。

したがって、私の経験則では、それが内部でのみ使用される場合は、大きなファイルに合わせてバッファー長を設定できますが、他のシステムでNiceを再生する必要がある場合は、バッファー長を1に設定して時間の影響に対処します。

int hashTargetFile(FILE* fp, unsigned char** md_value, int *md_len) {

    #define FILE_BUFFER_LENGTH 1

    EVP_MD_CTX *mdctx;
    const EVP_MD *md;
    int diglen; //digest length
    int arrlen = sizeof(char)*EVP_MAX_MD_SIZE + 1;
    int arrlen2 = sizeof(char)*FILE_BUFFER_LENGTH + 1;
    unsigned char *digest_value = (char*)malloc(arrlen);
    char *data = (char*)malloc(arrlen2);
    size_t bytes; //# of bytes read from file

    mdctx = EVP_MD_CTX_new();
    md = EVP_sha512();

    if (!mdctx) {
        fprintf(stderr, "Error while creating digest context.\n");
        return 0;
    }

    if (!EVP_DigestInit_ex(mdctx, md, NULL)) {
        fprintf(stderr, "Error while initializing digest context.\n");
        return 0;
    }

    while (bytes = fread(data, 1, FILE_BUFFER_LENGTH, fp) != 0) {
        if (!EVP_DigestUpdate(mdctx, data, bytes)) {
            fprintf(stderr, "Error while digesting file.\n");
            return 0;
        }
    }

    if (!EVP_DigestFinal_ex(mdctx, digest_value, &diglen)) {
        fprintf(stderr, "Error while finalizing digest.\n");
        return 0;
    }

    *md_value = digest_value;
    *md_len = diglen;

    EVP_MD_CTX_free(mdctx);

    return 1;
}
1
MDMoore313