Word2vec サイトからGoogleNews-vectors-negative300.bin.gzをダウンロードできます。 .binファイル(約3.4GB)は、私にとっては役に立たないバイナリ形式です。 Tomas Mikolov 安心 「バイナリ形式をテキスト形式に変換するのはかなり簡単なはずです(ただし、より多くのディスク容量が必要になります。)距離ツールでコードを確認してください。バイナリーファイル。"残念ながら、理解できるほど十分なCを知りません http://Word2vec.googlecode.com/svn/trunk/distance.c 。
おそらく gensim もこれを行うことができますが、私が見つけたすべてのチュートリアルはfromテキストではなく、他の方法。
誰かがCコードの変更や、gensimがテキストを出力するための指示を提案できますか?
Word2vec-toolkitメーリングリストで、Thomas Mensinkは、.binファイルをテキストに変換する小さなCプログラムの形式で answer を提供しています。これはdistance.cファイルの修正です。元のdistance.cを以下のThomasのコードで置き換え、Word2vecを再構築(make clean; make)し、コンパイル済みのdistanceの名前をreadbinに変更しました。その後、./readbin vector.bin
は、vector.binのテキストバージョンを作成します。
// Copyright 2013 Google Inc. All Rights Reserved.
//
// Licensed under the Apache License, Version 2.0 (the "License");
// you may not use this file except in compliance with the License.
// You may obtain a copy of the License at
//
// http://www.Apache.org/licenses/LICENSE-2.0
//
// Unless required by applicable law or agreed to in writing, software
// distributed under the License is distributed on an "AS IS" BASIS,
// WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
// See the License for the specific language governing permissions and
// limitations under the License.
#include <stdio.h>
#include <string.h>
#include <math.h>
#include <malloc.h>
const long long max_size = 2000; // max length of strings
const long long N = 40; // number of closest words that will be shown
const long long max_w = 50; // max length of vocabulary entries
int main(int argc, char **argv) {
FILE *f;
char file_name[max_size];
float len;
long long words, size, a, b;
char ch;
float *M;
char *vocab;
if (argc < 2) {
printf("Usage: ./distance <FILE>\nwhere FILE contains Word projections in the BINARY FORMAT\n");
return 0;
}
strcpy(file_name, argv[1]);
f = fopen(file_name, "rb");
if (f == NULL) {
printf("Input file not found\n");
return -1;
}
fscanf(f, "%lld", &words);
fscanf(f, "%lld", &size);
vocab = (char *)malloc((long long)words * max_w * sizeof(char));
M = (float *)malloc((long long)words * (long long)size * sizeof(float));
if (M == NULL) {
printf("Cannot allocate memory: %lld MB %lld %lld\n", (long long)words * size * sizeof(float) / 1048576, words, size);
return -1;
}
for (b = 0; b < words; b++) {
fscanf(f, "%s%c", &vocab[b * max_w], &ch);
for (a = 0; a < size; a++) fread(&M[a + b * size], sizeof(float), 1, f);
len = 0;
for (a = 0; a < size; a++) len += M[a + b * size] * M[a + b * size];
len = sqrt(len);
for (a = 0; a < size; a++) M[a + b * size] /= len;
}
fclose(f);
//Code added by Thomas Mensink
//output the vectors of the binary format in text
printf("%lld %lld #File: %s\n",words,size,file_name);
for (a = 0; a < words; a++){
printf("%s ",&vocab[a * max_w]);
for (b = 0; b< size; b++){ printf("%f ",M[a*size + b]); }
printf("\b\b\n");
}
return 0;
}
printf
から「\ b\b」を削除しました。
ちなみに、結果のテキストファイルには、Wordというテキストと、数値計算には不要な不要な空白が含まれていました。 bashコマンドを使用して、各行から最初のテキスト列と末尾の空白を削除しました。
cut --complement -d ' ' -f 1 GoogleNews-vectors-negative300.txt > GoogleNews-vectors-negative300_tuples-only.txt
sed 's/ $//' GoogleNews-vectors-negative300_tuples-only.txt
このコードを使用してバイナリモデルを読み込み、モデルをテキストファイルに保存し、
from gensim.models.keyedvectors import KeyedVectors
model = KeyedVectors.load_Word2vec_format('path/to/GoogleNews-vectors-negative300.bin', binary=True)
model.save_Word2vec_format('path/to/GoogleNews-vectors-negative300.txt', binary=False)
参照: [〜#〜] api [〜#〜] および nullege 。
注:
上記のコードは、gensimのnewバージョン用です。 previousバージョンでは、このコードを使用しました:
from gensim.models import Word2vec
model = Word2vec.Word2Vec.load_Word2vec_format('path/to/GoogleNews-vectors-negative300.bin', binary=True)
model.save_Word2vec_format('path/to/GoogleNews-vectors-negative300.txt', binary=False)
形式はIEEE 754単精度バイナリ浮動小数点形式です。binary32 http://en.wikipedia.org/wiki/Single-precision_floating-point_format リトルエンディアンを使用します。
例を見てみましょう:
次の行には、最初に語彙が含まれ、次に(300 * 4バイトの浮動小数点値、各次元に4バイト):
getByte till byte==32 (space). (60 47 115 62 32 => <\s>[space])
次の各4バイトは1つの浮動小数点数を表します
次の4バイト:0 0 -108 58 => 0.001129150390625.
ウィキペディアのリンクを確認して、方法を確認できます。例としてこれを行います。
(リトルエンディアン->逆順)00111010 10010100 00000000 00000000
値=符号* exp * pre
Word2vecにバイナリファイルをロードし、次のようにテキストバージョンを保存できます。
from gensim.models import Word2vec
model = Word2vec.Word2Vec.load_Word2vec_format('Path/to/GoogleNews-vectors-negative300.bin', binary=True)
model.save("file.txt")
`
Gensimを使用してGoogleNews-vectors-negative300.binを操作し、binary = True
モデルのロード中にフラグを立てます。
from gensim import Word2vec
model = Word2vec.Word2Vec.load_Word2vec_format('Path/to/GoogleNews-vectors-negative300.bin', binary=True)
正常に動作しているようです。
同様の問題がありました。bin/ non-bin(gensim)モデルをCSVとして出力したかったのです。
これはPythonでそれを行うコードです、gensimがインストールされていることを前提としています:
エラーが発生した場合:
ImportError: No module named models.Word2vec
aPIの更新があったためです。これは動作します:
from gensim.models.keyedvectors import KeyedVectors
model = KeyedVectors.load_Word2vec_format('./GoogleNews-vectors-negative300.bin', binary=True)
model.save_Word2vec_format('./GoogleNews-vectors-negative300.txt', binary=False)
convertvec は、Word2vecライブラリの異なる形式間でベクトルを変換するための小さなツールです。
ベクトルをバイナリからプレーンテキストに変換します。
./convertvec bin2txt input.bin output.txt
ベクトルをプレーンテキストからバイナリに変換します。
./convertvec txt2bin input.txt output.bin
私が使用するコードは次のとおりです。
import codecs
from gensim.models import Word2Vec
def main():
path_to_model = 'GoogleNews-vectors-negative300.bin'
output_file = 'GoogleNews-vectors-negative300_test.txt'
export_to_file(path_to_model, output_file)
def export_to_file(path_to_model, output_file):
output = codecs.open(output_file, 'w' , 'utf-8')
model = Word2Vec.load_Word2vec_format(path_to_model, binary=True)
print('done loading Word2Vec')
vocab = model.vocab
for mid in vocab:
#print(model[mid])
#print(mid)
vector = list()
for dimension in model[mid]:
vector.append(str(dimension))
#line = { "mid": mid, "vector": vector }
vector_str = ",".join(vector)
line = mid + "\t" + vector_str
#line = json.dumps(line)
output.write(line + "\n")
output.close()
if __== "__main__":
main()
#cProfile.run('main()') # if you want to do some profiling
より簡単な方法がありますので、簡単に更新してください。
https://github.com/dav/Word2vec からWord2vec
を使用している場合、-binary
と呼ばれる追加オプションがあり、1
を受け入れてバイナリファイルを生成するか、 0
はテキストファイルを生成します。この例は、リポジトリのdemo-Word.sh
からのものです。
time ./Word2vec -train text8 -output vectors.bin -cbow 1 -size 200 -window 8 -negative 25 -hs 0 -sample 1e-4 -threads 20 -binary 0 -iter 15