web-dev-qa-db-ja.com

ValueError：入力0はレイヤーconv_1と互換性がありません：ndim = 3が必要です、ndim = 4が見つかりました

DNAシーケンスのエンコードを学習するための変分オートエンコーダーを作成しようとしていますが、予期しないエラーが発生します。

私のデータは、ワンホットアレイの配列です。

私が得ている問題は、値エラーです。入力が明らかに3次元（100、4008、4）である場合、4次元の入力があることがわかります。

実際、seqレイヤーを印刷すると、形状が（？、100、4008、4）であると表示されます。

次元を取り出すと、2次元であるというエラーが発生します。

どんな助けも高く評価されます！

コードは：

from keras.layers import Input 
from keras.layers.convolutional import Conv1D
from keras.layers.core import Dense, Activation, Flatten, RepeatVector, Lambda
from keras import backend as K
from keras.layers.wrappers import TimeDistributed
from keras.layers.recurrent import GRU
from keras.models import Model
from keras import objectives

from one_hot import dna_sequence_to_one_hot

from random import shuffle
import numpy as np

# take FASTA file and convert into array of vectors
seqs = [line.rstrip() for line in open("/home/ubuntu/sequences.fa", "r").readlines() if line[0] != ">"]
seqs = [dna_sequence_to_one_hot(s) for s in seqs]
seqs = np.array(seqs)

# first random thousand are training, next thousand are validation
test_data = seqs[:1000]
validation_data = seqs[1000:2000]

latent_rep_size = 292
batch_size = 100
epsilon_std = 0.01
max_length = len(seqs[0])
charset_length = 4
epochs = 100

def sampling(args):
    z_mean_, z_log_var_ = args
    # batch_size = K.shape(z_mean_)[0]
    epsilon = K.random_normal_variable((batch_size, latent_rep_size), 0., epsilon_std)
    return z_mean_ + K.exp(z_log_var_ / 2) * epsilon

# loss function
def vae_loss(x, x_decoded_mean):
    x = K.flatten(x)
    x_decoded_mean = K.flatten(x_decoded_mean)
    xent_loss = max_length * objectives.categorical_crossentropy(x, x_decoded_mean)
    kl_loss = - 0.5 * K.mean(1 + z_log_var - K.square(z_mean) - K.exp(z_log_var), axis = -1)
    return xent_loss + kl_loss

# Encoder
seq = Input(shape=(100, 4008, 4), name='one_hot_sequence')
e = Conv1D(9, 9, activation = 'relu', name='conv_1')(seq)
e = Conv1D(9, 9, activation = 'relu', name='conv_2')(e)
e = Conv1D(9, 9, activation = 'relu', name='conv_3')(e)
e = Conv1D(10, 11, activation = 'relu', name='conv_4')(e)
e = Flatten(name='flatten_1')(e)
e = Dense(435, activation = 'relu', name='dense_1')(e)
z_mean = Dense(latent_rep_size, name='z_mean', activation = 'linear')(e)
z_log_var = Dense(latent_rep_size, name='z_log_var', activation = 'linear')(e)
z = Lambda(sampling, output_shape=(latent_rep_size,), name='lambda')([z_mean, z_log_var])

encoder = Model(seq, z)

# Decoder
d = Dense(latent_rep_size, name='latent_input', activation = 'relu')(z)
d = RepeatVector(max_length, name='repeat_vector')(d)
d = GRU(501, return_sequences = True, name='gru_1')(d)
d = GRU(501, return_sequences = True, name='gru_2')(d)
d = GRU(501, return_sequences = True, name='gru_3')(d)
d = TimeDistributed(Dense(charset_length, activation='softmax'), name='decoded_mean')(d)



# create the model, compile it, and fit it
vae = Model(seq, d)
vae.compile(optimizer='Adam', loss=vae_loss, metrics=['accuracy'])
vae.fit(x=test_data, y=test_data, epochs=epochs, batch_size=batch_size, validation_data=validation_data)
machine-learningneural-networkkerasautoencoder
5
Benjamin Lee

ドキュメントでは、（None、NumberOfFeatureVectors）である特定の形式で入力に言及する必要があることが言及されています。あなたの場合、それは（なし、4）になります

https://keras.io/layers/convolutional/

このレイヤーをモデルの最初のレイヤーとして使用する場合は、input_shape引数を指定します（整数のタプルまたはなし、たとえば、128次元ベクトルの10個のベクトルのシーケンスには（10、128）、可変長には（None、128）を指定します128次元ベクトルのシーケンス。

3
Anant Gupta

次元のみが必要な場合でも、畳み込み層のkernel_sizeを整数ではなくタプルとして指定します。

e = Conv1D(9, (9), activation = 'relu', name='conv_1')(seq)

Kerasのドキュメント には整数とタプルの両方が有効であると記載されていますが、2番目の方が次元数が多いと便利です。

2
Lucas Lopez

次のように入力をネットワークに配置してみてください：Input(shape=(None, 4)

一般的には、シーケンスの長さがわからない場合のためですが、同じ問題があり、何らかの理由でそれを解決した

うまくいきますように！

1
Amnon

私はこの問題を最近解決しました。 Conv1D関数を使用するときにチャネルをinput_shapeに含めたため、エラーが報告されます。

0
user11503246