结论:自定义层的时候不要在build
里定义不会在call
里调用的 trainable 变量
报错原文: 1
ValueError: An operation has `None` for gradient. Please make sure that all of your ops have a gradient defined (i.e. are differentiable). Common ops without gradient: K.argmax, K.round, K.eval.
引发操作: 1
model.fit(x, y, batch_size=32, epochs=2,validation_data=(x, y))
反正就是compile
正常,fit
报错
自定义层: 1
2
3
4
5
6
7
8
9
10
11
12
13
14def build(self, input_shape):
self.emb_A = self.add_weight(name='Embedding_1',
shape=(self.sentence_size, self.vocab_size),
initializer='uniform',
trainable=True)
self.emb_B = self.add_weight(name='Embedding_2',
shape=(self.sentence_size, self.vocab_size),
initializer='uniform',
trainable=True)
super(MemN2N, self).build(input_shape)
def call(self, inputs):
x = K.dot(inputs, self.emb_A)
return K.sum(x, axis=2)
解决方法:
删除 self.emb_B
就不会报这个错了
查了之后发现原因很简单,参考stackoverflow
就是build
里定义了call
里没有使用的 trainable 变量,结果反向传播的时候就没办法计算它的梯度了。
我还找了半天看是不是因为K.sum()
不可导orz