我已經實現了自己的成本函數import numpy as npimport mathimport kerasfrom keras.models import Model, Sequentialfrom keras.layers import Input, Dense, Activationfrom keras import regularizersfrom keras import backend as Kdef custom_activation(x): return (K.sigmoid(x) *2-1 ) x_train=np.random.uniform(low=-1,high=1,size=(200,2))model=Sequential([ Dense(20,input_shape=(2,)), Activation(custom_activation), Dense(2,), Activation('linear')])model.compile(optimizer='adam',loss='mean_squared_error')model.fit(x_train,x_train,epochs=20,validation_split=0.1)我可以給它導數，而不是讓 Keras 自動取我的逼近函數的導數嗎？請注意，這只是一個示例。我真正的 custom_activation 要復雜得多。
2 回答
青春有我
TA貢獻1784條經驗 獲得超8個贊
在您的函數上使用@tf.custom_gradient裝飾器并在其中定義grad(dy)要返回的函數：
#works only with tensorflow
from keras.backend import tf
@tf.custom_gradient
def custom_activation(x):
#... do things ...
def grad(dy):
#... do things ...
return dy * the_derivative(x)
#... do things ...
return result, grad #return the result and the gradient function
改編自：https ://www.tensorflow.org/api_docs/python/tf/custom_gradient
我從未在 Keras 中使用過它，但如果它不能立即工作，你可以嘗試將這個函數放入標準 Keras 函數中：
from keras.layers import Lambda
layer = Lambda(lambda x: custom_activation(x))
慕村225694
TA貢獻1880條經驗 獲得超4個贊
我想你的問題與這個問題非常相似how-to-define-the-derivative-of-a-custom-activation-function-in-keras。該鏈接中接受的答案是不言自明且有用的信息。
簡而言之，您可以檢查TF Add New Op。.
添加回答
舉報
0/150
提交
取消