我的目標是開發一個DQN代理，它將根據特定的策略/策略選擇其操作。我以前使用OpenAi健身房環境，但現在我想創建自己的RL環境。在此階段，代理應選擇隨機操作或根據深度神經網絡（在DQN類中定義）給出的預測選擇其操作。到目前為止，我已經設置了神經網絡模型和我的環境。NN 應接收狀態作為其輸入。這些狀態表示 11 個可能的標量值，范圍從 9.5 到 10.5（9.5、9.6、...、10.4、10.5）。由于我們正在處理RL，因此代理在訓練過程中生成其數據。輸出應為 0 和 1，對應于建議的操作?，F在，我想給我的代理一個標量值：例如，一個樣本狀態x = 10，讓他決定要執行的操作（調用Agent.select_action（）），我遇到了與輸入形狀/輸入維度相關的問題。代碼如下：1. DQN 類：class DQN():    def __init__(self, state_size, action_size, lr):        self.state_size = state_size        self.action_size = action_size        self.lr = lr        self.model = Sequential()        self.model.add(Dense(128, input_dim=self.state_size, activation='relu'))        self.model.add(Dense(128, activation='relu'))        self.model.add(Dense(self.action_size, activation='linear'))        self.model.compile(optimizer=Adam(lr=self.lr), loss='mse')        self.model.summary()    def model_info(self):        model_description = '\n\n---Model_INFO Summary: The model was passed {} state sizes,\            \n {} action sizes and a learning rate of {} -----'\                            .format(self.state_size, self.action_size, self.lr)        return model_description    def predict(self, state):        return self.model.predict(state)    def train(self, state, q_values):        self.state = state        self.q_values = q_values        return self.model.fit(state, q_values, verbose=0)    def load_weights(self, path):        self.model.load_weights(path)    def save_weights(self, path):        self.model.save_weights(path)2. 代理類：NUM_EPISODES = 100MAX_STEPS_PER_EPISODE = 100EPSILON = 0.5 EPSILON_DECAY_RATE = 0.001EPSILON_MIN = 0.01EPSILON_MAX = 1DISCOUNT_FACTOR = 0.99REPLAY_MEMORY_SIZE = 50000BATCH_SIZE = 50TRAIN_START = 100ACTION_SPACE = [0, 1]STATE_SIZE = 11 LEARNING_RATE = 0.01