动态规划算法

一、基本概念

​ 动态规划过程是:每次决策依赖于当前状态,又随即引起状态的转移。一个决策序列就是在变化的状态中生产出来的,所以,这样的多阶层最优化决策解决这个问题的过程就称为动态规划。

二、动态规划算法的基本思想

​ 只要问题可以划分成规模更小的子问题,并且原问题的最优解中包含了子问题的最优解,则可以考虑用动态规划解决。动态规划的实质是分治思想和解决冗余,因此,动态规划是一种将问题实例分解为更小的、相似的子问题,并存储子问题的解而避免计算重复的子问题,以解决最优化问题的算法策略。

​ 动态规划法与分治法和贪心法类似,它们都是将问题实例归纳为更小的、相似的子问题,并通过求解子问题产生一个全局最优解。其中贪心法的当前选择可能要依赖已经作出的所有选择,但不依赖于有待于做出的选择和子问题。因此贪心法自顶向下,一步一步地作出贪心选择;而分治法中的各个子问题是独立的 (即不包含公共的子子问题),因此一旦递归地求出各子问题的解后,便可自下而上地将子问题的解合并成问题的解。

​ 与分治法和贪心法不同的是,动态规划允许这些子问题不独立,也允许其通过自身子问题的解作出选择,该方法对每一个子问题只解一次,并将结果保存起来,避免每次碰到时都要重复计算。因此,动态规划法所针对的问题有一个显著的特征,即它所对应的子问题树中的子问题呈现大量的重复。动态规划法的关键就在于,对于重复出现的子问题,只在第一次遇到时加以求解,并把答案保存起来,让以后再遇到时直接引用,不必重新求解。

三、适用的情况

​ 能採用动态规划求解的问题的一般要具有3个性质:

​ (1)、最优化原理:假设问题的最优解所包括的子问题的解也是最优的,就称该问题具有最优子结构,即满足最优化原理。

​ (2)、无后效性:即某阶段状态一旦确定。就不受这个状态以后决策的影响。也就是说,某状态以后的过程不会影响曾经的状态。仅仅与当前状态有关;

​ (3)、有重叠子问题:即子问题之间是不独立的,一个子问题在下一阶段决策中可能被多次使用到(该性质并非动态规划适用的必要条件,可是假设没有这条性质。动态规划算法同其它算法相比就不具备优势)。

四、求解的基本步骤

​ 动态规划所处理的问题是一个多阶段决策问题,一般由初始状态开始,通过对中间阶段决策的选择,达到结束状态。这些决策形成了一个决策序列,同时确定了完成整个过程的一条活动路线(通常是求最优的活动路线)。如图所示。动态规划的设计都有着一定的模式,一般要经历以下几个步骤。

​ 初始状态→│决策1│→│决策2│→…→│决策n│→结束状态

​ (1)划分阶段:按照问题的时间或空间特征,把问题分为若干个阶段。在划分阶段时,注意划分后的阶段一定要是有序的或者是可排序的,否则问题就无法求解;

​ (2)确定状态和状态变量:将问题发展到各个阶段时所处于的各种客观情况用不同的状态表示出来。当然,状态的选择要满足无后效性;

​ (3)确定决策并写出状态转移方程:因为决策和状态转移有着天然的联系,状态转移就是根据上一阶段的状态和决策来导出本阶段的状态。所以如果确定了决策,状态转移方程也就可写出。但事实上常常是反过来做,根据相邻两个阶段的状态之间的关系来确定决策方法和状态转移方程;

​ (4)寻找边界条件:给出的状态转移方程是一个递推式,需要一个递推的终止条件或边界条件。

​ 一般,只要解决问题的阶段、状态和状态转移决策确定了,就可以写出状态转移方程(包括边界条件)。

​ 实际应用中可以按以下几个简化的步骤进行设计:

​ (1)分析最优解的性质,并刻画其结构特征;

​ (2)递归的定义最优解;

​ (3)以自底向上或自顶向下的记忆化方式(备忘录法)计算出最优值;

​ (4)根据计算最优值时得到的信息,构造问题的最优解。

五、经典题目

爬楼梯问题

题目描述:有 N 阶楼梯,每次可以上一阶或者两阶,求有多少种上楼梯的方法。

定义一个数组 dp 存储上楼梯的方法数(为了方便讨论,数组下标从 1 开始),dp[i] 表示走到第 i 个楼梯的方法数目。第 i 个楼梯可以从第 i-1 和 i-2 个楼梯再走一步到达,走到第 i 个楼梯的方法数为走到第 i-1 和第 i-2 个楼梯的方法数之和。状态转移方程为:

​ dp[i]=dp[i-1]+dp[i-2]

public static int climbStair(int n){
​ if(n <= 2){
​ return n;
​ }
​ int stair1 = 1, stair2 = 2;//stair1为dp[i-2]
​ int cur = 0;
​ for(int i = 3; i <= n; i++){
​ cur = stair1 + stair2;
​ stair1 = stair2;
​ stair2 = cur;
​ }
​ return cur;
​ }

强盗抢劫问题

问题描述:抢劫一排住户,但是不能抢邻近的住户,求最大抢劫量。

如果输入为空,返回0;如果输入个数为1,返回这个数;如果说如个数为2,返回最大值。输入个数大于等于3,就需要运用动态规划。状态转移方程为:

​ dp[i] = max(dp[i - 2] + nums[i], dp[i - 1])

public static int solution(int[] nums){
​ if(nums.length <= 0){
​ return 0;
​ }
​ if(nums.length == 1){
​ return nums[0];
​ }
​ if(nums.length == 2){
​ return nums[0] >= nums[1] ? nums[0] : nums[1];
​ }
​ int pre1 = 0,pre2 = 0;//pre1为dp[i-1]
​ int max = 0;
​ for(int i = 0; i < nums.length; i++){
​ max = Math.max(nums[i] + pre2, pre1);
​ pre2 = pre1;
​ pre1 = max;
​ }
​ return max;
​ }

------ 本文结束 ------