导数应用
函数中值定理
都假定在上连续。
有界与最值定理
定理:,其中,分别为在上的最大值和最小值。
介值定理
定理:当,存在,使得。
平均值定理
定理:当时,在内至少存在一点,使得。
证明:已知在上连续,根据有界与最值定理,。
即、……。
将这些式子全部相加,得到。
所以。
由介值定理,可知存在使得。
零点定理
定理:当时,存在,使得。
零点定理 / 介值定理 = 二分法求根(bisection)的理论基础。 零点定理说「 ⇒ 区间内必有根」,于是可以不断对半切、缩小区间逼近根——这正是数值库 root-finding 最稳的兜底算法:它只要求函数连续、端点异号,不需要导数,鲁棒但线性收敛(每轮精度翻一位二进制)。介值定理保证「连续函数能取到两端之间的任意高度」,也是「在单调数组上二分查找某个目标值一定能定位」这件事的连续版直觉。注意这些都是存在性定理,只回答「有没有」,不告诉你「在哪、有几个」。
闭区间连续函数四个定理的直觉: 有界与最值(图像不会窜到无穷,必有最高点和最低点)、介值(一笔画过去,中间每个高度都经过)、零点(一端在 轴上方、一端在下方,中间必穿过轴)。零点定理是证明「方程有解」最常用的工具:把方程整理成 ,再找到两个异号的函数值 、 即可断定 内有根。记住结论只保证「存在」,不给位置也不给个数。
微分中值定理
四个定理都是建立局部与整体的关系,利用导数控制函数,反之不能使用函数控制导数。
罗尔定理
定义
极值定义:若,使恒有,则在处取极小值,恒有,则在处取极大值。
费马引理定义:若在处取得极值,且在处可导,则。
罗尔定理定义:
- 在上连续。
- 在内可导。
- 。
则,使得。
推广
- 设在内可导,,则在内至少存在一点,使得。
- 设在内可导,,则在内至少存在一点,使得。
- 设在内可导,,则在内至少存在一点,使得。
- 设在内可导,,则在内至少存在一点,使得。
拉格朗日中值定理
- 在上连续。
- 在内可导。
则,使得。
拉格朗日中值定理的几何意义:若连续曲线的弧上除端点外处处具有不垂直于轴的切线,则这弧上至少有一点使曲线在该点处的切线平行于弦。
其中,。
有限增量公式定义:。
有限增量公式中的不一定很小,这个是一个增量的准确公式。即将增量用和该线段上某点的导数来表示,与微分值不同的是这个是个准确值而不是近似值,但是不好用,因为未知。
推论:在上连续且可导,则上。
例题:证明时,。
证明:令,又,。
根据拉格朗日中值定理。
又,得证。
拉格朗日中值定理 是「用导数控制函数增量」的利器,在算法分析里无处不在。 若 (导数有界,即 Lipschitz 连续),立刻得到 ——这条 Lipschitz 界是梯度下降收敛性证明、神经网络对输入扰动的稳定性(对抗鲁棒性)、以及数值误差传播分析的共同支点。优化里推导「梯度下降每一步目标函数下降多少」,本质就是对损失函数用中值定理 / 泰勒展开,把 的变化量 bound 在梯度和步长上。
三大中值定理记一条主线: 罗尔(两端等高 中间必有水平切线 ) 拉格朗日(去掉「两端等高」,结论变成「切线平行于割线」) 柯西(再推广到参数方程、两个函数之比)。用法套路固定:要证含 或某点导数的等式/不等式,先构造辅助函数 ,验证它连续、可导,再套定理。本节例题证 就是令 套拉格朗日的范例。
柯西中值定理
- 与在上连续。
- 与在内可导,且,。
则,使得。
泰勒中值定理
即携带拉格朗日余项的泰勒公式。
设在区间上阶可导,,那么对,使得。
拉格朗日型余项:,。用于证明。
陪亚诺型余项:。用于求极限,因为余项太粗糙。
洛必达法则
定理
若当或时两个函数都趋向0或无穷大,那么极限可能存在,也可能不存在,这种极限就是不定式。
定理:
- 当时,函数,都趋向0或无穷大。
- 和在点的某去心邻域内,或大于充分大的正数时,存在,且。
- 或存在或无穷大。
- 或。
注意事项
- 如果函数比值不为或型,则不能使用洛必达法则。
- 若求导后极限仍为或型,则可以继续使用洛必达法则。
- 若不存在且不为,不能反推不存在也不为,这时候洛必达法则是失效的。
- 洛必达法则除了可以解决型、型,还可以将、、、、类型进行变型来使用洛必达。
对于第三个注意点:。
而使用洛必达法则:
洛必达把 、 的极限换成导数之比,本质是「用局部线性化来估比值」。 但工程上要小心两点:① 它是解析/符号工具,数值上直接算 只会得到 NaN,真要数值逼近极限得靠泰勒展开或 Richardson 外推;② 注意点 3「导数比的极限不存在,不能反推原极限不存在」对应一个真实陷阱——含 这类振荡项时洛必达会失效,得回到夹逼或等价无穷小。分析算法增长量级时比较两个量的比值(如 的趋势)也是同款 思路。
洛必达不是万能钥匙,用之前先确认是不是 或 型——不是这两型直接用就会算错。其他不定型(、、 等)必须先通分或取对数,变形成这两型才能用。还有两点:洛必达「求不出来」不等于「极限不存在」(见上面 的例子);能用等价无穷小 / 泰勒解决的,往往比反复求导更快、更不容易出错。
泰勒公式
非常重要。过去的很多定义如等价无穷小都是基于泰勒公式。
定义
是一个用函数在某点的信息描述其附近取值的公式。如果函数满足一定的条件,泰勒公式可以用函数在某一点的各阶导数值做系数构建一个多项式来近似表达这个函数。即形式:。
简单来说,泰勒公式就是一个近似表达函数的公式。其增量趋向0。
对于泰勒公式以及之前的中值定理等相关延申见知乎回答。
泰勒定理
拉格朗日定理是泰勒定理的特例。泰勒定理也称为泰勒中值定理,与之前的三大中值定理组成四大中值定理,前面的三大中值定理建立函数与一阶导数的关系,而泰勒定理建立函数与高阶导数之间的关系。
皮亚诺余项
设在处阶可微,则。这个就是带皮亚诺余项的泰勒公式。
就是在处的次泰勒多项式,就是函数的皮亚诺余项。
缺点:
- 只给出余项的定性描述,不能进行定量分析。
- 适用范围小。
拉格朗日余项
设在处阶可微,则,使得。这个就是带拉格朗日余项的泰勒公式。
就是函数的拉格朗日余项。
根据拉格朗日中值定理推广的方式:。
若,则。
特点:
- 进行定量研究。
- 可以进行整体的研究。
- 计算量较大。
拉格朗日余项给出了「截断到 阶后误差有多大」的定量上界 ,这是数值计算的命根子:数学库算 、 时先估这个余项,才能决定取几项就够机器精度;浮点误差分析、数值积分(辛普森法的误差项含四阶导)、ODE 求解器的「阶数」都靠它。机器学习里把损失 在当前点做泰勒展开——只留一阶就是梯度下降,留到二阶(带 Hessian)就是牛顿法;余项的大小决定了二次近似是否可信、信赖域(trust region)该取多大。皮亚诺余项只说「比 高阶」,是定性的、用于求极限;拉格朗日余项能定量、用于估界与证明——分工正如本节所写。
两种余项别记混: 皮亚诺余项 只告诉你「剩下的部分很小」,适合求极限(配麦克劳林公式用);拉格朗日余项带一个 ,能算出误差到底多大,适合证明和估值。求高阶导数 的套路(如本节 求 )是:把函数展成幂级数,再让 项的系数等于 ,比硬求 6 次导省力得多。麦克劳林那 8 个展开式建议背熟——常用等价无穷小其实就是它们「只取第一项」。
泰勒展开
麦克劳林公式
当时为麦克劳林公式:
- 。
- 。
- 。
- 。
- 。
- 。
- 。
- 。
其中为佩亚诺余项,其非常小。
同样可以对泰勒展开式进行变形:,。
如:
泰勒公式计算
先写出的泰勒公式或麦克劳林公式,再通过比较系数来获得:
- 任何一个无穷阶可导的函数(在收敛的情况下)都可以写为: 或 。
- 给出的任意一个具体的无穷阶可导函数都可以通过已知的公式展开为幂级数。
- 而函数的展开式具有唯一性,比较步骤一步骤二的公式的系数就可以获取倒或。
例题:设,求。
解:①。
需要结果的导数阶数为6,所以最后得到的次数为6就可以了。
②(不要写,因为这里并不是趋向0的)。
③步骤一的抽象函数当时为,它应该与步骤二得到的的6阶项的系数相等。
。
展开幂的选择
泰勒公式展开时应该展开到多少次幂?
型,上下同阶
当分母或分子式的次幂那么应该把分母或分子展开到对应的次数幂。
如展开为三次:
型,幂次最高
将,分别展到他们系数不相等的的最高次幂为止。
如已知当时,与为等价无穷小,求,。
泰勒展开:
。
例题:求解。
解:首先由泰勒展开式,得到。
。
然后泰勒展开:
函数单调性与曲线凹凸性
函数单调性
定理:
- 函数在区间上连续,在内可导。
- 若内,且等号只有有限个点上成立,则在上单调增加。
- 若内,且等号只有有限个点上成立,则在上单调减少。
例题:证明时,。
证明:首先令,而。
,则在上递增。
在上,即。
令,而。
,则在上递增。
在上,即。
得证。
曲线凹凸性与拐点
定义:若函数在区间上连续,且对上任意两点恒有:
- ,则在上凹。
- ,则在上凸。
而当凹凸性发生改变的点就是拐点。
定理:
- 函数在区间上连续,在内二阶可导。
- 若内,则在上凹。
- 若内,则在上凸。
拐点的二阶导数等于0,或拐点在二阶导数不存在的点。
例题:证明凹凸性与二阶导数的关系。
证明:不妨先证明凹函数与二阶导数的关系。已知
不妨设,且。
。
「一阶导判单调、二阶导判凹凸」是连续优化的地基。 的符号 迭代是否在下降(梯度下降沿负梯度走,保证目标值单调减小);(多维里就是 Hessian 矩阵)刻画弯曲方向。注意一个术语错位:本书把 (开口向上)叫凹,而优化课里把它叫凸函数(convex)——指的是同一类函数。凸函数最大的好处是「局部最优即全局最优」,所以线性回归、逻辑回归、SVM、LASSO 这些凸优化问题能保证收敛到全局最优解;而一般神经网络是非凸的,只能找到局部极小。Hessian 的正定性与特征值还决定问题的条件数和收敛速度。拐点 凹凸切换、二阶信息变号的位置。
判性态的标准套路记牢: 求 , 单调增、 单调减;求 , 图像「开口向上」(本书叫凹)、「开口向下」(本书叫凸), 变号的点就是拐点。要提醒一个最容易踩的坑:本书的「凹/凸」命名和很多教材、和优化课里的「convex 凸函数」正好相反——这里 反而叫「凹」。别去死记名字,认准「二阶导为正 → 开口朝上」就不会错。记忆法:凹像盆子能盛水(对应最小值),凸像山顶(对应最大值)。
函数极值与最值
函数极值
极值定义:若,使
恒有,则在取极小值。
恒有,则在取极大值。
定理:(极值必要条件)
若在处可导,且处取得极值,则。
定理:(极值第一充分条件)
若在内可导,且或在连续。
- 若时,,时,则取得极大值。
- 若时,,时,则取得极小值。
- 若在处不变号,则无极值点。
定理:(极值第二充分条件)
若而且:
- 当,则在取极大值。
- 当,则在取极小值。
定理:(极值第三充分条件)
若在处阶可导,且,,则:
- 当为偶数时在取得极值。当,则在取极大值,当,则在取极小值。
- 当为奇数时在处无极值。
函数最值
连续函数闭区间最值
- 求出在内的驻点和不可导的点。
- 求出函数值与端点值。
- 比较求出最值。
最值应用题
- 建立目标函数并确定定义域。
- 求出驻点并计算值。
求极值/最值 = 最优化问题,是机器学习训练的本体。 的驻点 梯度为零的点(),梯度下降就是不断朝 方向挪、直到逼近驻点;极值第二充分条件用 的正负判极大极小 多维里用 Hessian 正定(极小)/ 负定(极大)/ 不定(鞍点 saddle point)来判别。深度学习的高维损失面上鞍点远多于局部极小,是优化的主要障碍。务必记住「驻点 极值点」( 也可能是鞍点或拐点),对应代码里不能只凭梯度归零就认定收敛到了最优。闭区间最值要把驻点、不可导点、端点一起比,这正对应带约束优化里「最优解可能落在可行域边界」(KKT、边界解)。
先分清极值和最值: 极值是局部概念(只跟附近邻域比,一个函数可以有好几个极大、极小值);最值是全局概念(整个区间上最大/最小,各最多一个)。求极值流程:先求 的驻点和 不存在的点,再用第一充分条件(看 在该点是否变号)或第二充分条件(看 正负)判定。求闭区间最值更省事:把所有驻点、不可导点的函数值,连同两个端点值 、 全算出来,最大的就是最大值、最小的就是最小值——千万别漏端点。易错点: 不一定是极值点(如 在 处)。
函数图像绘制
基本步骤
- 确定函数定义域,并考察其奇偶性与周期性。
- 求出一阶导数与二阶导数,并计算导数为0与不存在的点。
- 根据导数判断增减性与凹凸性,并求出极值与拐点。
- 求出渐近线。
- 确定另外的特殊点。
函数渐近线
- 若,那么就是水平渐近线。
- 若,那么就是垂直渐近线。
- 若,那么就是斜渐近线。
考的比较多的是斜渐进性,计算较复杂,如果能写成,为的高阶无穷小,则能快速得到斜渐进线。
渐近线描述「函数走向无穷时贴着哪条直线」,和算法的渐近复杂度是同一种思维。 大 记号 关心的正是 时运行时间「贴着哪条曲线增长」,常数和低阶项都丢掉——这恰好对应斜渐近线公式里 高阶无穷小被忽略。水平渐近线 耗时收敛到一个常数上界;求斜渐近线 时先取斜率 、再取截距 ,和复杂度分析「先定主项量级、再看系数」的步骤如出一辙。
渐近线就是图像「越来越靠近、(一般)不相交」的那条直线,三类找全即可: 水平( 时 ,得 )、垂直( 时 ,得 ,常在分母为 0 处)、斜(先 ,再 ,得 ; 存在且有限才有斜渐近线)。画函数图像的整套流程(定义域 → 奇偶周期 → 升降凹凸 → 渐近线 → 特殊点)就是把本章所有工具串起来的一次综合演练。
弧微分与曲率
弧微分
当偏移量无穷小时,所构成的线段就是一条直线,所以:
(弧微分)
对于弧微分:
- 若直角坐标系下,,即。
- 若参数方程下:,,即。
曲率
曲率定义:表明曲线在某一点的弯曲程度的数值,针对曲线上某个点的切线方向角对弧长的转动率,通过微分来定义,表明曲线偏离直线的程度。曲率越大,表示曲线的弯曲程度越大。
曲率的倒数就是曲率半径。
两点切线改变角相同时,弯曲程度与两点之间的弧长度成反比。
两点之间的弧长度相同时,弯曲程度与两点切线改变角成正比。
平均曲率:。
曲率:(为处切线与轴所成角)。
需要对曲率公式进行化简,得到与关于的表示。根据弧微分的定义:。
而对于:。
两边对求导:。
又。
。
定理:。
对于参数方程,。
曲率半径
为函数在点处的曲率圆,该圆与在处相切,切线为。
该点的曲率半径为,其中。
曲率 量化「曲线弯得多急」,曲率半径 是最贴合该点的圆的半径——这两者是计算机图形学和机器人学的日常工具。 CAD、字体、动画里的样条曲线常要求**曲率连续( 连续)**拼接才显得光滑不突兀;自动驾驶与机器人路径规划要限制路径曲率(车有最小转弯半径),并按曲率给速度上限。弧微分 则是数值计算弧长、渲染中累计路径长度的离散化基础。再往深看,「二阶导主导曲率」和优化里「Hessian 决定损失面的弯曲程度 / 条件数」是同一种二阶几何直觉。
这一节把「曲线弯曲程度」量化了。 弧微分 是曲线上一小段的真实长度,就是勾股定理 的极限版;曲率 越大越弯, 就是直线;曲率半径 是在该点「最贴合」的那个圆的半径——弯得越急、圆越小、 越小。公式里分子是 (二阶导管弯曲),分母 做修正。记一个验算口诀:直线 曲率为 ,要是你的公式算直线不为 0 就一定记错了。