在统计学中,极大似然估计(Maximum Likelihood Estimation, MLE)是一种常用的方法,用于根据观测数据来估计未知参数。这种方法的核心思想是找到使得观测数据出现概率最大的参数值。下面我们通过一个简单的例子来理解极大似然估计的应用。
假设我们有一枚硬币,但不知道这枚硬币是否均匀。也就是说,我们不知道抛掷这枚硬币时正面朝上的概率是多少。为了估计这个概率,我们可以进行多次实验,记录下每次抛掷的结果。例如,我们进行了10次抛掷,得到了以下结果:正面(H)、反面(T)、正面、正面、反面、正面、正面、反面、正面、正面。
我们的目标是通过这些观测数据来估计硬币正面朝上的概率θ。在这个问题中,我们假设每次抛掷是独立同分布的(i.i.d.),并且每次抛掷的结果服从伯努利分布。
首先,写出似然函数。对于伯努利分布,概率质量函数为:
\[ P(X = x | \theta) = \theta^x (1-\theta)^{1-x} \]
其中 \( X \) 是随机变量,表示抛掷的结果(0或1),\( x \) 是具体的观测值,\( \theta \) 是我们要估计的概率。
在这次实验中,我们得到了7个正面和3个反面的结果。因此,似然函数可以写成:
\[ L(\theta) = \prod_{i=1}^{n} P(X_i | \theta) = \theta^7 (1-\theta)^3 \]
接下来,我们需要最大化这个似然函数。通常情况下,直接对似然函数求导比较复杂,因此我们取对数,得到对数似然函数:
\[ \ell(\theta) = 7 \ln(\theta) + 3 \ln(1-\theta) \]
为了找到使对数似然函数最大的\(\theta\),我们对其求导并令导数等于零:
\[ \frac{d\ell}{d\theta} = \frac{7}{\theta} - \frac{3}{1-\theta} = 0 \]
解这个方程,我们得到:
\[ \frac{7}{\theta} = \frac{3}{1-\theta} \]
交叉相乘后得到:
\[ 7(1-\theta) = 3\theta \]
展开并整理得:
\[ 7 - 7\theta = 3\theta \]
\[ 7 = 10\theta \]
\[ \theta = 0.7 \]
因此,根据极大似然估计法,我们得出这枚硬币正面朝上的概率约为0.7。
总结来说,极大似然估计是一种强大的工具,可以帮助我们在给定观测数据的情况下估计模型参数。通过构造似然函数并寻找其最大值,我们可以得到最有可能产生观测数据的参数值。上述例子展示了如何应用极大似然估计来解决实际问题。