基于最大似然学习分类分布参数

最近在看计算机视觉：模型学习与推理。第四章使用最大似然方法学习分类分布概率参数。

$$\mathrm{Pr}\left(x=k|{\lambda }_{1\dots K}\right)={\lambda }_k$$

我这里使用C++标准库的Poisson分布生成数据，然后用最大似然方法去估计分布参数。 这里设置的Poisson分布的超参数是4 代码如下：

vector<int> generate_categorical_distribution_data(int number) { vector<int> data; std::random_device rd{}; std::mt19937 gen{ rd() }; std::poisson_distribution<> d(4); for (int i = 0; i < number; i++) { data.push_back(d(gen)); } return data; }

$$\begin{array}{rlrl}{\hat{\lambda }}_{1\dots k}& =\underset{{\lambda }_{1\dots k}}{\mathrm{argmax}}\left[\prod _{i=1}^I\mathrm{Pr}\left(x_i|{\lambda }_{1\dots k}\right)\right]& & \text{ s.t. }\sum _k{\lambda }_k=1\\ & =\underset{{\lambda }_1\dots ,k}{\mathrm{argmax}}\left[\prod _{i=1}^I{\mathrm{Cat}}_{x_i}\left[{\lambda }_{1\dots k}\right]\right]& & \text{ s.t. }\sum _k{\lambda }_k=1\\ & =\underset{{\lambda }_1\dots ,k}{\mathrm{argmax}}\left[\prod _{k=1}^k{\lambda }_k^{N_k}\right]& & \text{ s.t. }\sum _k{\lambda }_k=1\end{array}$$

这里泊松分布产生的是整数从0开的的分布，在数据集中产生多少种数字就给出对应的概率。

推导过程还是使用最大似然估计的对数化求导数技巧： $$L=\sum _{k=1}^k{N}_k\log \left[{\lambda }_k\right]+\nu \left(\sum _{k=1}^k{\lambda }_k-1\right)$$ 结果如下：

$${\hat{\lambda }}_k=\frac{N_k}{{\sum }_{m=1}^k{N}_m}$$

算法流程如下：

$$\begin{array}{l}\text{ Input : Multi-valued training data }{\left\{x_i\right\}}_{i=1}^I\\ \text{ Output: ML estimate of categorical parameters }\mathbf{\theta }=\left\{{\lambda }_1\dots {\lambda }_k\right\}\\ \text{ begin }\\ \text{ for }k=1\text{ to }K\text{ do }\\ \begin{array}{l}{\lambda }_k={\sum }_{i=1}^I\delta \left[{\mathbf{x}}_i-k\right]/I\\ \text{ end }\end{array}\end{array}$$

这部分学习的代码如下：

void max_likelihood_categorical_distribution_parameters() { vector<int> data; data = generate_categorical_distribution_data(1000); //data is poisson distribution std::map<int, double> hist{}; for (int i = 0; i < data.size(); i++) { ++hist[data[i]]; } double total_p = 0; for (int i = 0; i < hist.size(); i++) { hist.at(i) = hist.at(i) / data.size(); total_p += hist.at(i); std::cout << hist.at(i) << std::endl; } std::cout << "total_p: " << total_p << std::endl; }

在map结构的hist中存储的就是数据的最大似然分布。