计算机视觉——P2PNet基于点估计的人群计数原理与C++模型推理-编程知识

简介

人群计数是计算机视觉领域的一个核心任务，旨在估算静止图像或视频帧中的行人数量。在过去几十年中，研究人员在这个领域投入了大量的精力，并在提高现有主流基准数据集性能方面取得了显著进展。然而，训练卷积神经网络需要大规模且高质量的标记数据集，而标记像素级别的行人位置成本昂贵，令人望而却步。

此外，由于数据分布之间存在领域转移，即在标签丰富的数据领域（源领域）上训练的模型无法很好地泛化到另一个标签稀缺的数据领域（目标领域），这严重限制了现有方法的实际应用。

《Rethinking Counting and Localization in Crowds: A Purely Point-Based Framework》提出了一个全新的基于点的框架，可以同时用于人群计数和个体定位。与传统的基于定位的方法不同，该框架完全依赖于点级别的表示，避免了中间表示（如密度图或伪目标框）可能引入的误差，并提出了一种新的性能评价指标，称为密度归一化平均精度，以更全面、更准确地评估模型性能。

研究团队还提出了一个名为点对点网络（P2PNet）的示例模型，该模型直接预测一系列人头点的集合来定位图像中的人群个体，避免了冗余步骤，并实现了与真实人工标注一致的定位。通过深入分析，研究者发现了实现该方法的核心策略，即为预测的候选点分配最优的学习目标，并通过基于匈牙利算法的一对一匹配策略来实现。实验证明，P2PNet在人群计数基准上显著超越了现有的最先进方法，并取得了非常高的定位精度。
在这里插入图片描述

网络结构

在这里插入图片描述
P2PNet的网络结构并不复杂。它建立在VGG16的基础上，并引入了一个上采样路径来获取细粒度的深度特征图，类似于特征金字塔网络（FPN）。然后，它利用两个分支来同时预测一组点及其置信度分数。在我们的流程中，关键步骤是确保预测点和真实点之间的一对一匹配，这决定了这些预测点的学习目标。

预测

在这里插入图片描述
Point proposals的初始化有两种方式，一种是全部初始化在中心点，另一种是网格式分布。Feature Map上的一个pixel对应着原图上的一个patch(sxs)，并在这上面初始化K个Point proposal。

这些point proposals的坐标加上回归头分支得到的偏置就可以得到预测点的坐标。

匹配与损失计算

在这里插入图片描述
预测点与真实点之间的匹配用的是匈牙利算法，代价矩阵的计算方式如上图，它是坐标偏差与置信度分数的一个综合的考量。

分类损失函数是交叉熵损失，回归损失函数是欧氏距离。

在这里插入图片描述
文章还提出了一种新的度量指标nAP。nAP是根据平均精度计算出来的，平均精度是精度-召回率(PR)曲线下的面积。具体来说，给定所有预测的头部点ˆP，我们首先将其置信度得分从高到低进行排序。然后，根据预定义的密度感知标准，依次确定所调查的点是TP或FP。密度感知标准如上左图所示。

实验结果

在这里插入图片描述
研究者考虑了从ShanghaiTech Part A到Trancos的实验，如上表所示。显然，所提出的方法比现有的适应方法提高了2.9%。

由双重鉴别器生成的不同级别（分别为像素、补丁像素、补丁、图像）级别分数的可视化。图中的正方形代表一个标量。注意白色方块代表1，黑色方块代表0。

实现代码

训练代码可以参考：https://github.com/TencentYoutuResearch/CrowdCounting-P2PNet

推理代码可以参考下面的代码：

#include <sstream>
#include <iostream>
#include <opencv2/opencv.hpp>
#include <opencv2/dnn.hpp>using namespace cv;
using namespace dnn;
using namespace std;struct CrowdPoint
{cv::Point pt;float prob;
};static void shift(int w, int h, int stride, vector<float> anchor_points, vector<float>& shifted_anchor_points)
{vector<float> x_, y_;for (int i = 0; i < w; i++){float x = (i + 0.5) * stride;x_.push_back(x);}for (int i = 0; i < h; i++){float y = (i + 0.5) * stride;y_.push_back(y);}vector<float> shift_x((size_t)w * h, 0), shift_y((size_t)w * h, 0);for (int i = 0; i < h; i++){for (int j = 0; j < w; j++){shift_x[i * w + j] = x_[j];}}for (int i = 0; i < h; i++){for (int j = 0; j < w; j++){shift_y[i * w + j] = y_[i];}}vector<float> shifts((size_t)w * h * 2, 0);for (int i = 0; i < w * h; i++){shifts[i * 2] = shift_x[i];shifts[i * 2 + 1] = shift_y[i];}shifted_anchor_points.resize((size_t)2 * w * h * anchor_points.size() / 2, 0);for (int i = 0; i < w * h; i++){for (int j = 0; j < anchor_points.size() / 2; j++){float x = anchor_points[j * 2] + shifts[i * 2];float y = anchor_points[j * 2 + 1] + shifts[i * 2 + 1];shifted_anchor_points[i * anchor_points.size() / 2 * 2 + j * 2] = x;shifted_anchor_points[i * anchor_points.size() / 2 * 2 + j * 2 + 1] = y;}}
}
static void generate_anchor_points(int stride, int row, int line, vector<float>& anchor_points)
{float row_step = (float)stride / row;float line_step = (float)stride / line;vector<float> x_, y_;for (int i = 1; i < line + 1; i++){float x = (i - 0.5) * line_step - stride / 2;x_.push_back(x);}for (int i = 1; i < row + 1; i++){float y = (i - 0.5) * row_step - stride / 2;y_.push_back(y);}vector<float> shift_x((size_t)row * line, 0), shift_y((size_t)row * line, 0);for (int i = 0; i < row; i++){for (int j = 0; j < line; j++){shift_x[i * line + j] = x_[j];}}for (int i = 0; i < row; i++){for (int j = 0; j < line; j++){shift_y[i * line + j] = y_[i];}}anchor_points.resize((size_t)row * line * 2, 0);for (int i = 0; i < row * line; i++){float x = shift_x[i];float y = shift_y[i];anchor_points[i * 2] = x;anchor_points[i * 2 + 1] = y;}
}
static void generate_anchor_points(int img_w, int img_h, vector<int> pyramid_levels, int row, int line, vector<float>& all_anchor_points)
{vector<pair<int, int> > image_shapes;vector<int> strides;for (int i = 0; i < pyramid_levels.size(); i++){int new_h = floor((img_h + pow(2, pyramid_levels[i]) - 1) / pow(2, pyramid_levels[i]));int new_w = floor((img_w + pow(2, pyramid_levels[i]) - 1) / pow(2, pyramid_levels[i]));image_shapes.push_back(make_pair(new_w, new_h));strides.push_back(pow(2, pyramid_levels[i]));}all_anchor_points.clear();for (int i = 0; i < pyramid_levels.size(); i++){vector<float> anchor_points;generate_anchor_points(pow(2, pyramid_levels[i]), row, line, anchor_points);vector<float> shifted_anchor_points;shift(image_shapes[i].first, image_shapes[i].second, strides[i], anchor_points, shifted_anchor_points);all_anchor_points.insert(all_anchor_points.end(), shifted_anchor_points.begin(), shifted_anchor_points.end());}
}class P2PNet
{
public:P2PNet(const float confThreshold = 0.5){this->confThreshold = confThreshold;this->net = readNet("SHTechA.onnx");}void detect(Mat& frame);
private:float confThreshold;Net net;Mat preprocess(Mat srcimgt);const float mean[3] = { 0.485, 0.456, 0.406 };const float std[3] = { 0.229, 0.224, 0.225 };vector<String> output_names = { "pred_logits", "pred_points" };
};Mat P2PNet::preprocess(Mat srcimg)
{int srch = srcimg.rows, srcw = srcimg.cols;int new_width = srcw / 128 * 128;int new_height = srch / 128 * 128;Mat dstimg;cvtColor(srcimg, dstimg, cv::COLOR_BGR2RGB);resize(dstimg, dstimg, Size(new_width, new_height), INTER_AREA);dstimg.convertTo(dstimg, CV_32F);int i = 0, j = 0;for (i = 0; i < dstimg.rows; i++){float* pdata = (float*)(dstimg.data + i * dstimg.step);for (j = 0; j < dstimg.cols; j++){pdata[0] = (pdata[0] / 255.0 - this->mean[0]) / this->std[0];pdata[1] = (pdata[1] / 255.0 - this->mean[1]) / this->std[1];pdata[2] = (pdata[2] / 255.0 - this->mean[2]) / this->std[2];pdata += 3;}}return dstimg;
}void P2PNet::detect(Mat& frame)
{const int width = frame.cols;const int height = frame.rows;Mat img = this->preprocess(frame);const int new_width = img.cols;const int new_height = img.rows;Mat blob = blobFromImage(img);this->net.setInput(blob);vector<Mat> outs;//this->net.forward(outs, this->net.getUnconnectedOutLayersNames());this->net.forward(outs, output_names);vector<int> pyramid_levels(1, 3);vector<float> all_anchor_points;generate_anchor_points(img.cols, img.rows, pyramid_levels, 2, 2, all_anchor_points);const int num_proposal = outs[0].cols;int i = 0;float* pscore = (float*)outs[0].data;float* pcoord = (float*)outs[1].data;vector<CrowdPoint> crowd_points;for (i = 0; i < num_proposal; i++){if (pscore[i] > this->confThreshold){float x = (pcoord[i] + all_anchor_points[i * 2]) / (float)new_width * (float)width;float y = (pcoord[i + 1] + all_anchor_points[i * 2 + 1]) / (float)new_height * (float)height;crowd_points.push_back({ Point(int(x), int(y)), pscore[i] });}pcoord += 2;}cout << "have " << crowd_points.size() << " people" << endl;for (i = 0; i < crowd_points.size(); i++){cv::circle(frame, crowd_points[i].pt, 2, cv::Scalar(0, 0, 255), -1, 8, 0);}
}int main()
{P2PNet net(0.3);string imgpath = "2.jpeg";Mat srcimg = imread(imgpath);net.detect(srcimg);static const string kWinName = "dst";namedWindow(kWinName, WINDOW_NORMAL);imshow(kWinName, srcimg);waitKey(0);destroyAllWindows();
}