TensorFlow代码 https://github.com/eragonruan/text-detection-ctpn
训练 main/train.py
1. utils/prepare/split_label.py
- 缩放图片resize image(长宽 最大1200，最小600)
- label处理 将大矩形框label划分一个个16*16的小矩形
2. 输入
- input_image 原图像 [[1, H, W, 3]]
- bbox(GT) [[x_min, y_min, x_max, y_max, 1], […], …]
- im_info(GT) 图像的高，宽，通道(二维ndarray) [[h,w,c]]
3. 模型 model_train.py -> model()
- 图像去均值 mean_image_subtraction(均值设为means=[123.68, 116.78, 103.94])
- 输入到 VGG16, conv5 -> [N, H/16, W/16, 512]
- conv2d -> [N, H/16, W/16, 512]
- BLSTM -> [N, H/16, W/16, 512]
- FC -> bbox_pred + cls_pred + cls_prob-> [N, H/16, W/16, 410] + [N, H/16, W/16, 2x10] + [N, H/16, W/16, 210]
4. 损失 model_train.py -> loss()
- 生成anchor分类标签和bounding-box回归目标 anchor_target_layer()
- 输入: cls_pred, bbox(GT), im_info(GT)
- 返回: [rpn_labels, rpn_bbox_targets, rpn_bbox_inside_weights, rpn_bbox_outside_weights]
- 方法:
- 生成基本的anchor(10个),每个anchor对应的四个坐标 [x_min, y_min, x_max, y_max] -> heights = [11, 16, 23, 33, 48, 68, 97, 139, 198, 283] widths = [16]
- 生成所有的anchor(H/16xW/16x10): 生成feature-map和真实image上anchor之间的偏移量
- 仅保留那些还在图像内部的anchor，超出图像的都删掉
- rpn_labels 生成标签(>0.7或者最大的为正标签,<0.3的为负标签),限制标签的数量(总共256个) (先给正的上标签还是先给负的上标签?)
- rpn_bbox_targets 根据anchor和gtbox计算得真值（anchor和gtbox之间的偏差）
- 把超出图像范围的anchor再加回来
- 计算分类损失
-
rpn_cross_entropy_n = tf.nn.sparse_softmax_cross_entropy_with_logits(labels=rpn_label, logits=rpn_cls_score)
rpn_cross_entropy = tf.reduce_mean(rpn_cross_entropy_n)
- 计算回归损失
-
rpn_loss_box_n = tf.reduce_sum(rpn_bbox_outside_weights * smooth_l1_dist(rpn_bbox_inside_weights * (rpn_bbox_pred - rpn_bbox_targets)), reduction_indices=[1])
rpn_loss_box = tf.reduce_sum(rpn_loss_box_n) / (tf.reduce_sum(tf.cast(fg_keep, tf.float32)) + 1)
- 计算正则损失
- regularization_losses = tf.get_collection(tf.GraphKeys.REGULARIZATION_LOSSES)
- 模型损失
- model_loss = rpn_cross_entropy + rpn_loss_box
- 总损失
- total_loss = tf.add_n(regularization_losses) + model_loss
5. AdamOptimizer() 回归损失
预测 main/demo.py
1. 输入
- input_image [1, H, W, 3]
- input_im_info [[H, W, C]]
2. 缩放图片:600x1200
3. 使用训练好的模型得出 bbox_pred, cls_pred, cls_prob
4. proposal_layer() 生成propsal
- 输入:cls_prob, bbox_pred, im_info
- 返回:textsegs (1 x H x W x A, 5) e.g. [0, x1, y1, x2, y2]
-
方法:
生成基本的anchor
生成整张图像所有的anchor
根据anchor和bbox_pred,做逆变换,得到box在图像上的真实坐标
将所有的proposal修建一下，超出图像范围的将会被修剪掉
移除高度或宽度小于阈值的proposal
根据分数排序所有的proposal, 进行nms
输出所有proposal以及分数
5. TextDetector() 文本检测
- 输入: textsegs, score[:, np.newaxis], im_info[:2]
- 输出: 文本行坐标
- 方法:
- 删除得分较低的proposal, 阈值0.7
- 按得分排序
- 对proposal做nms
- 文本行的构建(两种方式：水平矩形框和有角度的矩形框)
- textdetector = TextDetector(DETECT_MODE=‘O’) # DETECT_MODE可以是’O’或者’H’
- 输出[xmin, ymin, xmax, ymin, xmax, ymax, xmin, ymax, score]
疑问以及代码问题：
2. rpn_bbox_outside_weights和rpn_bbox_inside_weights用来做什么的
CTPN中只需要回归proposal的y, h，而bbox_pred的输出为x, y, w, h，所以设置inside_weights=[0, 1, 0, 1]只计算y和h的损失; outside_weights来控制哪些样本参与计算回归损失
4. 代码中 config.py 中应该为 RPN_BBOX_INSIDE_WEIGHTS = (0.0, 1.0, 0.0, 1.0)
参考转载：https://blog.csdn.net/m0_38007695/article/details/88699219
CTPN-自然文本场景检测代码阅读笔记
原文：https://www.cnblogs.com/lzq116/p/11933625.html
