本文目录
- detection基本知识介绍（一）---模型架构
- 深度学习先分割再分类可以增加准确率吗
- 用于图像分割的CNN
- 基于深度学习的图像分割中的模型训练globalcorrect
- 分割原理体现出了为解决物理矛盾而进行的什么分离
detection基本知识介绍（一）---模型架构
如何从图像中解析出可供计算机理解的信息，是机器视觉的中心问题。深度学习模型由于其强大的表示能力，加之数据量的积累和计算力的进步，成为机器视觉的热点研究方向。 那么，如何理解一张图片？根据后续任务的需要，有三个主要的层次。 一是分类（Classification），即是将图像结构化为某一类别的信息，用事先确定好的类别(string)或实例ID来描述图片。这一任务是最简单、最基础的图像理解任务，也是深度学习模型最先取得突破和实现大规模应用的任务。其中，ImageNet是最权威的评测集，每年的ILSVRC催生了大量的优秀深度网络结构，为其他任务提供了基础。在应用领域，人脸、场景的识别等都可以归为分类任务。 二是检测（Detection）。分类任务关心整体，给出的是整张图片的内容描述，而检测则关注特定的物体目标，要求同时获得这一目标的类别信息和位置信息。相比分类，检测给出的是对图片前景和背景的理解，我们需要从背景中分离出感兴趣的目标，并确定这一目标的描述（类别和位置），因而，检测模型的输出是一个列表，列表的每一项使用一个数据组给出检出目标的类别和位置（常用矩形检测框的坐标表示）。 三是分割（Segmentation）。分割包括语义分割（semantic segmentation）和实例分割（instance segmentation），前者是对前背景分离的拓展，要求分离开具有不同语义的图像部分，而后者是检测任务的拓展，要求描述出目标的轮廓（相比检测框更为精细）。分割是对图像的像素级描述，它赋予每个像素类别（实例）意义，适用于理解要求较高的场景，如无人驾驶中对道路和非道路的分割。 两阶段模型因其对图片的两阶段处理得名，也称为基于区域（Region-based）的方法，我们选取R-CNN系列工作作为这一类型的代表。 本文的两大贡献：1）CNN可用于基于区域的定位和分割物体；2）监督训练样本数紧缺时，在额外的数据上预训练的模型经过fine-tuning可以取得很好的效果。第一个贡献影响了之后几乎所有2-stage方法，而第二个贡献中用分类任务（Imagenet）中训练好的模型作为基网络，在检测问题上fine-tuning的做法也在之后的工作中一直沿用。 传统的计算机视觉方法常用精心设计的手工特征(如SIFT, HOG)描述图像，而深度学习的方法则倡导习得特征，从图像分类任务的经验来看，CNN网络自动习得的特征取得的效果已经超出了手工设计的特征。本篇在局部区域应用卷积网络，以发挥卷积网络学习高质量特征的能力。 R-CNN将检测抽象为两个过程，一是基于图片提出若干可能包含物体的区域（即图片的局部裁剪，被称为Region Proposal），文中使用的是Selective Search算法；二是在提出的这些区域上运行当时表现最好的分类网络（AlexNet），得到每个区域内物体的类别。 另外，文章中的两个做法值得注意。 一是数据的准备。输入CNN前，我们需要根据Ground Truth对提出的Region Proposal进行标记，这里使用的指标是IoU（Intersection over Union，交并比）。IoU计算了两个区域之交的面积跟它们之并的比，描述了两个区域的重合程度。 文章中特别提到，IoU阈值的选择对结果影响显著，这里要谈两个threshold，一个用来识别正样本（如跟ground truth的IoU大于0.5），另一个用来标记负样本（即背景类，如IoU小于0.1），而介于两者之间的则为难例（Hard Negatives），若标为正类，则包含了过多的背景信息，反之又包含了要检测物体的特征，因而这些Proposal便被忽略掉。 另一点是位置坐标的回归（Bounding-Box Regression），这一过程是Region Proposal向Ground Truth调整，实现时加入了log/exp变换来使损失保持在合理的量级上，可以看做一种标准化（Normalization)操作。 R-CNN的想法直接明了，即将检测任务转化为区域上的分类任务，是深度学习方法在检测任务上的试水。模型本身存在的问题也很多，如需要训练三个不同的模型（proposal, classification, regression）、重复计算过多导致的性能问题等。尽管如此，这篇论文的很多做法仍然广泛地影响着检测任务上的深度模型革命，后续的很多工作也都是针对改进这一工作而展开，此篇可以称得上"The First Paper"。 文章指出R-CNN耗时的原因是CNN是在每一个Proposal上单独进行的，没有共享计算，便提出将基础网络在图片整体上运行完毕后，再传入R-CNN子网络，共享了大部分计算，故有Fast之名。 上图是Fast R-CNN的架构。图片经过feature extractor得到feature map, 同时在原图上运行Selective Search算法并将RoI（Region of Interset，实为坐标组，可与Region Proposal混用）映射到到feature map上，再对每个RoI进行RoI Pooling操作便得到等长的feature vector，将这些得到的feature vector进行正负样本的整理（保持一定的正负样本比例），分batch传入并行的R-CNN子网络，同时进行分类和回归，并将两者的损失统一起来。 文章最后的讨论也有一定的借鉴意义： Fast R-CNN的这一结构正是检测任务主流2-stage方法所采用的元结构的雏形。文章将Proposal, Feature Extractor, Object Classification&Localization统一在一个整体的结构中，并通过共享卷积计算提高特征利用效率，是最有贡献的地方。 Faster R-CNN是2-stage方法的奠基性工作，提出的RPN网络取代Selective Search算法使得检测任务可以由神经网络端到端地完成。粗略的讲，Faster R-CNN = RPN + Fast R-CNN，跟RCNN共享卷积计算的特性使得RPN引入的计算量很小，使得Faster R-CNN可以在单个GPU上以5fps的速度运行，而在精度方面达到SOTA（State of the Art，当前最佳）。 本文的主要贡献是提出Regional Proposal Networks，替代之前的SS算法。RPN网络将Proposal这一任务建模为二分类（是否为物体）的问题。 第一步是在一个滑动窗口上生成不同大小和长宽比例的anchor box（如上图右边部分），取定IoU的阈值，按Ground Truth标定这些anchor box的正负。于是，传入RPN网络的样本数据被整理为anchor box（坐标）和每个anchor box是否有物体（二分类标签）。RPN网络将每个样本映射为一个概率值和四个坐标值，概率值反应这个anchor box有物体的概率，四个坐标值用于回归定义物体的位置。最后将二分类和坐标回归的损失统一起来，作为RPN网络的目标训练。 由RPN得到Region Proposal在根据概率值筛选后经过类似的标记过程，被传入R-CNN子网络，进行多分类和坐标回归，同样用多任务损失将二者的损失联合。 Faster R-CNN的成功之处在于用RPN网络完成了检测任务的"深度化"。使用滑动窗口生成anchor box的思想也在后来的工作中越来越多地被采用（YOLO v2等）。这项工作奠定了"RPN+RCNN"的两阶段方法元结构，影响了大部分后续工作。 单阶段模型没有中间的区域检出过程，直接从图片获得预测结果，也被成为Region-free方法。 YOLO是单阶段方法的开山之作。它将检测任务表述成一个统一的、端到端的回归问题，并且以只处理一次图片同时得到位置和分类而得名。 YOLO的主要优点： 1.准备数据：将图片缩放，划分为等分的网格，每个网格按跟Ground Truth的IoU分配到所要预测的样本。 2.卷积网络：由GoogLeNet更改而来，每个网格对每个类别预测一个条件概率值，并在网格基础上生成B个box，每个box预测五个回归值，四个表征位置，第五个表征这个box含有物体（注意不是某一类物体）的概率和位置的准确程度（由IoU表示）。测试时，分数如下计算： 等式左边第一项由网格预测，后两项由每个box预测，以条件概率的方式得到每个box含有不同类别物体的分数。 因而，卷积网络共输出的预测值个数为S×S×(B×5+C)，其中S为网格数，B为每个网格生成box个数，C为类别数。 3.后处理：使用NMS（Non-Maximum Suppression，非极大抑制）过滤得到最后的预测框 损失函数被分为三部分：坐标误差、物体误差、类别误差。为了平衡类别不均衡和大小物体等带来的影响，损失函数中添加了权重并将长宽取根号。 YOLO提出了单阶段的新思路，相比两阶段方法，其速度优势明显，实时的特性令人印象深刻。但YOLO本身也存在一些问题，如划分网格较为粗糙，每个网格生成的box个数等限制了对小尺度物体和相近物体的检测。 SSD相比YOLO有以下突出的特点： SSD是单阶段模型早期的集大成者，达到跟接近两阶段模型精度的同时，拥有比两阶段模型快一个数量级的速度。后续的单阶段模型工作大多基于SSD改进展开。 最后，我们对检测模型的基本特征做一个简单的归纳。 检测模型整体上由基础网络（Backbone Network）和检测头部（Detection Head）构成。前者作为特征提取器，给出图像不同大小、不同抽象层次的表示；后者则依据这些表示和监督信息学习类别和位置关联。检测头部负责的类别预测和位置回归两个任务常常是并行进行的，构成多任务的损失进行联合训练。 另一方面，单阶段模型只有一次类别预测和位置回归，卷积运算的共享程度更高，拥有更快的速度和更小的内存占用。读者将会在接下来的文章中看到，两种类型的模型也在互相吸收彼此的优点，这也使得两者的界限更为模糊。
深度学习先分割再分类可以增加准确率吗
深度学习先分割再分类可以增加准确率：1、计算机视觉主要问题有图像分类、目标检测和图像分割等。2、针对图像分类任务，提升准确率的方法路线有两条，一个是模型的修改，另一个是各种数据处理和训练的技巧。3、图像分类中的各种技巧对于目标检测、图像分割等任务也有很好的作用，值得好好总结。
用于图像分割的CNN
姓名：闫伟 学号：15020150038 【嵌牛导读】：在计算机视觉领域，图像分割指的是为图像中的每个像素分配一个标签的任务，它也可以被看作是dense prediction task，对图像中每个像素进行分类。和使用矩形候选框的目标检测不同，图像分割需要精确到像素级位置，因此它在医学分析、卫星图像物体检测、虹膜识别和自动驾驶汽车等任务中起着非常重要的作用。 【嵌牛鼻子】：图像分割 CNN 语义分割 【嵌牛提问】：如何利用CNN对图像进行分割? 【嵌牛正文】： 随着深度学习的不断发展，近年来图像分割技术也在速度和准确率上迎来了一次次突破。现在，我们能在几分之一秒内完成分割，同时保证极高的准确性。在这篇文章中，我们将介绍一些用于图像分割的主要技术及其背后的简单思路。我们将从最基础的语义分割（semantic segmentation）开始，慢慢进阶到更复杂的实例分割（instance segmentation）。 目标检测、语义分割和实例分割 语义分割 语义图像分割是为图像中的每个像素分配语义类别标签的任务，它不分割对象实例。现在，处理这类任务的主流方法是FCN及其衍生，所以我们先从FCN看起。 全卷积网络（FCN） FCN架构 创建FCN的方法很简单，我们只需把CNN里的所有全连接层替换成宽高1×1的卷积层，这时卷积层的filter数量等于全连接层的神经元（输出）数量，所有层都是卷积层，故称全卷积网络。之所以要这么做，是因为每个像素的空间位置对于分割来说都很重要，而卷积层能分类全连接层无法处理的单个像素。作为处理结果，神经网络较高层中的位置会对应于它们路径连接的图像中的位置，即它们的感受野。 如上图所示，FCN的架构非常简单，主要由编码器CNN（以VGG为例）构成，只不过其中和分类网络对应的最后三层被改成了(4096,1,1)(4096,1,1)(N+1,1,1)的卷积层（N表示类别数量）。编码器后是一个解码器网络，它只包含一个反向的卷积层（也称为转置卷积transposed convolution或反卷积deconvolution）。它的输出与输入图像具有相同的空间维度，并具有N+1个通道，每个通道预测一个类别。 反向的卷积操作 仍以VGG为例，由于前面采样部分过大，有时候会导致后面进行反向卷积操作得到的结果分辨率较低，会出现细节丢失等问题。为此，FCN的解决方法是叠加第三、四、五层池化层的特征，以生成更精准的边界分割。如下图所示： 需要注意的一点是，在进行上采样之前，所有池化特征都会先通过(N+1,1,1)这个卷积层。 FCN分割效果 U-NET U-NET架构 U-NET常被用于生物医学图像分割，它遵循了FCN的编码器-解码器结构，不使用任何全连接层。如上图所示，常规情况下，U-NET的编码器是一个包含10个卷积层的CNN，中间包含最大池化层（红色箭头）。它的解码器会对feature map进行多次上采样和卷积，目的是为了提取更高效、更抽象的特征。得到heatmap后，U-NET最后再用1×1的卷积层做分类，也就是说解码器一共有13层，整个架构总共由23层可学习的卷积层组成。 为什么要做上采样？ 答：池化层会丢失图像信息和降低图像分辨率且是不可逆的操作，对图像分割任务有一些影响。上采样可以补足一些图片的信息，但是信息补充的肯定不完全，所以还需要与左边的分辨率比较高的图片相连接起来（直接复制过来再裁剪到与上采样图片一样大小），这就相当于在高分辨率和更抽象特征当中做一个折衷，因为随着卷积次数增多，提取的特征也更加有效，更加抽象。—— jianyuchen23 SEGNET SegNet架构 SegNet的全称是“用于图像分割的深度卷积编码器-解码器架构”，事实上，大多数语义分割方法都遵循这种基本架构，它们的编码器都是用VGG16，解码器都仿照U-NET——多次上采样后再卷积。但是，SegNet有自己独到的特点： 上采样是不可学习的 解码器使用和编码器相同的卷积（filter大小和相应层的通道数量） SegNet中的上采样是一种反向最大池化操作。为了补足图像信息，U-NET会对编码阶段的特征做通道降维，再把它和特征反向卷积后得到上采样进行相加，这一过程需要学习。而SegNet采用的方法是记录下编码阶段的最大池化index，比如在某层移动2×2的最大池化窗口时最高值像素的位置，然后把这个index用于解码阶段的上采样。空白的值用0填充： SegNet上采样 在这个稀疏feature map进行正常卷积后，我们就能得到密集feature map。因此相比较FCN，SegNet的内存利用率更高，计算效率也更高。 需要注意的是，一般来说，解码器每一层的输入通道数和feature map大小都与其对应的编码器相同，但第一层不是。编码器的第一层都3个输入通道（RGB），但解码器第一层有更多通道，这是为了给每个类别生成分割掩膜。 用SegNet进行道路场景分割 实例分割 所谓实例分割，指的就是结合了语义分割和分类的任务。它在本质上更复杂，因为为了区分同一类的不同实例，我们往往需要为每个独立对象创建单独的、缩小的掩膜，然后再把它的大小调整为输入图像中对象的大小。 下面是实例分割的一些常用方法。 DEEPMASK DeepMask架构 DeepMask是FAIR于2015年提出的一种实例分割方法，输入一张图片后，它能为子图像块（image patch）中的对象生成56×56的分割掩膜，并以掩膜为中心进行分类。对于图像的子图像块，它有两个约束： 子图像块中必须包含一个大致居中的对象 这个对象必须被完整包含在子图像块中，且在给定的比例范围内 由于DeepMask一次只能为子图像块分割一个对象，当它处理包含复杂、重复对象的图像时，它会在多个位置以多个比例密集应用。鉴于以上两个约束条件，这是可以理解的，也是必要的。 整个模型由VGG-A构成，它保留了两个全连接层，但删去了最后一个最大池化层，共有8个卷积层和4个池化层。模型输出的下采样因子为16，共有2个输出，一是子图像块对应物体的一个掩膜，二是这个子图像块包含一个物体的得分。 DeepMask分割效果 Multi-task Network Cascades(MNC) MNC架构，右上为简化原理图 MNC不直接进行实例分割，它把这个任务分成了三个更小、更简单的子任务： 区分实例。这个子任务的目标是为每个实例预测候选框和候选框是否包含对象的概率； 估计掩膜。这个子任务的目标是预测对象的像素级掩膜； 对对象进行分类。这个子任务的目标是为每个掩膜级实例预测类别标签。 这三个子任务不是并行执行的，它们要按照顺序一个个完成，这也是MNC的全称“多任务网络级联”的原因。模型用移除了所有全连接层的VGG-16处理输入图像，生成feature map，作为三个子任务的共用数据。 子任务1：预测实例候选框 首先，神经网络以窗口的形式提取对象实例，这些候选框不包含分类预测信息，但有一个包含/不包含对象的概率。这是个全卷积的子网络，结构类似RPN。 子任务2：估计实例掩膜 基于子任务1返回的候选框预测，模型再用ROI pooling从共享卷积特征中提取该候选框的特征，之后是两个全连接层（fc），第一个fc负责把维度降到256， 第二个fc负责回归像素级的掩膜。掩膜的预定义分辨率是M×M，这和DeepMask中使用的预测方法有些类似，但不同的是MNC只从几个候选框中回归掩膜，计算成本大大降低。 子任务3：对实例进行分类 现在模型有了子任务1给出的候选框预测，也有了子任务2用ROI pooling提取的feature map，之后就是基于掩膜和候选框预测实例类别。 这是两条并行路径。在基于掩膜的路径中，ROI提取的feature map被子任务2预测的掩膜“覆盖”，使模型更关注预测掩膜的前景特征，计算乘积后，将特征输入两路4096维的fc层。在基于候选框的路径中，用ROI pooling提取的特征被直接传递到4096维的fc层（图中未画出），目的是为了解决特征大幅被掩模级通道“覆盖”的情况（如目标对象很大）。之后，基于掩膜和基于候选框的路径被连接起来，紧接着是N+1类的Softmax分类器，其中N类是物体，1类是背景。 MNC分割效果 即便是这么复杂的架构，整个网络也是可以端到端训练的。 INSTANCEFCN InstanceFCN是FCN的改进版，它不仅在语义分割任务上表现出色，在实例分割上也有不错的结果。之前我们提到过，FCN的每个输出像素是一个类别的分类器，那么InstanceFCN的每个输出像素就是实例相对位置的分类器。例如，下图被分为9块区域，在其中的第6个得分图中，每个像素就是对象是否在实例右侧的分类器。 试想一下，如果图像中只有一个实例，分割过程会很简单；如果有多个重叠实例，那么我们就得先区分实例，然后再进行分割。相比FCN，InstanceFCN的最大改进是引入相对位置，它在输入图像上生成k2实例敏感分数图，每个分数图对应于特定的相对位置，这就实现了相同位置不同语义的预测。 为了从这些分数图上生成图像实例，InstanceFCN在这组分数图上用了一个m×m的滑动窗口。在这个滑动窗中，每一个m/k×m/k的子窗口直接从相应的分数图中同样的子窗口复制那一部分数值。之后这组子窗口按照相对位置拼起来就得到了m×m的结果。 这一部分被称为实例组合模块（instance assembling module） 。 模型的架构包括在输入图像上用VGG-16做特征提取。在输出的feature map顶部，有两个全卷积分支：一个用来估计分割实例（如上所述），另一个用来对实例进行评分。 InstanceFCN架构 如上图所示，对于第一个分支，模型先采用一个512维的1×1卷积层转换特征，然后用3x3的卷积层生成一组k2实例敏感分数图。这个实例组合模块负责在分辨率为m×m（m=21）的滑动窗中预测分割掩膜。 对于第二个分支，模型先采用一个512维的3×3卷积层，后面跟随一个1x1的卷积层。这个1x1的卷积层是逐像素的逻辑回归，用于分类以像素为中心的m×m滑动窗口中的对象是/不是实例。因此，这个分支的输出是对象分数图，其中一个分数对应于生成一个实例的一个滑动窗口，所以它对不同的对象类别会“视而不见”。 InstanceFCN分割效果 FCIS 正如InstanceFCN是对FCN的改进，完全卷积实例感知语义分割（FCIS）也是在InstanceFCN基础上做出的进一步优化。上节我们说道，InstanceFCN预测分割掩膜的分辨率都是m×m，而且没法将对象分类为不同类别。FCIS解决了这两个问题，它既能预测不同分辨率的掩膜，也能预测不同的对象类别。 FCIS实例敏感分数图 给定ROI，首先用InstanceFCN的实例组合模块生成上述分数图。对于ROI中的每个像素，有两个任务（所以要生成两个分数图）： 检测：它是否在某相对位置的对象检测候选框内，是（detection+），否（detection-） 分割：它是否在对象实例的边界内，是（segmentation+），否（segmentation-） 基于上述任务，这时出现了三种情况： 内部得分高，外部得分低：detection+，segmentation+（像素点位于ROI中的目标部分） 内部得分低，外部得分高：detection+，segmentation-（像素点位于ROI中的背景部分） 两个得分都很低：detection-，segmentation-（像素点不在ROI中） 对于检测，我们可以用取最大值把前两种情况（detection+）和情况3（detection-）区分开。整个ROI的得分是求取最大值得到分数图的所有值的平均数，之后再通过一个softmax分类器。对于分割，softmax可以区分情况1（segmentation+）和其他情况（segmentation-）。ROI的前景掩膜是每个类别每个像素分割分数的合并。 FCIS架构 FCIS分割效果 MASK R-CNN MASK R-CNN是目标检测模型Faster R-CNN的进阶版，它在后者候选框提取的基础上添加了一个并行的分支网络，用预测分割掩膜。这个分支网络是个共享feature map的FCN，它为每个ROI提供Km2 维的输出，其中K对应类别个数，即输出K个掩膜，m对应池化分辨率。这样的设计允许网络为每个类别生成掩膜，避免了不同类实例之间因重叠产生混淆。此外，分类分支是直接在掩膜上分类，所以分割和分类是分离的。 Mask R-CNN架构中用于预测掩膜的分支 关注输入图像的空间结构是准确预测掩膜的前提，而这种像素到像素的操作需要ROI特征的完全对齐。在目标检测任务中，一些模型会用RoIPool提取这些特征，但它们不总是严格对齐的，因为ROI的维度不仅可以是积分，也可以是浮点数。RoIPool通过将它们四舍五入到最接近的整数来量化这些维度，不仅如此，量化的RoI还被进一步细分为量化的空间区间，在该区间上执行合并。虽然这些量化对分类问题没什么影响，但如果把它们用于像素级对齐，分割掩膜预测会出现巨大偏差。 RoIAlign： 虚线网格表示feature map，实线表示RoI（有2×2个bin，每个bin中4个采样点） 考虑到实例分割要求像素级别的精准，MASK R-CNN引入了一种新的方法来提取特征，称为RoIAlign。它背后的想法是很简单：既然错位是由量化引起的，那就避免所有量化。RoIAlign不会对维度做任何约减，它引入了一个插值过程，先通过双线性插值到14×14，再池化到7×7，很大程度上解决了由直接池化采样造成的Misalignment对齐问题。需要注意的是，使用RoIAlign提取的RoI特征具有固定的空间维度，这点和RoIPool一样。 小结 以上就是现在常用的语义分割、实例分割模型，它们基本上都是FCN的变体，把编码器作为简单的特征提取器，重点放在解码器创新上。此外，一些研究人员也尝试过用其他方法来解决实例分割问题，比如上面提到的MASK R-CNN就是改造目标检测模型的成果，总而言之，FCN还是解决这类任务的重要基石。 译者的话：以上只是简短的关键提炼，如果读者希望了解这些模型的具体细节，可以参考文末推荐的几篇中文论文解读，点击阅读原文获取超链接。 参考文献 J. Long, E. Shelhamer, and T. D ar rell. Fully convolutional networks for semantic segmentation. In CVPR, 2015. (paper) O. Ronneberger, P. Fischer, and T. Brox, “U-net: Convolutional networks for biomedical image segmentation,” in MICCAI, pp. 234–241, Springer, 2015. (paper) Badrinarayanan, V., Kendall, A., & Cipolla, R. (2017). SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 39, 2481-2495. (paper) P. O. Pinheiro, R. Collobert, and P. Dollar. Learning to segment object candidates. In NIPS, 2015. (paper) Dai, J., He, K., Sun, J. Instance-aware semantic segmentation via multi-task network cascades. In CVPR., 2016. (paper) J. Dai, K. He, Y. Li, S. Ren, and J. Sun. Instance-sensitive fully convolutional networks. In ECCV, 2016. (paper) Y. Li, H. Qi, J. Dai, X. Ji, and Y. Wei. Fully convolutional instance-aware semantic segmentation. In CVPR, 2017. (paper) K He, G Gkioxari, P Dollár, R Girshick. Mask R-CNN. In ICCV, 2017. (paper) 编译参考 jianyuchen23—— U-Net论文详解 DelphiFan’s Blog—— 语义分割论文-SegNet Elaine_Bao—— 物体检测与分割系列 DeepMask AHU-WangXiao—— Instance-aware Semantic Segmentation via Multi-task Network Cascades Tina’s Blog—— InstanceFCN:Instance-sensitive Fully Convolutional Networks 技术挖掘者—— Mask R-CNN详解
基于深度学习的图像分割中的模型训练globalcorrect
题主是否想询问“基于深度学习的图像分割中的模型训练globalcorrect是什么？”是一种常用的评价指标之一，用于评估模型在整个数据集上的分类准确率。在模型训练过程中，可以使用全局正确率作为评价指标，以衡量模型的分类准确率，训练过程中需要监控全局正确率的变化，以便及时发现训练过程中出现的问题。
分割原理体现出了为解决物理矛盾而进行的什么分离
空间和条件分离。
我们知道一个图像只不过是许多像素的集合。图像分割分类是对图像中属于特定类别的像素进行分类的过程，因此图像分割可以认为是按像素进行分类的问题。
传统的图像分割算法均是基于灰度值的不连续和相似的性质。而基于深度学习的图像分割技术则是利用卷积神经网络，来理解图像中的每个像素所代表的真实世界物体，这在以前是难以想象的。
基于深度学习的图像分割技术主要分为两类：语义分割及实例分割。
语义分割会为图像中的每个像素分配一个类别，但是同一类别之间的对象不会区分。而实例分割，只对特定的物体进行分类。这看起来与目标检测相似，不同的是目标检测输出目标的边界框和类别，实例分割输出的是目标的Mask和类别。
“分割原理”是TRIZ中40条发明原理的NO.1。意指：将一个有形或无形的物体分成若干部分，或独立存在、或可合并和装拆。具体方法如下：
（1）把一个物体分成相互独立的部分；
（2）将物体分成容易组装和拆卸的部分；
（3）进一步分割，加以改造。
TRIZ——分割原理·利弊：
由上述例子可知，分割原理有至少三点优势：
（1）分割后，我们可以更好分析其特性；
（2）分割的物体能更灵活的进行操作和处理；
（3）便于生产，能够产生新的事物。
当然我们也需要注意到分割原理可能产生如下的一些副作用：
（1）可能增加事物的复杂性；
（2）可能失去事物原本的能力和作用；
（3）分割的可行性需要更多的考虑和验证。
