(12)发明专利申请
(10)申请公布号 CN 111383207 A(43)申请公布日 2020.07.07
(21)申请号 201811512225.X(22)申请日 2018.12.11
(71)申请人 深圳开立生物医疗科技股份有限公
司
地址 518052 广东省深圳市南山区南头街
道玉泉路毅哲大厦2、4、5、8、9、10、13楼(72)发明人 江代民 王雅儒
(74)专利代理机构 深圳市深佳知识产权代理事
务所(普通合伙) 44285
代理人 王仲凯(51)Int.Cl.
G06T 7/00(2017.01)G06T 7/11(2017.01)
权利要求书2页 说明书11页 附图5页
CN 111383207 A(54)发明名称
一种肌骨超声图像处理方法、系统、装置及可读存储介质(57)摘要
本申请公开了一种肌骨超声图像处理方法，为解决现有技术采用vgg16深度学习网络来分辨目标切面是否属于标准切面时存在的精度退化问题，本申请引入基于深度残差网络训练得到的标准切面分类模型，由于深度残差网络的特殊构造和新引入的残差传递思想，使得基于深度残差网络训练得到的标准切面分类模型可在网络层数加深的同时，避免因梯度消失导致精度退化，使得最佳精度得以保留，对是否属于标准切面的分辨效果更佳。本申请还同时公开了一种肌骨超声图像处理系统、装置及计算机可读存储介质，具有上述有益效果。
CN 111383207 A
权 利 要 求 书
1/2页
1.一种肌骨超声图像处理方法，其特征在于，包括：获取肌骨超声图像，并从所述肌骨超声图像中提取得到目标肌骨切面；利用预设的标准切面分类模型判断所述目标肌骨切面是否为标准切面，并输出被所述标准切面分类模型判别为所述标准切面的目标肌骨切面；其中，所述标准切面分类模型是预先将标准切面和非标准切面作为样本数据输入深度残差网络后经训练得到的。
2.根据权利要求1所述的肌骨超声图像处理方法，其特征在于，还包括：获取标准切面样本数据，并确定所述标准切面样本数据中的有效信息；调整所述有效信息在对应标准切面样本数据中的位置，得到非标准切面样本数据；其中，调整位置的方式包括平移、缩放、水平翻转中的至少一种。
3.根据权利要求1所述的肌骨超声图像处理方法，其特征在于，在输出属于所述标准切面的目标肌骨切面之后，还包括：
利用预设的组织分割模型对所述目标肌骨切面中包含的各种类组织进行语义分割。4.根据权利要求3所述的肌骨超声图像处理方法，其特征在于，还包括：获取组织类别样本数据；其中，所述组织类别样本数据为将不同种类的组织以不同的标签进行标注的样本数据；
调整所述组织类别样本数据的整体分布形态，得到增量组织类别样本数据；其中，调整整体分布形态的方式包括整体平移、整体缩放、整体水平翻转中的至少一种。
5.根据权利要求3所述的肌骨超声图像处理方法，其特征在于，在输出属于所述标准切面的目标肌骨切面之后、在利用预设的组织分割模型对所述目标肌骨切面中包含的各种类组织进行语义分割之前，还包括：
利用预设的切面类型分类模型确定所述目标肌骨切面所属的目标切面类型；其中，所述切面类型分类模型是预先将各类型标准肌骨切面作为样本数据输入深度残差网络后经训练得到的；
对应的，利用预设的组织分割模型对所述目标肌骨切面中包含的各种类组织进行语义分割，包括：
利用与所述目标切面类型对应的目标组织分割模型对所述目标肌骨切面中的各种类组织进行语义分割。
6.根据权利要求2至5任一项所述的肌骨超声图像处理方法，其特征在于，利用预设的组织分割模型对所述目标肌骨切面中包含的各种类组织进行语义分割，包括：
利用RU单元获取所述目标肌骨切面中各种类组织的局部特征，得到局部特征图；利用TD单元获取所述目标肌骨切面中各种类组织的全局特征，得到全局特征图；合并所述局部特征图和所述全局特征图，得到特征放大图；确定所述特征放大图中每个像素点所属的组织种类，得到组织分类图。7.根据权利要求6所述的肌骨超声图像处理方法，其特征在于，所述组织分割模型包括多个下采样层和与所述下采样层数量相同的上采样层，每个所述下采样层均设置有所述RU单元和所述TD单元，每个所述上采样层均设置有将对应下采样层的RU单元和TD单元分别输出的局部特征和全局特征进行合并的合并单元。
8.根据权利要求6所述的肌骨超声图像处理方法，其特征在于，在得到组织分类图之后，还包括：
2
CN 111383207 A
权 利 要 求 书
2/2页
合并所述组织分类图中属于相同组织的相邻像素点，得到同类组织块分布图。9.一种肌骨超声图像处理系统，其特征在于，包括：肌骨切面提取模块，用于获取肌骨超声图像，并从所述肌骨超声图像中提取得到目标肌骨切面；
标准切面判别及输出模块，用于利用预设的标准切面分类模型判断所述目标肌骨切面是否为标准切面，并输出被所述标准切面分类模型判别为所述标准切面的目标肌骨切面；其中，所述标准切面分类模型是预先将标准切面和非标准切面作为样本数据输入深度残差网络后经训练得到的。
10.一种肌骨超声图像处理装置，其特征在于，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如权利要求1至8任一项所述的肌骨超声图像处理方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的肌骨超声图像处理方法。
3
CN 111383207 A
说 明 书
1/11页
一种肌骨超声图像处理方法、系统、装置及可读存储介质
技术领域
[0001]本申请涉及图像处理技术领域，特别涉及一种肌骨超声图像处理方法、系统、装置及计算机可读存储介质。
背景技术
[0002]在现代医学中，肌骨结合处由于其复杂的组织构造，对病理和病灶的判断带来了更大的挑战。
[0003]在处理通过超声技术拍摄得到的肌骨超声图像时，首先就是要区别该肌骨超声图像中包含的肌骨切面是否为标准切面，以便在确定为标准切面的基础上对不同种类组织所在位置进行分割。[0004]相关技术中有在对胎儿面部切面进行是否为标准切面时，采用了vgg16深度学习网络来实现的例子。vgg16深度学习网络通过反复堆叠3×3的小型卷积核和2×2的最大池化层，成功地构筑了16-19层深的卷积神经网络，且通过使用非常多的3×3(小)卷积串联，使得相较于单独使用一个较大的卷积核，不仅拥有更少的参数量，且会拥有更多的非线性变换。
[0005]即便如此，vgg16深度学习网络对标准切面的判别精度依然不够理想，是因为在网络层数不断加深的同时，会在已达到最佳精度的基础上进行再次处理致使精度不增反降的问题，这一问题也被称为退化问题。也就是说，单纯一味的增加网络层数，并不一定会使得结果越来越好，也有可能会随着梯度的消失导致结果越来越差。[0006]因此，如何解决现有技术利用vgg16深度学习网络分辨标准切面时存在的准确率不佳问题，是本领域技术人员亟待解决的问题。发明内容
[0007]本申请的主要目的是提供一种肌骨超声图像处理方法，为解决现有技术采用vgg16深度学习网络来分辨目标切面是否属于标准切面时存在的精度退化问题，本申请引入基于深度残差网络训练得到的标准切面分类模型，由于深度残差网络的特殊构造和新引入的残差传递思想，使得基于深度残差网络训练得到的标准切面分类模型可在网络层数加深的同时，避免因梯度消失导致精度退化，使得最佳精度得以保留，对是否属于标准切面的分辨效果更佳。
[0008]本申请的另一目的在于提供了一种肌骨超声图像处理系统、装置及计算机可读存储介质。
[0009]为实现上述目的，本申请提供一种肌骨超声图像处理方法，包括：[0010]获取肌骨超声图像，并从所述肌骨超声图像中提取得到目标肌骨切面；[0011]利用预设的标准切面分类模型判断所述目标肌骨切面是否为标准切面，并输出被所述标准切面分类模型判别为所述标准切面的目标肌骨切面；其中，所述标准切面分类模型是预先将标准切面和非标准切面作为样本数据输入深度残差网络后经训练得到的。
4
CN 111383207 A[0012]
说 明 书
2/11页
可选的，该肌骨超声图像处理方法还包括：
[0013]获取标准切面样本数据，并确定所述标准切面样本数据中的有效信息；[0014]调整所述有效信息在对应标准切面样本数据中的位置，得到非标准切面样本数据；其中，调整位置的方式包括平移、缩放、水平翻转中的至少一种。[0015]可选的，在输出属于所述标准切面的目标肌骨切面之后，还包括：[0016]利用预设的组织分割模型对所述目标肌骨切面中包含的各种类组织进行语义分割。
[0017]可选的，该肌骨超声图像处理方法还包括：[0018]获取组织类别样本数据；其中，所述组织类别样本数据为将不同种类的组织以不同的标签进行标注的样本数据；[0019]调整所述组织类别样本数据的整体分布形态，得到增量组织类别样本数据；其中，调整整体分布形态的方式包括整体平移、整体缩放、整体水平翻转中的至少一种。[0020]可选的，在输出属于所述标准切面的目标肌骨切面之后、在利用预设的组织分割模型对所述目标肌骨切面中包含的各种类组织进行语义分割之前，还包括：[0021]利用预设的切面类型分类模型确定所述目标肌骨切面所属的目标切面类型；其中，所述切面类型分类模型是预先将各类型标准肌骨切面作为样本数据输入深度残差网络后经训练得到的；[0022]对应的，利用预设的组织分割模型对所述目标肌骨切面中包含的各种类组织进行语义分割，包括：[0023]利用与所述目标切面类型对应的目标组织分割模型对所述目标肌骨切面中的各种类组织进行语义分割。[0024]可选的，其特征在于，利用预设的组织分割模型对所述目标肌骨切面中包含的各种类组织进行语义分割，包括：[0025]利用RU单元获取所述目标肌骨切面中各种类组织的局部特征，得到局部特征图；[0026]利用TD单元获取所述目标肌骨切面中各种类组织的全局特征，得到全局特征图；[0027]合并所述局部特征图和所述全局特征图，得到特征放大图；[0028]确定所述特征放大图中每个像素点所属的组织种类，得到组织分类图。[0029]可选的，所述组织分割模型包括多个下采样层和与所述下采样层数量相同的上采样层，每个所述下采样层均设置有所述RU单元和所述TD单元，每个所述上采样层均设置有将对应下采样层的RU单元和TD单元分别输出的局部特征和全局特征进行合并的合并单元。[0030]可选的，在得到组织分类图之后，还包括：
[0031]合并所述组织分类图中属于相同组织的相邻像素点，得到同类组织块分布图。[0032]为实现上述目的，本申请还提供了一种肌骨超声图像处理系统，包括：[0033]肌骨切面提取模块，用于获取肌骨超声图像，并从所述肌骨超声图像中提取得到目标肌骨切面；
[0034]标准切面判别及输出模块，用于利用预设的标准切面分类模型判断所述目标肌骨切面是否为标准切面，并输出被所述标准切面分类模型判别为所述标准切面的目标肌骨切面；其中，所述标准切面分类模型是预先将标准切面和非标准切面作为样本数据输入深度残差网络后经训练得到的。
5
CN 111383207 A[0035]
说 明 书
3/11页
可选的，该肌骨超声图像处理系统还包括：
[0036]有效信息提取模块，用于获取标准切面样本数据，并确定所述标准切面样本数据中的有效信息；
[0037]非标准切面样本增加模块，用于调整所述有效信息在对应标准切面样本数据中的位置，得到非标准切面样本数据；其中，调整位置的方式包括平移、缩放、水平翻转中的至少一种。
[0038]可选的，该肌骨超声图像处理系统还包括：[0039]组织语义分割模块，用于在输出属于所述标准切面的目标肌骨切面之后，利用预设的组织分割模型对所述目标肌骨切面中包含的各种类组织进行语义分割。[0040]可选的，该肌骨超声图像处理系统还包括：[0041]组织类别样本获取模块，用于获取组织类别样本数据；其中，所述组织类别样本数据为将不同种类的组织以不同的标签进行标注的样本数据；[0042]组织类别样本增加模块，用于调整所述组织类别样本数据的整体分布形态，得到增量组织类别样本数据；其中，调整整体分布形态的方式包括整体平移、整体缩放、整体水平翻转中的至少一种。[0043]可选的，该肌骨超声图像处理系统还包括：[0044]切面类型判别模块，用于在输出属于所述标准切面的目标肌骨切面之后、在利用预设的组织分割模型对所述目标肌骨切面中包含的各种类组织进行语义分割之前，利用预设的切面类型分类模型确定所述目标肌骨切面所属的目标切面类型；其中，所述切面类型分类模型是预先将各类型标准肌骨切面作为样本数据输入深度残差网络后经训练得到的；[0045]对应的，所述组织语义分割模块包括：[0046]优选模型分割子模块，用于利用与所述目标切面类型对应的目标组织分割模型对所述目标肌骨切面中的各种类组织进行语义分割。[0047]可选的，所述组织语义分割模块包括：[0048]局部特征提取子模块，用于利用RU单元获取所述目标肌骨切面中各种类组织的局部特征，得到局部特征图；
[0049]全局特征提取子模块，用于利用TD单元获取所述目标肌骨切面中各种类组织的全局特征，得到全局特征图；[0050]特征合并子模块，用于合并所述局部特征图和所述全局特征图，得到特征放大图；[0051]所属组织种类确定子模块，用于确定所述特征放大图中每个像素点所属的组织种类，得到组织分类图。[0052]可选的，该肌骨超声图像处理系统还包括：[0053]相邻像素点相同组织合并模块，用于在得到组织分类图之后，合并所述组织分类图中属于相同组织的相邻像素点，得到同类组织块分布图。[0054]为实现上述目的，本申请还提供了一种肌骨超声图像处理装置，包括：[0055]存储器，用于存储计算机程序；[0056]处理器，用于执行所述计算机程序时实现如上述内容所描述的肌骨超声图像处理方法。
[0057]为实现上述目的，本申请还提供了一种计算机可读存储介质，所述计算机可读存
6
CN 111383207 A
说 明 书
4/11页
储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述内容所描述的肌骨超声图像处理方法。[0058]显然，本申请所提供的肌骨超声图像处理方法，为解决现有技术采用vgg16深度学习网络来分辨目标切面是否属于标准切面时存在的精度退化问题，本申请引入基于深度残差网络训练得到的标准切面分类模型，由于深度残差网络的特殊构造和新引入的残差传递思想，使得基于深度残差网络训练得到的标准切面分类模型可在网络层数加深的同时，避免因梯度消失导致精度退化，使得最佳精度得以保留，对是否属于标准切面的分辨效果更佳。本申请同时还提供了一种肌骨超声图像处理系统、装置及计算机可读存储介质，具有上述有益效果，在此不再赘述。附图说明
[0059]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0060]图1为本申请实施例提供的一种肌骨超声图像处理方法的流程图；
[0061]图2为本申请实施例提供的一种标准切面分类模型的生成过程的示意图；[0062]图3为本申请实施例提供的另一种肌骨超声图像处理方法的流程图；[0063]图4为本申请实施例提供的又一种肌骨超声图像处理方法的流程图；
[0064]图5为本申请实施例提供的肌骨超声图像处理方法中一种分割各种类组织的方法的流程图；
[0065]图6为本申请实施例提供的一种组织分割模型的结构示意图；
[0066]图7为本申请实施例提供的组织分割模型中RU单元的一种结构示意图；[0067]图8为本申请实施例提供的组织分割模型中TD单元的一种结构示意图；[0068]图9为本申请实施例提供的一种肌骨超声图像处理系统的结构框图；[0069]图10为本申请实施例提供的一种肌骨超声图像处理装置的结构示意图。具体实施方式
[0070]本申请的核心是提供一种肌骨超声图像处理方法、系统、装置及计算机可读存储介质，为解决现有技术采用vgg16深度学习网络来分辨目标切面是否属于标准切面时存在的精度退化问题，本申请引入基于深度残差网络训练得到的标准切面分类模型，由于深度残差网络的特殊构造和新引入的残差传递思想，使得基于深度残差网络训练得到的标准切面分类模型可在网络层数加深的同时，避免因梯度消失导致精度退化，使得最佳精度得以保留，对是否属于标准切面的分辨效果更佳。[0071]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。[0072]实施例一
7
CN 111383207 A[0073]
说 明 书
5/11页
请参见图1，图1为本申请实施例提供的一种肌骨超声图像处理方法的流程图，其
包括以下步骤：[0074]S101：获取肌骨超声图像，并从肌骨超声图像中提取得到目标肌骨切面；[0075]本步骤旨在得到后续步骤中用于判别是否属于标准切面的实际切面，由于本申请针对肌骨超声图像，因此该实际切面指的是从肌骨超声图像中提取得到的肌骨切面。由于一副肌骨超声图像中通常仅能够提取得到一个肌骨切面时，因此该目标肌骨切面指的就是唯一的肌骨切面。特殊情况下，一副肌骨超声图像中可能会包含多个肌骨切面，在排除拍摄失误的原因外，目标肌骨切面可以指多个肌骨切面中的任一个。[0076]S102：利用预设的标准切面分类模型判断目标肌骨切面是否为标准切面，并输出被标准切面分类模型判别为标准切面的目标肌骨切面。[0077]在S101的基础上，本步骤旨在利用预设的标准切面分类模型来判断该目标肌骨切面是否为标准切面，并将判别为标准切面的目标肌骨切面输出，输出的目标肌骨切面说明已经通过了该模型对是否属于标准切面的判别。
[0078]该标准切面分类模型是预先将数量足够的标准切面和非标准切面作为样本数据输入深度残差网络后经训练得到的，标准切面将作为正样本，非标准切面将作为负样本，以使深度残差网络有针对性的从正样本和负样本中挖掘并学习隐藏在样本数据背后的用于判别是否为标准切面的特征。
[0079]标准切面分类模型的生成过程可参见图2。与很容易确定的标准切面相比，非标准切面将包含更多种情况，因此为了尽可能的提高训练得到的标准切面分类模型的分类效果，有必要对作为负样本的非标准切面进行数据增强，以使得作为负样本的非标准切面尽可能含盖多的情况。[0080]具体的，可以通过对已有标准切面样本数据或已有非标准切面样本数据进行改造来实现数据增强，对于标准切面样本数据而言，只需要将其能够被判别为标准切面的有效信息进行改动，使得改动后的信息无法被识别为标准切面即可，对有效信息的改动方式包括平移、裁剪和添加噪声中的至少一项。对于已有的非标准切面数据而言，由于其中本就不包含正确的能够被判别为标准切面的有效信息，因此可以直接对非标准切面样本数据整体进行改动，方式可包括平移变换、随机缩放和水平翻转中的至少一项。[0081]需要说明的是，该标准切面分类模型是基于深度残差网络使用样本数据经训练后得到的，其中，ResNet可作为一种优选的深度残差网络被应用在该模型的构成过程中。进一步的，经测试发现，在使用ResNet这种深度残差网络构建标准切面分类模型时，将激活函数具体设置为ReLU(Rectified Linear Unit，线性整流函数)、将训练过程使用的损失函数具体设置为交叉熵可得到更优的判别准确度。[0082]基于上述技术方案，本实施例提供的肌骨超声图像处理方法，区别于现有技术在分辨目标肌骨切面是否为标准切面时使用的vgg16深度学习网络，本申请引入基于深度残差网络训练得到的标准切面分类模型，由于深度残差网络的特殊构造和新引入的残差传递思想，使得基于深度残差网络训练得到的标准切面分类模型可以在网络层数加深的同时，避免因梯度消失导致精度退化，使得最佳精度得以保留，分类效果更佳。[0083]实施例二[0084]请参见图3，图3为本申请实施例提供的另一种肌骨超声图像处理方法的流程图，
8
CN 111383207 A
说 明 书
6/11页
区别于实施例一，本实施例为了提供更大的便利，还在利用标准切面判别模型判别出属于标准切面的肌骨切面后，利用预设的组织分割模型完成对该肌骨切面内各种类组织的语义分割，得以对目标肌骨超声图像进行进一步的处理，包括如下步骤：[0085]S201：获取肌骨超声图像，并从肌骨超声图像中提取得到目标肌骨切面；[0086]S202：利用预设的标准切面分类模型判断目标肌骨切面是否为标准切面，并输出被标准切面分类模型判别为标准切面的目标肌骨切面；
[0087]S201和S202两步骤与实施例一中的S101和S102相同，相同部分不再进行重复描述。
[0088]S203：利用预设的组织分割模型对目标肌骨切面中包含的各种类组织进行语义分割。
[0089]在已经判别该目标肌骨切面为标准切面的基础上，本步骤旨在对该目标肌骨切面中包含的各种类组织进行语义分割，以便于准确定位该目标肌骨切面中不同种类组织的所在位置以及分界线，为后续诊断提供帮助。[0090]其中，该组织分割模型是将不同种类的组织以不同的标签进行标注的样本数据输入深度学习网络后经训练得到的，输入的样本数据是用来进行语义分割的同类组织(正样本)和非同类组织(负样本)。[0091]进一步的，由于实际情况下难以获得足够数量的真实同类组织样本数据，因此为了尽可能的提升组织分割模型的分割准确度，也有必要对同类组织进行数据增强。相比于对非标准切面样本数据进行数据增强时，可对标准切面样本数据进行有效信息的改动得到增量非标准切面样本数据的方式，此处既能以已有的同类组织样本为基础进行数据增强，为了保证样本数据的可用性，也只能从采用诸如整体平移、整体缩放、整体水平翻转的方式来得到增量同类组织样本数据。[0092]实施例三[0093]请参见图4，图4为本申请实施例提供的又一种肌骨超声图像处理方法的流程图，在实施例二的基础上，本实施例还针对肌骨超声图像领域下，可能因采用不同的方式、不同的角度以及针对不同部位的肌骨组织拍摄得到多种类型的肌骨超声图像，即每种肌骨超声图像能够提取出存在差异的肌骨切面，也就是说将存在多种切面类型，为了降低不同切面类型下因相同组织表现形式差异对组织分割时产生的不良影响，本实施例通过S303对属于标准切面的目标肌骨切面所属的切面类型进行判别，以使用对应的组织分割模型进行最合适的语义分割，包括如下步骤：[0094]S301：获取肌骨超声图像，并从肌骨超声图像中提取得到目标肌骨切面；[0095]S302：利用预设的标准切面分类模型判断目标肌骨切面是否为标准切面，并输出被标准切面分类模型判别为标准切面的目标肌骨切面；
[0096]S301和S302两步骤与实施例一中的S101和S102相同，相同部分不再进行重复描述。
[0097]S303：利用预设的切面类型分类模型确定目标肌骨切面所属的目标切面类型；[0098]在已经判别该目标肌骨切面为标准切面的基础上，本步骤旨在进一步的判断该目标肌骨切面具体属于哪一种切面类型，因为虽然同属标准的肌骨切面，采用不同方式、不同角度以及针对不同部位的肌骨组织拍摄得到肌骨超声图像将表现为不同的切面类型(可能
9
CN 111383207 A
说 明 书
7/11页
多达60多种)。其中，该切面类型分类模型是预先将各类型标准肌骨切面作为样本数据输入深度残差网络后经训练得到的，生成方式与标准切面分类模型类似，只不过输入的样本数据是不同类型的标准肌骨切面，样本数据的种类数对应于类型数。
[0099]由于切面类型分类模型与标准切面分类模型的主要作用均为分类，经测试，在基于ResNet构建该切面类型分类模型时，采用与标准切面分类模型中一致的激活函数和损失函数可达到最优的分类准确率。[0100]S304：利用与目标切面类型对应的目标组织分割模型对目标肌骨切面中的各种类组织进行语义分割。
[0101]由于不同切面类型下相同组织的相对大小可能存在较大差异，因此为了更好的对不同种类组织所在区域进行语义分割，本实施例将采用与目标切面类型对应的目标组织分割模型对目标肌骨切面中的各种类组织进行语义分割。即预先结合每种切面类型下每种组织的特征参数(包括大小、形态等)构建得到与每种切面类型对应的组织分割模型，以便在确定目标切面类型后，调用与目标切面类型对应的目标组织分割模型进行语义分割。[0102]更进一步的，由于相同组织在不同切面下大小存在的差异，还可以使用不同的损失函数来构建对应于不同切面类型的组织分割模型，例如focalloss或者dice系数等具有更好分割效果的损失函数替代交叉熵，以尽可能的对相应切面类型下的组织进行更好的识别。
[0103]实施例四[0104]请参见图5，图5为本申请实施例提供的肌骨超声图像处理方法中一种分割各种类组织的方法的流程图，包括如下步骤：[0105]S401：利用RU单元获取目标肌骨切面中各种类组织的局部特征，得到局部特征图；[0106]RU单元(Residual Unit)为深度残差网络中的一种结构单元，用于提取当前图像中的局部特征，以使得局部特征更加突出。[0107]S402：利用TD单元获取目标肌骨切面中各种类组织的全局特征，得到全局特征图；[0108]TD单元(Transition Down)为深度残差网络中的另一种结构单元，不同于突出局部特征的RU单元，TD单元用于提取当前图像中的全局特征，以使得全局特征更加特出。[0109]需要说明的是，S401和S402两步骤可以对当前图像分别执行，即处于并列关系，也可以先执行局部特征或全局特征的提取，再在提取后的图像中进行另一种特征的提取。依次提取的方式将会由于某一种特征的突出，导致丢失一部分另一种特征。还需要说明的是，全局特征的特征可通过后续不断加深的提取层数得到不断的补全，而局部特征则不行，因此一种比较合适的方式为，先执行RU单元提取得到局部特征，再在此基础上通过增加提取层数，以依次循环RU单元、TD单元的方式，使得提取出的全局特征得到补足。[0110]S403：合并局部特征图和全局特征图，得到特征放大图；[0111]本步骤旨在将得到的局部特征图和全局特征图进行合并，使得合并后得到的特征放大图中拥有更突出的局部特征和全局特征，这将有利于对每个像素点所属的组织种类进行更加准确的判别和更加精准的定位。[0112]S404：确定特征放大图中每个像素点所属的组织种类，得到组织分类图；[0113]在S403的基础上，本步骤旨在确定特征放大图中每个像素点所属的组织种类，得到组织分类图。为了使得每个像素点所属的组织种类更加明确，可以预先定义好每种组织
10
CN 111383207 A
说 明 书
8/11页
的标记，并为确定好所属种类的像素点附加相对应的标记来得到该组织分类图。具体的，该标记可以是具有区分能力的编号、颜色、标签、形状等等，此处并不做具体限定。[0114]S405：合并组织分类图中属于相同组织的相邻像素点，得到同类组织块分布图。[0115]在S404的基础上，若每个像素点都附加有用于确定所属种类的标记，则这张图像将包含过多繁杂且不必要的内容，因此，为了美观和增加辨识度，还可以合并组织分类图中属于相同组织的相邻像素点，使得经过合并后的同类组织块分布图中每种组织将由一条外轮廓线确定与其它组织间的位置关系，而去除内部为各像素点附加的标记。[0116]为了加深理解，本申请还提供一种组织分割模型的具体结构示意图，请参见图6：[0117]标准切面将作为该组织分割模型的输入图像进入该组织分割模型，首先利用1×1的卷积改变其通道数，接下来可以看到，该组织分割模型包括左侧的多个下采样层和右侧的多个上采样层，每个下采样层均由一个RU单元和一个TD单元组成，每个上采样层由一个合并单元(图6中的C单元)和一个Dconv(反卷积)单元组成。其中，RU单元用于提取标准切面中的局部特征，TD单元用于提取标准切面的全局特征，由RU单元和TD单元组成的下采样层主要通过降维的方式(实际表现为图像分辨率的不断降低)来凸显局部特征和全局特征，由合并单元和Dconv单元组成的上采样层中，Dconv单元用于不断将对应层次的下卷积层降低的图像分辨率逐步扩大，并在每次扩大后由合并单元将对应层次的下卷积层输出的局部特征和全局特征进行合并，最终得到一组包括大小与输入图像一致的特征图。[0118]多层RU单元、TD单元的叠加使用可以提取出更深层次的图像特征。其中，RU单元和TD单元的具体结构可对应参见图7和图8，RU单元由两组3×3卷积+BN(Batch Normalization，批标准化)+ReLU激活函数组成，TD单元由1×1卷积+BN+ReLU激活函数+2×2max pooling(一种优选的池化处理方式)组成。进一步的，下采样在凸显深层次特征的同时还可以降低特征对图片的变换的敏感性，增加分类的准确率；经合并单元将局部特征和全局特征合并后得到的特征图还能更进一步的提高各像素点所属组织种类的定位准确率。[0119]总的来说，该模型通过RU单元获取局部特征，通过TD单元获取更深层次的全局特征，通过上采样一步步扩大特征图尺寸，然后再通过局部特征图和全局特征图的结合，得以对每个像素点所属组织种类进行更准确的分类。[0120]因为情况复杂，无法一一列举进行阐述，本领域技术人员应能意识到根据本申请提供的基本方法原理结合实际情况可以存在很多的例子，在不付出足够的创造性劳动下，应均在本申请的保护范围内。
[0121]应用本申请在上述各实施例中提供的技术方案，不仅能够高水平医生更加方便快捷的完成肌骨超声图像的处理工作，提高他们的工作效率，也能够尽可能的避免尚在学习阶段的医生因图像识别错误而出现的误诊。[0122]实施例五
[0123]下面请参见图9，图9为本申请实施例提供的一种肌骨超声图像处理系统的结构框图，该处理系统可以包括：
[0124]肌骨切面提取模块100，用于获取肌骨超声图像，并从所述肌骨超声图像中提取得到目标肌骨切面；
[0125]标准切面判别及输出模块200，用于利用预设的标准切面分类模型判断所述目标肌骨切面是否为标准切面，并输出被所述标准切面分类模型判别为所述标准切面的目标肌
11
CN 111383207 A
说 明 书
9/11页
骨切面；其中，所述标准切面分类模型是预先将标准切面和非标准切面作为样本数据输入深度残差网络后经训练得到的。[0126]进一步的，该肌骨超声图像处理系统还可以包括：[0127]有效信息提取模块，用于获取标准切面样本数据，并确定所述标准切面样本数据中的有效信息；
[0128]非标准切面样本增加模块，用于调整所述有效信息在对应标准切面样本数据中的位置，得到非标准切面样本数据；其中，调整位置的方式包括平移、缩放、水平翻转中的至少一种。
[0129]进一步的，该肌骨超声图像处理系统还可以包括：[0130]组织语义分割模块，用于在输出属于所述标准切面的目标肌骨切面之后，利用预设的组织分割模型对所述目标肌骨切面中包含的各种类组织进行语义分割。[0131]进一步的，该肌骨超声图像处理系统还可以包括：[0132]组织类别样本获取模块，用于获取组织类别样本数据；其中，所述组织类别样本数据为将不同种类的组织以不同的标签进行标注的样本数据；[0133]组织类别样本增加模块，用于调整所述组织类别样本数据的整体分布形态，得到增量组织类别样本数据；其中，调整整体分布形态的方式包括整体平移、整体缩放、整体水平翻转中的至少一种。[0134]进一步的，该肌骨超声图像处理系统还可以包括：[0135]切面类型判别模块，用于在输出属于所述标准切面的目标肌骨切面之后、在利用预设的组织分割模型对所述目标肌骨切面中包含的各种类组织进行语义分割之前，利用预设的切面类型分类模型确定所述目标肌骨切面所属的目标切面类型；其中，所述切面类型分类模型是预先将各类型标准肌骨切面作为样本数据输入深度残差网络后经训练得到的；[0136]对应的，该组织语义分割模块可以包括：[0137]优选模型分割子模块，用于利用与所述目标切面类型对应的目标组织分割模型对所述目标肌骨切面中的各种类组织进行语义分割。[0138]其中，该组织语义分割模块可以包括：[0139]局部特征提取子模块，用于利用RU单元获取所述目标肌骨切面中各种类组织的局部特征，得到局部特征图；
[0140]全局特征提取子模块，用于利用TD单元获取所述目标肌骨切面中各种类组织的全局特征，得到全局特征图；[0141]特征合并子模块，用于合并所述局部特征图和所述全局特征图，得到特征放大图；[0142]所属组织种类确定子模块，用于确定所述特征放大图中每个像素点所属的组织种类，得到组织分类图。[0143]更进一步的，该肌骨超声图像处理系统还可以包括：[0144]相邻像素点相同组织合并模块，用于在得到组织分类图之后，合并所述组织分类图中属于相同组织的相邻像素点，得到同类组织块分布图。[0145]本实施例作为与方法实施例对应的系统实施例存在，具有与方法实施例相同的有益效果，此处不再一一赘述。[0146]实施例六
12
CN 111383207 A[0147]
说 明 书
10/11页
图10是根据一示例性实施例示出的一种肌骨超声图像处理装置300的结构示意
图，如图10所示，肌骨超声图像处理装置300可以仅包括处理器301和存储器302，也可以在此基础上增加多媒体组件303、信息输入/信息输出(I/O)接口304或通信组件305中的一者或多者。
[0148]其中，处理器301用于控制肌骨超声图像处理装置300的整体操作，以完成上述的应用于肌骨超声图像处理装置300中的肌骨超声图像处理方法中的全部或部分步骤；存储器302用于存储各种类型的数据以支持在肌骨超声图像处理装置300的操作，这些数据例如可以包括用于在肌骨超声图像处理装置300上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。存储器302可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，只读存储器(Read-Only Memory，ROM)，磁存储器，快闪存储器，磁盘或光盘。
[0149]多媒体组件303可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器302或通过通信组件305发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口304为处理器301和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件305用于肌骨超声图像处理装置300与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near Field Communication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件305可以包括：Wi-Fi模块，蓝牙模块，NFC模块。
[0150]在一示例性实施例中，肌骨超声图像处理装置300可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(Digital Signal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述给出的肌骨超声图像处理方法。[0151]在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述与该程序指令对应的操作步骤。例如，该计算机可读存储介质可以为上述存储有程序指令的存储器302，上述程序指令可由肌骨超声图像处理装置300的处理器301执行以完成上述肌骨超声图像处理方法的各步骤。
[0152]本文中应用了具体个例对本申请的原理及实施方式进行了阐述，且各个实施例间为递进关系，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，可参见对应的方法部分说明。以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和
13
CN 111383207 A
说 明 书
11/11页
修饰也落入本申请权利要求的保护范围内。[0153]还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
14
CN 111383207 A
说 明 书 附 图
1/5页
图1
图2
图3
15
CN 111383207 A
说 明 书 附 图
2/5页
图4
图5
16
CN 111383207 A
说 明 书 附 图
3/5页
图6
17
CN 111383207 A
说 明 书 附 图
4/5页
图7
图8
图9
18
CN 111383207 A
说 明 书 附 图
5/5页
图10
19
因篇幅问题不能全部显示，请点此查看更多更全内容