提取部通过对拍摄到的花的图像的特征信息和存储在数据库的特征信息进行比较，从而提取与拍摄到的花的图像类似度高的花的样品图像作为候选图像。 控制部使提取的候选图像、对应于候选图像的花的名称、以及用于减少候选图像的关注点与拍摄到的花的图像一起在显示部排列显示，并且将多个候选图像变更为相对应的各自的叶的样品图像来显示。 控制部将多个候选图像变更为对相对应的各自的关注点进行指示的图像，并使其在显示部显示。
图12是示出多尺度的对比度、“中心-周围”的颜色直方图、以及颜色空间分布的特征量图创建处理的一个例子的流程图。 在这里，所谓方向成分是指对亮度成分叠加了高斯滤波器φ的结果而得到的各方向的振幅成分。 在这里所谓的方向，由作为高斯滤波器φ的参数而存在的旋转角θ所示的方向。
花的名称: CN103324655B – 图像检索系统、图像检索装置以及图像检索方法
即，图11C的步骤S101至S106的各自的处理是图11A的步骤S61至S66的各自对应的处理，仅是各步骤的处理对象与图11A不同。 因此，对于图11C的方向性的特征量图创建处理，省略处理的流程的说明，以下，仅对处理对象简单地说明。 在步骤S63中，CPU7求得各关注像素的周边像素s＝c+δ的各尺度图像的亮度成分。
- 像这样，在求取了6种亮度对比度I的特征量图时，在步骤S65被判定为“否”，处理进入步骤S66。
- 在步骤S26，CPU7使用关注点区域的核心区域，执行种子设定处理。
- 由此，作为图8的步骤Sd的处理如上述，分别设定主要被摄体的区域的种子、和背景区域的种子。
- 本发明的目地和新颖的特征，从下面的详细描述中结合附图阅读，将更加充分地体现，且能清楚地理解。
- 由此，作为图8的步骤Sb的处理如上所述，可估计多个阶段的关注点区域。
所述图像检索装置还具有第二通知单元，该第二通知单元在所述提取单元对所拍摄到的所述对象的图像不能按照所述类似度从高到低的顺序提取对象的第一样品图像时，要求起动所述运动图像摄像单元。 本实施方式与以动画形式拍摄被摄体的情况对应，例示出在图7的“剪取花的区域”(步骤S51)的具体的手法。 根据该手法，不仅静止图像，也能够从运动图像中提取花的区域。 另外，与上述实施方式的共同部分赋予共同的符号，并省略说明。 例如，在指定作为关注点的花的大小、花的颜色、生长时期、以及株高等时，检索数据库110的关注点信息D6，从候选中将不符合条件的花排除。
花的名称: CN103324655A – 图像检索系统、图像检索装置以及图像检索方法
首先进行从拍摄图像G剪取作为主要被摄体的花的图像F的处理(步骤S51)。 第二显示控制步骤，使所述显示部所显示的多个候选图像变更为相对应的各对象的第二样品图像，并在所述显示部显示。 第二显示控制单元，其使所述显示部所显示的多个候选图像变更为相对应的各所述对象的第二样品图像，并在所述显示部显示。 在图11B的颜色的特征量图创建处理与图11A的亮度的特征量图创建处理进行比较时，处理的流程基本相同，处理对象不同。 即，图11B的步骤S81至S86的各处理是与图11A的步骤S61至S66的各个对应的处理，各步骤的处理对象与图11A不同。 因此，对于图11B的颜色的特征量图创建处理，省略处理的流程的说明，以下仅对处理对象进行简单地说明。
- 关注点区域62-(N-1)的估计中所利用的阈值Sth-(N-1)被设为150。
- 另外，以下，像这样多个种类中，将在创建规定的一个种类的特征量图为止的一系列处理称为特征量图创建处理。
- 在步骤S25中，CPU7使用多个阶段的关注点区域，执行核心区域提取处理。
- 另外，以下，为了将颜色的特征量图与其他特征量图进行区别，记述为FC。
- 在步骤S144，CPU7使用二次方距离成为最大的矩形区域的颜色直方图，制作“中心-周围”的颜色直方图的特征量图。
- 例如，作为特征量图创建处理，使用明亮度、彩度、色调、以及动作的各特征量，也能够采用制作各自的特征量图的处理。
在步骤S61中，CPU7根据与处理对象图像数据对应的各尺度图像，设定各关注像素。 所谓各关注像素Ce 是指，作为尺度c e 的尺度图像数据1上的运算对象，而被设定的像素。 G卩，CPU7对于与处理对象图像61对应的帧图像数据，例如根据色、方位、亮度等的多种类的特征量的对比度，创建多种类的特征量图。 另外，以下，像这样多个种类中，将在创建规定的一个种类的特征量图为止的一系列处理称为特征量图创建处理。 对于各特征量图创建处理的详细例子，参照图11和图12在后叙述。 所述第一显示控制单元还具有第三显示控制单元，该第三显示控制单元将在所述显示部所显示的多个候选图像变更为对相对应的各关注点进行指示的图像，并在所述显示部显示。
花的名称: CN103324655A – 图像检索系统、图像检索装置以及图像检索方法
基于该提取结果，进行图3B所示的花的样品图像显示(步骤S6)。 花样品图像D3以类似度从高到低的顺序，从左上起依次与花的名称D1一起并列显示。 因此，不是以叶的类似度从高到低的顺序排列叶的候选图像，而是以花的样品图像的类似度从高到低的顺序排列叶的样品图像。 这种方法，通常将类似度最高的在先头显示，因此不给用户带来混乱。 另外，在检索步骤S7中，如步骤S5所示，不进行图像识别处理，从数据库110提取对应的叶的样品图像D4。 指定“叶”的操作也可以使用“叶”这样的按钮来进行，也可以对显示的拍摄图像G的叶的部分进行触击。
花的名称: CN103324655B – 图像检索系统、图像检索装置以及图像检索方法
在步骤S44中，CPU7判定全部的特征量图创建处理是否结束。 即使各特征量图创建处理中的一个未结束处理的情况下，在步骤S44中，判断为“否”，处理再次返回到步骤S44。 即，到各特征量图创建处理的全部处理结束为止之前的期间，重复执行步骤S44的判断处理。 并且，各特征量图创建处理的全部处理结束，创建全部的特征量图时，在步骤S44被判定为“是”，处理进入步骤S45。 如上所述，在关注点区域估计处理中，为了估计关注点区域，创建显著性图。
花的名称: CN103324655A – 图像检索系统、图像检索装置以及图像检索方法
另外，作为被摄体的剪取手法，采用图割法(Graph Cuts法：图切法)，关于图切法的具体的手法的一个例子，由第二实施方式进行详细说明，所以在这里不进行详细说明。 在图1lB的颜色的特征量图创建处理与图1lA的亮度的特征量图创建处理进行比较时，处理的流程基本相同，处理对象不同。 即，图1lB的步骤S81至S86的各处理是与图1lA的步骤S61至S66的各个对应的处理，各步骤的处理对象与图1lA不同。 因此，对于图1lB的颜色的特征量图创建处理，省略处理的流程的说明，以下仅对处理对象进行简单地说明。
花的名称: CN103324655B – 图像检索系统、图像检索装置以及图像检索方法
所谓各关注像素的周边像素s＝c+δ，是指例如设置为δ∈时，尺度s＝c+δ的尺度图像I上的、在关注像素(对应点)的周边存在的像素。 具体地说，例如，CPU7将处理对象图像数据设为I＝I(x，y)，依次重复执行高斯滤波处理和下抽样处理。 作为其结果，生成阶层型的尺度图像数据I(例如L∈)的组。
花的名称: CN103324655A – 图像检索系统、图像检索装置以及图像检索方法
另外，由步骤Se的处理所运算得到的主要被摄体区域的事前概率Pr以及背景区域的事前概率Pr基于显著性图S的概率，也可以作为图割法的t-link的事前概率来采用。 关注点区域62-r(r是从1至N中的某一个整数值)，是在使用规定的阈值Sth-r对显著性图S进行2值化情况下的、具有比阈值Sth-r高的值的区域。 关注点区域62-(N-1)的估计中所利用的阈值Sth-(N-1)被设为150。 其次，CPU7通过合并多个种类的特征量图，而求得显著性图。 例如在图8的例子中，合并特征量图Fc、Fh、Fs，可求得显著性图S。
花的名称: CN103324655B – 图像检索系统、图像检索装置以及图像检索方法
本发明的目地和新颖的特征，从下面的详细描述中结合附图阅读，将更加充分地体现，且能清楚地理解。
花的名称: CN103324655A – 图像检索系统、图像检索装置以及图像检索方法
在该状态下，用户无法确定拍摄的花的图像G和显示的花的样品图像D3一致时，通过操作部14的规定的操作，如图4A所示，在显示花的样品图像D3的位置，一并显示变更为与该花对应的叶的图像D4。 S卩，相对图1lA的步骤S62和S63的处理对象为亮度成分，图1lB的步骤S82和S83的处理对象是颜色成分。 例如，在图8的例子中，对主要被摄体的区域的种子64-1、64_2、以及背景区域的种子65-1、65-2进行设定。 例如，在图8的例子中，后述的图12A的多尺度的对比的特征量图创建处理的结果，仓Il建有特征量图Fe。
花的名称: CN103324655B – 图像检索系统、图像检索装置以及图像检索方法
在这里，所谓方向成分是指对亮度成分叠加了高斯滤波器Φ的结果而得到的各方向的振幅成分。 在这里所谓的方向，由作为高斯滤波器Φ的参数而存在的旋转角Θ所示的方向。 例如，作为旋转角Θ，可采用0°、45°、90°、135°的四个方向。
在步骤S27中，CPU7使用主要被摄体的事前概率Pr和背景区域的事前概率Pr、以及主要被摄体的区域的种子和背景区域的种子，执行基于图割法的区域分割处理。 由此，作为图8的步骤Sf的处理如上述，与处理对象图像数据对应的帧图像，被分(分割)为主要被摄体的区域和背景区域。 2.如权利要求1所述的图像检索装置，其特征在于， 还具有鉴别单元，该鉴别单元在对所述显示部所显示的所述候选图像之一进行选择时，将与所选择的候选图像对应的对象的名称鉴别为所拍摄到的所述对象。
花的名称: CN103324655A – 图像检索系统、图像检索装置以及图像检索方法
因此，在运动图像提取处理结束时，即，图6的步骤S9的处理结束时，如上所述，在步骤S10、Sll的处理中，对“运动图像”的运动图像数据等进行压缩编码，将作为其结果所得到的编码图像数据存储到存储卡16等。 所述图像检索系统还具有第一通知单元，该第一通知单元在由所述判断单元判断为拍摄的对象的图像的名称与所述保存单元所保存的对象的图像的名称一致时，通知与所述鉴别单元所鉴别的对象的名称对应的向导信息。 所述数据库将花的样品图像、花的名称、叶的样品图像、以及对用于减少所述花的名称的关注点进行指示的图像与特征信息建立对应地存储。
花的名称: CN103324655B – 图像检索系统、图像检索装置以及图像检索方法
因此，对于关注点区域估计处理，例如，可应用Treisman的特征合并理论、或基于Nitti以及Koch们的显著性图。 由此，作为图8的步骤Se的处理，如上所述，可得到主要被摄体区域的事前概率Pr和背景区域的事前概率Pr。 另外，为了实现步骤Sf的图割法的区域分割处理，需要主要被摄体区域的事前概率Pr和背景区域的事前概率Pr。 例如，可采用将关注点区域的核心区域按原样设定为主要被摄体的区域的种子这样的手法。
即，在显示部12显示浇水方法、每季节的维护方法、施肥方法、以及日照等的向导信息。 因此，在定期拍摄相同的花时，能够判断时期、气候、生长状况等，进行适当的建议。 即，对于与处理对象图像数据对应的各尺度图像的各像素，分别实施步骤S61至S65的处理，并求得各像素的亮度对比度I(c，s)。
在这里，在设定为各关注像素c∈以及周边像素s＝c+δ(例如δ∈)的情况下，在步骤S61至S65的一次的处理中，求得(3种关注像素c)×(2种周边像素s)＝6种亮度对比度I(c，s)。 在此，对于规定的c和规定的s求得的亮度对比度I(c，s)的整个图像的集合体在以下称为亮度对比度I的特征量图。 关于亮度对比度I的特征量图，重复步骤S61至S65的循环处理的结果，能够求得6种。 像这样，在求取了6种亮度对比度I的特征量图时，在步骤S65被判定为“否”，处理进入步骤S66。
花的名称: CN103324655B – 图像检索系统、图像检索装置以及图像检索方法
即，相对图11A的步骤S62和S63的处理对象为亮度成分，图11B的步骤S82和S83的处理对象是颜色成分。 对于各特征量图创建处理的详细例，参照图11和图12在后叙述。 例如，在图8的例子中，对主要被摄体的区域的种子64-1、64-2、以及背景区域的种子65-1、65-2进行设定。 例如，在图8的例子中，后述的图12A的多尺度的对比的特征量图创建处理的结果，创建有特征量图Fc。
由此，作为图8的步骤Sf的处理如上述，与处理对象图像数据对应的帧图像，被分(分害I])为主要被摄体的区域和背景区域。 因此，在步骤S28中，CPU7将分割后的主要被摄体的区域对应的数据作为“运动图像”的图像数据暂时保存在存储部13等。 因为花成长，所以在保存的花的图像和拍摄的花的图像中，图像上花开的情况、株高等不同的可能性高，但在本发明涉及的花检索系统中，能够鉴别为相同花的名称。 与被鉴别的花的名称对应，因为在数据库110存储有用于培育花的向导信息。
130是作为工作存储器而发挥作用的存储部，150是对整个服务器进行控制的控制部。 控制部150具有CPU70，并且具有存储由CPU70执行的用于花检索的各种程序的程序存储部80。 控制部150还具有提取部90，该提取部90通过执行按照规定的算法的程序来进行花检索并提取候选图像。
在处理对象图像数据不是最后的拍摄图像数据的情况下，步骤S29中，判定为“否”，处理返回到步骤S21。 花的名称2025 即，按照构成运动图像数据等的多个拍摄图像数据的每一个，通过反复执行步骤S21至S29的循环处理，依次提取“运动图像”的图像数据。 在由步骤Sf的图割法的区域分割处理中，处理对象图像61被分(分割)为主要被摄体的区域和背景区域。
另外,后述的图12B的“中心-周围”(Center-Surround)的颜色直方图的特征量图创建处理的结果，创建有特征量图Fh。 另外，图12C的色空间分布的特征量图创建处理的结果，创建特征量图Fs。 花的名称 例如，作为特征量图创建处理，使用明亮度、彩度、色调、以及动作的各特征量，也能够采用制作各自的特征量图的处理。
花的名称: CN103324655B – 图像检索系统、图像检索装置以及图像检索方法
在步骤Sb中，CPU7使用显著性图，从处理对象图像中估计吸引人的视觉注意的可能性高的图像区域(以下，称为关注点区域)。 例如，在图8的例子中，使用显著性图S，从处理对象图像61中估计出多个阶段的关注点区域62-1至62-N(N是I以上的整数值，在图8的例中至少是4以上的整数值)。 在实施方式中，以例子对通信终端经由因特网与服务器连接的系统进行说明，但也可以作为将所有的构成收纳在一个框体的独立的图像检索系统来实现。 这种情况下，图11A的步骤S61至S65的循环处理的结果，求得6种亮度对比度I的特征量图。 与此相对，图11B的步骤S81至S85循环处理的结果，求得6种色调对比度RG的特征量图、和6种色调对比度BY的特征量图。
花的名称: CN103324655A – 图像检索系统、图像检索装置以及图像检索方法
另外，后述的图12B的“中心-周围”(Center-Surround)的颜色直方图的特征量图创建处理的结果，创建有特征量图Fh。 花的名称2025 花的名称 另外，以下，为了将方向性的特征量图与其他的特征量图进行区别，记述为F0。 花的名称 S卩，CPU7用多个阶段的关注点区域62-1至62-N，提取关注点区域的核心区域。