本实施方式的图像处理装置是与实施方式3的图像处理装置1a相同的构成，但图像校正部104a的动作不同。 朝向信息获取部103获取表示拍摄到输入图像时的摄像装置的朝向(摄像装置是纵向(拍摄纵向长的图像的朝向)还是横向(拍摄横向长的图像的朝向))的朝向信息。 关于拍摄到输入图像时的摄像装置的朝向，能计测加速度(重力)相对于摄像装置的朝向，并将此作为与拍摄到输入图像时的摄像装置的朝向有关的信息。 例如，加速度(重力)相对于摄像装置的朝向能通过摄像装置所具备的加速度传感器来计测。 由此，获取拍摄到输入图像时的摄像装置的朝向为纵向还是横向的信息。
在该情况下，在图16的的条件下对被摄体1602进行拍摄的情况下的摄像装置1300相对于被摄体1602的倾斜角度α1大于在图16的的条件下对被摄体1602进行拍摄的情况下的摄像装置1300相对于被摄体1602的倾斜角度α2。 因此，通过对以多个旋转量进行投影变换后的图像进行评价，可能会能生成进行了最佳的投影变换的图像。 例如，在图16的和的拍摄条件下，进行了最佳的投影变换的图像对称性变高，因此易于从以多个旋转量进行投影变换后的图像之中选择对称构图来作为适当的构图。 在一个实施方式中，在以多个旋转量进行投影变换后的候选图像之中，将对称构图的得分设定得最高，由此易于从候选图像之中选择对称构图来作为最佳的图像。 花的中心 此外，在另一实施方式中，用户能从以多个旋转量进行投影变换后的候选图像之中选择最佳的图像。
花的中心: CN110506292A – 图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序
终端装置1801具备显示部2、拍摄部3、操作部4、朝向检测部5、第二通信部1802以及控制部1805。 图15的表示摄像装置1300的表面，图15的表示摄像装置1300的背面。 图15中的x轴方向表示摄像装置1300的纵向，y轴方向表示摄像装置1300的横向。
- 即，输入图像的宽高比的横向越长，则即使旋转量相同，通过旋转校正而得到的输出图像相对于输入图像的面积的减小率也越大。
- 如上所述，输入图像401、405、501、505中的任一个均是以被摄体402位于图像中央的方式所拍摄的图像，但作为优选的印象的构图根据输入图像的宽高比而变化。
- 图3的的三分法构图是主要被摄体或主要的线(例如，水平线等)位于分别将图像的纵向和横向分割为三部分的线上或这些线的交点上的构图。
- 存储部6存储例如图像处理装置1b所执行的各种控制程序等，由例如硬盘、闪存等非易失性的存储装置构成。
- 13.一种图像处理程序，用于使计算机作为权利要求1至7中的任一项所述的图像处理装置来发挥功能，所述图像处理程序用于使计算机作为所述图像校正部而发挥功能。
- 图像校正部104b基于宽高比信息获取部102所获取到的宽高比信息或朝向信息获取部103b所获取到的朝向信息来确定针对输入图像的投影变换的旋转轴。
- 此外，输入图像的被摄体信息也可以是从图像处理装置1的外部被输入至图像处理装置1的构成。
接着，朝向信息获取部103b获取表示朝向检测部5所检测到的拍摄到输入图像时的摄像装置的朝向(摄像装置是纵向还是横向)的朝向信息。 朝向信息获取部103b将获取到的朝向信息提供给图像校正部104b。 图像校正部104b基于宽高比信息获取部102所获取到的宽高比信息或朝向信息获取部103b所获取到的朝向信息来确定针对输入图像的投影变换的旋转轴。 花的中心 而且，图像校正部104b针对已确定的投影变换的旋转轴对输入图像进行投影变换，生成校正后的输出图像。 存储部6存储例如图像处理装置1b所执行的各种控制程序等，由例如硬盘、闪存等非易失性的存储装置构成。 此外，在存储部6中也可以存储有图像处理(构图校正处理)、被摄体的检测处理等图像处理装置1b中的处理所需的参数等。
花的中心: CN110506292A – 图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序
此外，图像校正部104也可以综合考虑输入图像的像素数等图像信息、拍摄到输入图像时的焦点位置等拍摄信息来评价构图。 需要说明的是，也可以是像这样的图像信息和拍摄信息与输入图像一起从图像处理装置1的外部输入至图像处理装置1的构成。 此外，输入图像的像素数等图像信息可以由图像校正部104基于输入图像来计算出，也可以是图像处理装置1还具备图像信息计算部(未图示)的构成，由该图像信息计算部基于输入图像来计算出像素数等图像信息。 在生成其他构图的输出图像的情况下，图像校正部104也同样以使被摄体的位置在输出图像中适合于构图的方式确定裁剪区域，根据裁剪区域内的各像素的数据生成输出图像的数据即可。 花的中心 此外，在一个方案中，图像校正部104可以使输入图像旋转来进行裁剪，也可以将使裁剪后的图像旋转而成的图像作为输出图像。 本发明的方案11的摄像装置是如下构成：在上述的方案10中还具备朝向检测部，该朝向检测部用于检测所述摄像装置的朝向，所述图像处理装置(1、1a、1b)基于所述朝向检测部检测到的所述摄像装置的朝向来生成所述输出图像。
- 而且，图像校正部104b针对已确定的投影变换的旋转轴对输入图像进行投影变换，生成校正后的输出图像。
- 在一个实施方式中，图像校正部104对基于宽高比以外的基准(例如，被摄体的线对称性等)计算出的得分加上基于宽高比的追加得分，选择得分最高的构图即可。
- 朝向检测部5检测拍摄到输入图像时的摄像装置1300的朝向(摄像装置是纵向还是横向)。
- 同样地，图像校正部104a从输入图像1104检测水平线1103作为用于进行水平校正的直线。
- 需要说明的是，这里所谓的“计算机系统”包括OS、周边设备等硬件。
- 所述图像校正部根据所述输入图像或输出图像的宽高比或者拍摄到所述输入图像时的摄像装置的朝向来切换所述投影变换的旋转轴。
需要说明的是，在另一个方案中，图像校正部104也可以根据拍摄到输入图像时的摄像装置的朝向来代替输入图像的宽高比，限制裁剪中的输入图像的切除宽度。 本实施方式的图像处理装置是与实施方式1的图像处理装置1相同的构成，但图像校正部104的动作不同。 当裁剪区域极端窄时，输出图像的视角相对于拍摄图像的视角变窄，因此输出图像可能会成为与拍摄者的意图不同的构图。 花的中心 例如，在对称性高的小的被摄体被包括于输入图像内的情况下，若仅裁剪该被摄体部分，则虽然输出图像的对称性变高，但视角变窄，此外，分辨率降低。 因此，例如，输出图像的视角与输入图像的视角的比例越大，则评价越高，由此优选的是，容易选择宽视角的构图。
花的中心: CN110506292A – 图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序
图像处理装置1a对输入至图像处理装置1a的输入图像进行使图像旋转的图像处理，生成校正后的图像(输出图像)。 如图9所示，图像处理装置1a与实施方式1的图像处理装置1的不同点在于，控制部10a具备图像校正部104a来代替图像校正部104，以及还具备朝向信息获取部103。 通过采用这样的构成，图像处理装置1a能根据输入图像或输出图像的宽高比或者根据拍摄到输入图像时的摄像装置的朝向来切换输入图像的旋转的精度。 如以上说明的那样，在图像处理装置1b中，考虑到因图像的宽高比的差异引起的拍摄时的摄像装置1300相对于被摄体的朝向，图像校正部104b切换投影变换的旋转轴进行投影变换，由此能生成进行了适合于宽高比的投影变换的输出图像。 此外，如果拍摄到输入图像时的摄像装置的朝向为横向，则拍摄图像(输入图像)变为横向长，因此输入图像的宽高比为横向长的情况的说明适用于图像校正部104b的处理。 花的中心2025 如果摄像装置具备加速度传感器，则能检测拍摄时的摄像装置相对于铅垂方向的倾斜的程度，但加速度传感器并不始终能正确地检测摄像装置相对于水平方向倾斜的程度，有时在基于由加速度传感器检测到的倾斜角进行校正的图像中，产生来自水平方向的偏差。
花的中心: CN110506292A – 图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序
摄像装置一般根据拍摄时的摄像装置的朝向，拍摄纵向长的图像或横向长的图像。 摄像装置例如具备计测加速度(重力)相对于摄像装置的朝向的加速度传感器，由此，能获取与拍摄时的摄像装置的朝向有关的信息。 在一个方案中，摄像装置能将表示拍摄到输入图像时的摄像装置的朝向的信息作为元数据提供给输入图像。 在该情况下，图像校正部104能从该元数据获取拍摄到输入图像时的摄像装置的朝向。 此外，在其他方案中，图像校正部104与摄像装置相连接或嵌入至拍摄装置，能从摄像装置接收表示拍摄到输入图像时的摄像装置的朝向的信息。
花的中心: CN110506292A – 图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序
基于图16的中所示的轴向对此进行说明，在图16的中，摄像装置1300相对于被摄体1602的朝向发生以y轴为中心的旋转。 图17的示出了在图16的所示的条件下对被摄体1602进行拍摄的情况下的拍摄图像1701。 因此，摄像装置1300相对于被摄体1602的朝向未发生以y轴为中心的旋转。 图17的示出了在图16的所示的条件下对被摄体1602进行拍摄的情况下的拍摄图像1702。 花的中心2025 被摄体1602为对称性高的被摄体，因此通过以对称构图进行拍摄而成为适当的印象的图像。 但是，如图16的所示，在从倾斜方向拍摄的情况下，成为了对称性低的图像。
花的中心: CN110506292A – 图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序
另一方面，在图16的的条件下进行拍摄的情况下，拍摄部3位于比摄像装置1300的中央靠上侧或靠下侧，因此可能会相对于被摄体1602产生上下方向的倾斜。 即，在摄像装置1300相对于被摄体1602的朝向可能会发生以x轴为中心的旋转。 因此，在评价拍摄图像1702并选择最佳的构图的情况下，图像校正部104b为了抵消在从上倾斜方向或从下倾斜方向进行拍摄的情况下产生的摄像装置1300的倾斜，包括进行了校正以x轴为中心的旋转的投影变换的图像来进行评价，并选择最适当的构图即可。 花的中心 例如，日之丸式构图中的主要被摄体是重要的，通过检测主要被摄体，评价其位置、大小，能评价是否适合日之丸式构图。 此外，通过检测图像中的直线，并评价直线的倾斜，能进行对于水平度、对角线构图的评价。
花的中心: CN110506292A – 图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序
就像── • ◎春天時去攀岩，只是去看一種叫守城滿山紅的淡紅色杜鵑 花。 ◎回台中時，都要順道去 拜訪泰安車站，看看不同季節時，它 的變化。 • 這樣的旅行方式已然成為劉克襄生命中最本質的需求；他習慣 藉著遊走山水安撫自我，也藉此來持續年輕。
花的中心: CN110506292A – 图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序
同样地，在输入图像1104的左侧用箭头表示的宽度W3表示从输入图像1104的图像下端到水平线1103的长度，在输入图像1104的右侧用箭头表示的宽度W4表示从输入图像1104的图像下端到水平线1103的长度。 虽然从图像下端到水平线1103的宽度在输入图像1101和1104中在左右都不同，但宽度W3与宽度W4的差比宽度W1与宽度W2的差大。 因此，相比于输入图像1101，输入图像1104中更容易识别水平线1103的倾斜。 即，图像的宽高比的横向越长，越容易识别水平线的倾斜，因此在输入图像的构图的校正中，在宽高比为横向长的情况下，水平校正的精度是重要的。
花的中心: CN110506292A – 图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序
需要说明的是，投影变换的旋转角度没有特别限定，也可以是分别输出以多个预先确定的角度旋转后的角度。 花的中心2025 如图16的～所示，在有意识地以被摄体1602位于拍摄图像的中心的方式进行拍摄的情况下，有时在拍摄者1601、摄像装置1300的中心以及被摄体1602位于一条直线上的状态下进行拍摄。 但是，在使用像摄像装置1300这样的在横向保持的情况下拍摄部3不位于中央的摄像装置的情况下，如图16的所示，有时从倾斜方向拍摄被摄体1602。
花的中心: CN110506292A – 图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序
具体而言，图像校正部104根据所确定的构图来裁剪输入图像，由此生成校正为适当的构图的图像。 需要说明的是，“被摄体的代表位置”是指被摄体中的任意一点的位置，例如，在被摄体为人物的情况下是人物的脸部，在被摄体为物体的情况下是物体的中心位置，在被摄体存在多个的情况下是关注被摄体的位置。 图像处理装置具备图像校正部，所述图像校正部对输入图像进行裁剪、旋转以及投影变换中的至少一种校正来生成输出图像，图像校正部基于所述输入图像或输出图像的宽高比或者拍摄到所述输入图像时的摄像装置的朝向来进行所述校正。 根据上述构成，根据图像的宽高比或拍摄到输入图像时的摄像装置的朝向来切换投影变换的旋转轴，因此能生成被适当地校正为倾斜的输出图像。 也可以是，本发明的方案5的图像处理装置在在上述的方案1中采用所述图像校正部根据所述输入图像或输出图像的宽高比或者拍摄到所述输入图像时的摄像装置的朝向来切换所述旋转的精度的构成。 此外，如果拍摄到输入图像时的摄像装置的朝向为横向(拍摄横向长的图像的朝向)，则输入图像的宽高比为横向长的情况的说明适用于图像处理装置1a的处理。
因此，为了高精度地进行水平校正，图像处理装置1a的图像校正部104a从图像检测作为水平方向的线索的信息(水平方向信息)，基于检测到的水平方向信息来对水平进行校正。 花的中心 作为输入图像中的水平方向信息，可以列举出输入图像中的直线、人物的面部朝向等。 为了解决上述问题，本发明的一个方案的图像处理装置是如下构成：具备图像校正部，对输入图像进行裁剪、旋转以及投影变换中的至少一种校正来生成输出图像，所述图像校正部基于所述输入图像或输出图像的宽高比或拍摄所述输入图像时的摄像装置的朝向来进行所述校正。 拍摄图像1701从右倾斜方向进行拍摄的可能性低，但其倾斜角度根据到被摄体1602的距离等、摄像装置1300与被摄体1602的位置关系而改变。 例如，在图16的和中，摄像装置1300与被摄体1602之间的距离不同。
以下，对输入图像的宽高比与输出图像的宽高比相同的情况，就是说，基于输入图像的宽高比来进行针对输入图像的投影变换的情况进行具体说明。 在一个方案中，图像校正部104以下述的方式裁剪如图4所示那样的被摄体位于左上的三分割点上的三分法构图的输出图像。 图像处理装置1进行对输入至图像处理装置1的输入图像进行裁剪来校正构图的图像处理，生成校正后的图像(输出图像)。 此外，虽省略了图示，但图像处理装置1和显示部2具备用于实现无线连接或有线连接的通信部或连接部。 也可以是，本发明的方案8的图像处理装置(控制部10)在上述的方案1～7中的任一项中采用具备第一通信部的构成，所述第一通信部从终端装置接收所述输入图像以及表示拍摄到所述输入图像时的摄像装置(拍摄部3)的朝向的信息，并将所述输出图像发送至所述终端装置。
接着，图像校正部104b针对在步骤S34中确定的旋转轴，对输入图像进行投影变换，生成校正后的输出图像。 控制部7控制在摄像装置1300内所具备的各部，例如基于由操作部4接受到的拍摄指示来控制拍摄部3，或基于由朝向检测部5检测到的摄像装置1300的倾斜来控制显示于显示部2的图像的朝向等。 接着，图像校正部104基于在步骤S13中检测到的被摄体信息和在步骤12中获取到的宽高比信息从输入图像裁剪图像，生成构图被校正后的输出图像。
花的中心: CN110506292A – 图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序
像这样的图像，在平行移动、旋转等已知的仿射变换中，无法校正为像拍摄图像1702那样的正对被摄体1602的图像。 因此，在已知的方法中，无法将拍摄图像1701校正为对称性高的图像。 为了将拍摄图像1701校正为像拍摄图像1702那样的对称性高的图像，考虑到从右倾斜方向拍摄被摄体1602，图像校正部104b需要进行以y轴为中心的旋转的投影变换。 图像处理装置1b对输入至图像处理装置1b的输入图像，进行使图像以特定的轴为中心旋转的投影变换的图像处理，生成校正后的图像(输出图像)。 如图13所示，图像处理装置1b与实施方式1的图像处理装置1的不同点在于，控制部10b具备图像校正部104b来代替图像校正部104、控制部10b还具备朝向信息获取部103b以及控制部10b代替存储部20而与图像处理装置1b的外部的存储部6连接。 通过采用这样的构成，图像处理装置1b能根据输入图像或输出图像的宽高比或者根据拍摄到输入图像时的摄像装置的朝向来切换针对输入图像的投影变换的旋转轴。
此外，输入图像的被摄体信息也可以是从图像处理装置1的外部被输入至图像处理装置1的构成。 例如，能采用如下构成：用户在显示于显示部2的输入图像上选择被摄体，所选择的被摄体的位置作为输入图像中的被摄体信息被输入至图像处理装置1。 例如，在显示部2是触摸面板的情况下，用户能通过触摸触摸面板来选择被摄体。 作为如上所述的校正图像的技术，例如，存在专利文献1所记载的技术。
花的中心: CN110506292A – 图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序
至此，虽然对构图的评价方法进行了举例描述，但在本实施方式中，进一步考虑图像的宽高比来校正构图，由此生成适当的构图的输出图像。 输入图像以拍摄者所意图的被摄体的朝向被拍摄的可能性高，因此虽然由于手抖、拍摄者的拍摄技术而使被摄体可能会稍微倾斜，但相对于拍摄者所意图的被摄体的朝向极端大地倾斜地拍摄的可能性低。 因此，例如，输出图像的被摄体相对于输入图像的被摄体的朝向的倾斜越大，则评价越低，由此优选的是，难以选择被摄体相对于输入图像极端倾斜的构图。 具备第一通信部，从终端装置接收所述输入图像以及表示拍摄到所述输入图像时的摄像装置的朝向的信息，并将所述输出图像发送至所述终端装置。 所述图像校正部根据所述输入图像的宽高比或拍摄到所述输入图像时的摄像装置的朝向来限制所述裁剪中的所述输入图像的切除宽度。
所述图像校正部根据所述输入图像或输出图像的宽高比或者拍摄到所述输入图像时的摄像装置的朝向来切换所述旋转的精度。 也可以是，本发明的方案6的图像处理装置在上述的方案1中采用所述图像校正部根据所述输入图像的宽高比来限制所述旋转的旋转量的构成。 图16是说明拍摄者1601保持摄像装置1300来拍摄被摄体1602的情形的图。 在图16的和中示出了从上方俯瞰拍摄者1601横向(为了拍摄横向长的图像)保持摄像装置1300来拍摄被摄体1602的情形，图16的示出了从上方俯瞰拍摄者1601纵向(为了拍摄纵向长的图像)保持摄像装置1300来拍摄被摄体1602的情形。
花的中心: CN110506292A – 图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序
另一方面，直线的角度精度越低，则直线的倾斜的校正精度越降低，但在图像的宽高比不为横向长的情况下，难以识别水平线的倾斜，因此难以识别微小的倾斜。 直线能通过霍夫变换等已知的方法进行检测，但越提高角度精度(旋转角度的分辨率)，则图像的处理量越增大，越需要处理时间。 因此，在图像的宽高比不为横向长的情况下，优选能够通过降低角度精度来削减处理量，进行高速处理。 以下，对图像处理装置1a的图像校正部104a所进行的校正进行具体说明。
花的中心: CN110506292A – 图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序
即，输入图像的宽高比的横向越长，则即使旋转量相同，通过旋转校正而得到的输出图像相对于输入图像的面积的减小率也越大。 其结果是，通过旋转校正而得到的输出图像相对于输入图像的视角的减小率变大。 因此，输入图像的宽高比的横向越长或纵向越长，则图像校正部104a将旋转量的最大值设定得越小，由此能降低输出图像相对于输入图像的视角的减小。 在输入图像1101的左侧用箭头表示的宽度W1表示从输入图像1101的图像下端到水平线1103的长度，在输入图像1101的右侧用箭头表示的宽度W2表示从输入图像1101的图像下端到水平线1103的长度。