开发专栏
NEW
装载了图像处理器的电子设备必须使用负责处理图像等的图像单处理器（ISP）。这就需要面临ISP用固件的开发这一课题。本篇连载的第一期在介绍了ISP用固件开发现状的同时，也阐述了为了解决这一开发上的问题THine Electronics的对策。使用本公司提供的「相机开发套件（CDK：Camera Development Kit）」，就能解决这一课题。本次连载的第二期，将详细说明组成相机开发套件的要素之一的GUI工具--「THine Tuning Tool」（简称「3T」）。使用这一工具，只要有一定相机和图像处理相关知识，即便没有固件开发的经验，也能开发出ISP用固件。
CDK有很大的好处
THine Electronics提供的「相机开发套件（CDK）」适用于开发本公司的ISP芯片「THP7312」的固件。是在框架操纵板、装载了ISP芯片的基板、装载了图像传感器的前板等硬件的基础上，加入了固件程序库和源代码构成的软件开发套件（SDK）、可定制SDK的GUI工具「THine Tuning Tools（3T）」构成的（图1）。也就是说，用硬件开发套件、软件开发套件和GUI工具这3个构成要素，来开发ISP用固件。开发负责人说：「虽然有提供软件开发套件的ISP芯片供货商，但目前并没有在此基础上能连带提供硬件和GUI工具的3件套的供货商。（*指截止我司开始开发为止）
这3件套中，对客户好处最多的是GUI工具。在安装了GUI工具的PC商，只要输入数值并在下拉菜单中选择项目就可以自动生成固件。在大幅削减固件开发费用的同时，还能缩短开发周期。此外，只要具有一定相机（光学系）和图像处理相关知识，就无需再安排安装固件的专业工程师。
除此之外还有别的好处。因此能简单并快速地生成固件，就可以将开发时间更多地运用于对画质的反复实验/测试；测试各种性能各异的相机模组；替换光学镜头；确认阻隔/过滤红外线（IR）效果等相继开发的基本操作上。
配备10个配置程序
接下来让我们具体看一下GUI工具「3T」（图2）。
这个GUI工具最大的作用是优化画质。连载第1期里也提及过：图像传感器拍摄的图像数据本身并不完整。因此需要对其进行一系列的处理。要实现这些处理就需要用到配置程序。一般ISP用固件的编程码必须直接记述；但使用GUI工具就可在PC上通过简单的操作自动生成ISP用固件。
总共有10个配置程序。我们简单地来一个个看一下。
第1个是「AE: Register Configurator」。这个固件负责调整自动曝光（自动扩展）。可设定使图像更明亮或者更暗及闪屏对抗等基本参数。
第2个是「AE: Threshold Configurator」（图3）。
这也是关于自动曝光的。可设定为对抗电机振动的AE追从性等。
第3个是「AE: Window Configurator」；也是关于自动曝光的。可实行组合了５种测光范围的AE（图4）。
具体来说就是可以将一幅图像切割成8x6的范围后设定附带重量；以及在任意的范围内测光。比如人物照的话就可将其设定为更重视中央部分的明亮度。
第4个就是「AE: Diagram Configurator」。这是对被摄体的明亮度通过方框图（图表）来设定增益与快门速度（实际指倒数的曝光时间）的一种配置程序。增益与曝光时间是互相调整的关系。曝光时间越短就越不容易受抖动影响，但需要将增益提高所以噪点就会变大。但如果为了降低噪点而将曝光时间延长，则对抖动的耐力就会变弱。因此，根据用途不同，很难单选1个图表。而这个配置程序可同时记录3种模式。即降噪并画质优先的模式以及拍摄高速运动中的被摄体的防抖动模式等。
第5个就是「AWB/IQ: Register Configurator」。负责噪点修正与锐度相关的设定。噪点修正功能可为ISP芯片提供硬件过滤和选择自动设定或手动设定。在锐度调整上则可对拍摄图像的轮廓进行强化调整。虽然在人物照时无法使轮廓更清晰，但在设定文字较多的图像时可其更清晰。此外，也可对白平衡、Tone Map、OB（光学黑体）、缺陷修正等进行调整。
总共有10个配置程序。我们简单地来一个个看一下。
第1个是「AE: Register Configurator」。这个固件负责调整自动曝光（自动扩展）。可设定使图像更明亮或者更暗及闪屏对抗等基本参数。
第2个是「AE: Threshold Configurator」（图3）。
第3个是「AE: Window Configurator」；也是关于自动曝光的。可实行组合了５种测光范围的AE（图4）。
第4个就是「AE: Diagram Configurator」。这是对被摄体的明亮度通过方框图（图表）来设定增益与快门速度（实际指倒数的曝光时间）的一种配置程序。增益与曝光时间是互相调整的关系。曝光时间越短就越不容易受抖动影响，但需要将增益提高所以噪点就会变大。但如果为了降低噪点而将曝光时间延长，则对抖动的耐力就会变弱。因此，根据用途不同，很难单选1个图表。而这个配置程序可同时记录3种模式。即降噪并画质优先的模式以及拍摄高速运动中的被摄体的防抖动模式等。
第5个就是「AWB/IQ: Register Configurator」。负责噪点修正与锐度相关的设定。噪点修正功能可为ISP芯片提供硬件过滤和选择自动设定或手动设定。在锐度调整上则可对拍摄图像的轮廓进行强化调整。虽然在人物照时无法使轮廓更清晰，但在设定文字较多的图像时可其更清晰。此外，也可对白平衡、Tone Map、OB（光学黑体）、缺陷修正等进行调整。
可进行细微的色彩调整
第6个是「AWB/IQ: AWB Configurator」。能在3个光源下使用EVB（Evaluation Board）对均等面（18%灰度等）拍摄RAW图像；并自动调整白平衡等参数。
第7个是「AWB/IQ: Color Configurator」。这是与色彩相关的配置程序。可设定3种光源各自的色彩矩阵、鲜艳度和对每个色调进行微调（图5）。
其特征是「可通过6轴设定，能进行细微的调整」（THine Electronics）。可针对相机不同的目的用来制作图像。
第8个是「AWB/IQ: Shading Configurator」。一般光学镜头＋图像传感器的特点是从中央向两边其受光会越来越困难。因此不做修正的话中央就会明亮，越往外延就会越暗。镜头底纹配置器的原理是通过输入AWB配置器的3种光源下均等面的RAW数据，既能自动生成适合所用的光学镜头的底纹参数。需要什么程度的明亮度也可由用户自行设定。
第9个是「AWB/IQ: Tone map Configurator」。这是一个负责被称作伽马修正的一种调整的配置程序。可指定图像等级的输出特性；设定并区别使用复数的伽马曲线；来实现客户喜好的各种「对图像的调整」。
第10个是「AWB/IQ: Gain Based Parameter Configurator」。这个配置程序可用于根据设定的增益值，对 NR（噪点修正）、锐度及鲜艳度和色彩的强度进行调整。比如增益高且噪点多的较暗的摄影条件下，通过提高NR强度来控制噪点；一方面在增益低时调低NR强度以保证分辨率。
第7个是「AWB/IQ: Color Configurator」。这是与色彩相关的配置程序。可设定3种光源各自的色彩矩阵、鲜艳度和对每个色调进行微调（图5）。
第8个是「AWB/IQ: Shading Configurator」。一般光学镜头＋图像传感器的特点是从中央向两边其受光会越来越困难。因此不做修正的话中央就会明亮，越往外延就会越暗。镜头底纹配置器的原理是通过输入AWB配置器的3种光源下均等面的RAW数据，既能自动生成适合所用的光学镜头的底纹参数。需要什么程度的明亮度也可由用户自行设定。
第9个是「AWB/IQ: Tone map Configurator」。这是一个负责被称作伽马修正的一种调整的配置程序。可指定图像等级的输出特性；设定并区别使用复数的伽马曲线；来实现客户喜好的各种「对图像的调整」。
第10个是「AWB/IQ: Gain Based Parameter Configurator」。这个配置程序可用于根据设定的增益值，对 NR（噪点修正）、锐度及鲜艳度和色彩的强度进行调整。比如增益高且噪点多的较暗的摄影条件下，通过提高NR强度来控制噪点；一方面在增益低时调低NR强度以保证分辨率。
配置程序的使用方法
通过这10个配置程序能进行怎样的设定呢？我们来根据不同用途列举2个例子。
1个是产业用机器视觉的案例。以在控制面板上装载了左上和右下的LSI的状态下测试时为例，2个LSI材质不同时，其中一个调试为适应曝光度，另一个就会出现黑斑或跳白。这里就需要用到第3个介绍的配置程序「AE: Window Configurator」。先用左上的LSI实装部分调试曝光度拍摄；再用右下的LSI实装部分来调试曝光度并拍摄。这样就能在需要的部位得到鲜明的图像，进行正确的调试。
另1个就以数字化镜台和美颜相机为例。拍摄脸部照片时对肤色等不同国家地区都会有不同爱好。这就需要用到第7个介绍的「Color Configurator」，来调整出个人喜好的色调。通过这样的「图像制作」，能提高数字相机的商品价值。
1个是产业用机器视觉的案例。以在控制面板上装载了左上和右下的LSI的状态下测试时为例，2个LSI材质不同时，其中一个调试为适应曝光度，另一个就会出现黑斑或跳白。这里就需要用到第3个介绍的配置程序「AE: Window Configurator」。先用左上的LSI实装部分调试曝光度拍摄；再用右下的LSI实装部分来调试曝光度并拍摄。这样就能在需要的部位得到鲜明的图像，进行正确的调试。
另1个就以数字化镜台和美颜相机为例。拍摄脸部照片时对肤色等不同国家地区都会有不同爱好。这就需要用到第7个介绍的「Color Configurator」，来调整出个人喜好的色调。通过这样的「图像制作」，能提高数字相机的商品价值。
还具有I/O设定等方便的功能
GUI工具除了这10个画质调整用配置程序外，还具有I/O配置程序与驱动模式程序等方便的功能。
I/O配置程序与ISP芯片的输入输出信号相关（图6）。
SP芯片中输入I/F分为2种：MIPI CSI-2信号和并联信号。而输出I/F分为3种：MIPI CSI-2信号、8bit的并联信号和16bit的并联信号。因此需要根据前段和后段的装置来设定与所选信号形式相符的输入/输出端机能。使用这次准备的I/O配置程序就能在PC上简单地进行设定。
驱动模式配置程序是一种自动设定图像传感器的图像尺寸和匹配其帧率的ISP芯片内部的时钟频率以及I/F的比特率等的功能。「THP7312」最大可对应1600万像素（16M像素）。帧率根据图像尺寸最大可对应30帧/秒（4K2K）、120帧/秒（1080p）和240帧/秒（720p）。选择像素尺寸和帧率即可自动设定ISP芯片内部的时钟频率。此外它还具有记录复数的驱动模式的功能。可记录「4K2K、30fps模式」和「Full HD、30fps模式」等。
这次我们对GUI工具、3T即THine Tuning Tool上装载的配置程序进行了详细解说。无论哪种配置程序，都能在装载了图像传感器的机器视觉和监控摄像、数码相机等用途上发挥重要的效果。但是GUI工具「3T」可应用的用途还不仅仅是这些。目前已经在「XR对应设备」的功能上实际装载了。下一期（第三期）我们将在详细说明这一机能的同时，为大家介绍相机开发套件的次时代战略。
（待续）
I/O配置程序与ISP芯片的输入输出信号相关（图6）。
驱动模式配置程序是一种自动设定图像传感器的图像尺寸和匹配其帧率的ISP芯片内部的时钟频率以及I/F的比特率等的功能。「THP7312」最大可对应1600万像素（16M像素）。帧率根据图像尺寸最大可对应30帧/秒（4K2K）、120帧/秒（1080p）和240帧/秒（720p）。选择像素尺寸和帧率即可自动设定ISP芯片内部的时钟频率。此外它还具有记录复数的驱动模式的功能。可记录「4K2K、30fps模式」和「Full HD、30fps模式」等。
这次我们对GUI工具、3T即THine Tuning Tool上装载的配置程序进行了详细解说。无论哪种配置程序，都能在装载了图像传感器的机器视觉和监控摄像、数码相机等用途上发挥重要的效果。但是GUI工具「3T」可应用的用途还不仅仅是这些。目前已经在「XR对应设备」的功能上实际装载了。下一期（第三期）我们将在详细说明这一机能的同时，为大家介绍相机开发套件的次时代战略。
（待续）
