开发专栏
NEW
拍摄图像和影像的半导体装置—图像传感器常被装载于数码相机和智能手机、汽车等各种电子设备上。但是，光靠图像传感器(Image Sensor)是无法完全发挥全部机能的。需要与负责图像处理的「Image Signal Processor（ISP）」一起使用，缺一不可。但问题在于ISP的固件开发非常困难。为了解决这一问题，Thine Electronics开始提供「相机开发工具（CDK）」。这次我们将就CDK开发的背景和实际采用时的效能等进行解说。
对图像传感器来说ISP是不可或缺的
图像传感器的应用范围很广泛。不仅可用于数码相机和智能手机等，在汽车、监控摄像头、产业机械、投影仪（visualizer）、WEB会议系统、医疗用电子设备；甚至在AR(擴增實境) 、VR(虛擬實境) 、MR(混合實境)等对应XR设备的使用率也在急速增加。
要在这些电子设备里装入图像传感器就必须用到「Image Signal Processor（ISP）」。因为仅凭图像传感器拍摄出的图像数据只能称作「不完全的图」。需要使用ISP来去除噪点、调整明暗度、校正被摄物的焦点 (focus)等作出各种处理。具体来说需要经过Demosaic（Debayer）、降噪、自动曝光 (AE)、自动对焦等处理来做成「完全的图」（图1）。
因此，要在电子设备里安装图像传感器需要选择并使用最合适的ISP。但根据电子设备的不同，ISP的形式也会有所不同。在智能手机中大多会使用面向移动终端的芯片组内整合的ISP机能。极少会使用独立IC。其他电子设备中则较常使用独立ISP芯片或者装载了IP核化的ISP的FPGA。
要在这些电子设备里装入图像传感器就必须用到「Image Signal Processor（ISP）」。因为仅凭图像传感器拍摄出的图像数据只能称作「不完全的图」。需要使用ISP来去除噪点、调整明暗度、校正被摄物的焦点 (focus)等作出各种处理。具体来说需要经过Demosaic（Debayer）、降噪、自动曝光 (AE)、自动对焦等处理来做成「完全的图」（图1）。
因此，要在电子设备里安装图像传感器需要选择并使用最合适的ISP。但根据电子设备的不同，ISP的形式也会有所不同。在智能手机中大多会使用面向移动终端的芯片组内整合的ISP机能。极少会使用独立IC。其他电子设备中则较常使用独立ISP芯片或者装载了IP核化的ISP的FPGA。
不容易使用
无论采用何种形式的ISP，想要运用自如并非容易的事。要完成一张「完全的图」，需要开发能将各种参数设定在最适值上的固件。这需要具备相当多的软件、相机（光学）、图像处理等相关知识，并非简单可以完成的。
如大型的智能手机生产商因为需要大量购买整合了ISP的面向移动终端用芯片组，就能得到芯片组供应商很好的协助和支持。也因此，开发固件对他们来说并非难事。
但对中小型智能手机生产商、产业机械用机器视觉设备厂商、监控摄像头厂商等来说，固件的开发就有不小的难度。其购买的芯片组和ISP芯片数量较少，因此也很难得到供应商很好的支持与协助。
当然，这些厂商可以委托提供芯片组或ISP芯片的半导体厂商来进行固件的开发。但这样他们自然需要负担开发费用。这笔费用并不小。「如果年购货数量能超过100万个的application，开发费用即可作为成本吸收；但如果只有每年10万个左右的话，开发费用必然会成为沉重的负担」（THine Electronics）。
即便采用FPGA也很难改善。因为需要自行开发固件这一点还是不变的。而且无法指望ISP核供应商的支持。使用FPGA的话，可以按自身必须的处理内容自行设计回路，来组装硬件。但这样就需要非常高的硬件相关的技术能力。一般电子设备厂商的硬件工程师要少于软件工厂是，所以并非解决问题的良策。
如大型的智能手机生产商因为需要大量购买整合了ISP的面向移动终端用芯片组，就能得到芯片组供应商很好的协助和支持。也因此，开发固件对他们来说并非难事。
但对中小型智能手机生产商、产业机械用机器视觉设备厂商、监控摄像头厂商等来说，固件的开发就有不小的难度。其购买的芯片组和ISP芯片数量较少，因此也很难得到供应商很好的支持与协助。
当然，这些厂商可以委托提供芯片组或ISP芯片的半导体厂商来进行固件的开发。但这样他们自然需要负担开发费用。这笔费用并不小。「如果年购货数量能超过100万个的application，开发费用即可作为成本吸收；但如果只有每年10万个左右的话，开发费用必然会成为沉重的负担」（THine Electronics）。
即便采用FPGA也很难改善。因为需要自行开发固件这一点还是不变的。而且无法指望ISP核供应商的支持。使用FPGA的话，可以按自身必须的处理内容自行设计回路，来组装硬件。但这样就需要非常高的硬件相关的技术能力。一般电子设备厂商的硬件工程师要少于软件工厂是，所以并非解决问题的良策。
自动生成固件
为了解决这些问题，ISP芯片生产商的THine Electronics开始为其ISP芯片「THP7312」提供CDK（相机开发工具）。
CDK主要是由硬件与固件开发用GUI工具「Thine Tuning Tool」、固件样板这3部分组成。硬件里主要有装载THP7312的ISP板、影像撷取卡和内置图像传感器的相机模组前板（图2）。
GUI工具是在电脑上操作的应用程序。可以通过在电脑页面上根据menu输入数值；或从下拉菜单中选择参数，将样板自动改写来开发所需固件（图3）。几乎不需要固件开发的专业知识。因此可在降低开发成本的同时大幅度缩短开发周期。
虽然现在有多家半导体厂商提供ISP芯片，但却很少有提供固件开发的GUI工具的。「即便有半导体厂商提供简易工具，也与敝司提供的GUI工具在执行效能上会有很大差距」（THine Electronics）。FPGA也基本如此。「据我们所知，目前并没有ISP核的供应商在提供固件开发用GUI工具」（THine Electronics）。
因此，对中小型智能手机、产业机械用机器视觉设备、监控摄像头、XR应用设备等生厂商来说，ISP芯片「THP7312」与CDK的组合是目前最佳的选择。这意味着不再需要依靠FPGA。还能实现减少电力消耗、印刷电路板实装面积小型化等价值。因为要装载ISP核，原先需要比较高端的FPGA。这对需要大幅缩小尺寸的XR应用设备来说无疑是个好消息。
下一章我们将就CDK所含的GUI工具的技术细节和使用方法进行详细介绍。
（未完待续）
CDK主要是由硬件与固件开发用GUI工具「Thine Tuning Tool」、固件样板这3部分组成。硬件里主要有装载THP7312的ISP板、影像撷取卡和内置图像传感器的相机模组前板（图2）。
GUI工具是在电脑上操作的应用程序。可以通过在电脑页面上根据menu输入数值；或从下拉菜单中选择参数，将样板自动改写来开发所需固件（图3）。几乎不需要固件开发的专业知识。因此可在降低开发成本的同时大幅度缩短开发周期。
虽然现在有多家半导体厂商提供ISP芯片，但却很少有提供固件开发的GUI工具的。「即便有半导体厂商提供简易工具，也与敝司提供的GUI工具在执行效能上会有很大差距」（THine Electronics）。FPGA也基本如此。「据我们所知，目前并没有ISP核的供应商在提供固件开发用GUI工具」（THine Electronics）。
因此，对中小型智能手机、产业机械用机器视觉设备、监控摄像头、XR应用设备等生厂商来说，ISP芯片「THP7312」与CDK的组合是目前最佳的选择。这意味着不再需要依靠FPGA。还能实现减少电力消耗、印刷电路板实装面积小型化等价值。因为要装载ISP核，原先需要比较高端的FPGA。这对需要大幅缩小尺寸的XR应用设备来说无疑是个好消息。
下一章我们将就CDK所含的GUI工具的技术细节和使用方法进行详细介绍。
（未完待续）
※图的补充说明
（图1 经ISP处理后的影像）
左边为ISP处理前的影像；右边为处理后的影像。将各像素里原为1色的RAW
数据处理为各像素里RGB3色，并进行了降噪。亮度和焦点也由ISP控制。
（图1 经ISP处理后的影像）
左边为ISP处理前的影像；右边为处理后的影像。将各像素里原为1色的RAW
数据处理为各像素里RGB3色，并进行了降噪。亮度和焦点也由ISP控制。
