title前海赛恩电子(深圳)有限公司

  • THine Global Site
  • 新闻(news)
  • phone
  • mail
  • 微信(wechat)

已无需依靠FPGA,ISP用固件的自动生产工具开发

2018/11/11

开发专栏 NEW

拍摄图像和影像的半导体装置—图像传感器常被装载于数码相机和智能手机、汽车等各种电子设备上。但是,光靠图像传感器(Image Sensor)是无法完全发挥全部机能的。需要与负责图像处理的「Image Signal Processor(ISP)」一起使用,缺一不可。但问题在于ISP的固件开发非常困难。为了解决这一问题,Thine Electronics开始提供「相机开发工具(CDK)」。这次我们将就CDK开发的背景和实际采用时的效能等进行解说。

对图像传感器来说ISP是不可或缺的

图像传感器的应用范围很广泛。不仅可用于数码相机和智能手机等,在汽车、监控摄像头、产业机械、投影仪(visualizer)、WEB会议系统、医疗用电子设备;甚至在AR(擴增實境) 、VR(虛擬實境) 、MR(混合實境)等对应XR设备的使用率也在急速增加。

要在这些电子设备里装入图像传感器就必须用到「Image Signal Processor(ISP)」。因为仅凭图像传感器拍摄出的图像数据只能称作「不完全的图」。需要使用ISP来去除噪点、调整明暗度、校正被摄物的焦点 (focus)等作出各种处理。具体来说需要经过Demosaic(Debayer)、降噪、自动曝光 (AE)、自动对焦等处理来做成「完全的图」(图1)。

因此,要在电子设备里安装图像传感器需要选择并使用最合适的ISP。但根据电子设备的不同,ISP的形式也会有所不同。在智能手机中大多会使用面向移动终端的芯片组内整合的ISP机能。极少会使用独立IC。其他电子设备中则较常使用独立ISP芯片或者装载了IP核化的ISP的FPGA。
 

不容易使用

无论采用何种形式的ISP,想要运用自如并非容易的事。要完成一张「完全的图」,需要开发能将各种参数设定在最适值上的固件。这需要具备相当多的软件、相机(光学)、图像处理等相关知识,并非简单可以完成的。

如大型的智能手机生产商因为需要大量购买整合了ISP的面向移动终端用芯片组,就能得到芯片组供应商很好的协助和支持。也因此,开发固件对他们来说并非难事。


但对中小型智能手机生产商、产业机械用机器视觉设备厂商、监控摄像头厂商等来说,固件的开发就有不小的难度。其购买的芯片组和ISP芯片数量较少,因此也很难得到供应商很好的支持与协助。

当然,这些厂商可以委托提供芯片组或ISP芯片的半导体厂商来进行固件的开发。但这样他们自然需要负担开发费用。这笔费用并不小。「如果年购货数量能超过100万个的application,开发费用即可作为成本吸收;但如果只有每年10万个左右的话,开发费用必然会成为沉重的负担」(THine Electronics)。

即便采用FPGA也很难改善。因为需要自行开发固件这一点还是不变的。而且无法指望ISP核供应商的支持。使用FPGA的话,可以按自身必须的处理内容自行设计回路,来组装硬件。但这样就需要非常高的硬件相关的技术能力。一般电子设备厂商的硬件工程师要少于软件工厂是,所以并非解决问题的良策。
 

自动生成固件

为了解决这些问题,ISP芯片生产商的THine Electronics开始为其ISP芯片「THP7312」提供CDK(相机开发工具)。

CDK主要是由硬件与固件开发用GUI工具「Thine Tuning Tool」、固件样板这3部分组成。硬件里主要有装载THP7312的ISP板、影像撷取卡和内置图像传感器的相机模组前板(图2)。

GUI工具是在电脑上操作的应用程序。可以通过在电脑页面上根据menu输入数值;或从下拉菜单中选择参数,将样板自动改写来开发所需固件(图3)。几乎不需要固件开发的专业知识。因此可在降低开发成本的同时大幅度缩短开发周期。

虽然现在有多家半导体厂商提供ISP芯片,但却很少有提供固件开发的GUI工具的。「即便有半导体厂商提供简易工具,也与敝司提供的GUI工具在执行效能上会有很大差距」(THine Electronics)。FPGA也基本如此。「据我们所知,目前并没有ISP核的供应商在提供固件开发用GUI工具」(THine Electronics)。

因此,对中小型智能手机、产业机械用机器视觉设备、监控摄像头、XR应用设备等生厂商来说,ISP芯片「THP7312」与CDK的组合是目前最佳的选择。这意味着不再需要依靠FPGA。还能实现减少电力消耗、印刷电路板实装面积小型化等价值。因为要装载ISP核,原先需要比较高端的FPGA。这对需要大幅缩小尺寸的XR应用设备来说无疑是个好消息。

下一章我们将就CDK所含的GUI工具的技术细节和使用方法进行详细介绍。

(未完待续)
 
※图的补充说明
(图1 经ISP处理后的影像)
左边为ISP处理前的影像;右边为处理后的影像。将各像素里原为1色的RAW
数据处理为各像素里RGB3色,并进行了降噪。亮度和焦点也由ISP控制。

 

注意:文中涉及的各个企业名称、产品名称等都是其各自所有者的商标或注册商标。

客户咨询方式

前海赛恩电子(深圳)有限公司 营业部(请点击此处进行咨询)