开发专栏
NEW
不仅是智能手机和数码相机，装载了相机功能的各种用途急剧增加。汽车、XR终端和产业机械、医疗设备、教育设备、无人机等装载了相机功能的产品日益增加。但是正如第1和第2篇连载中指出的：要将相机功能植入各种用途中并不是件容易的事。需要兼具硬件和固件两方面的知识。使用THine Electronics提供的相机开发工具「CDK」，能大幅度减轻在固件开发上的劳力。但是对初次挑战植入相机功能的设计者来说，光是这一点并不足够。于是THine着手开发了新的组合。在构建多方面支持相机功能植入作业的体制的同时，还能开发最适用于新用途的ISP（图像信号传感器）和CDK。
感应器・网络的构成日益进化
大家知道「SWARM」这个词么？这是一个技术用语，意指安装着无数个感应器，每个感应器都通过无线来进行数据传输的一种网络。是因为此网络中传感器像虫与鸟那样一大群地存在而取名为SWARM（群）。为这一网络命名的是美国加利福尼亚大学伯克利分校的Jan Rabaey教授。
SWARM与感应器网络基本同义。现在感应器网络被称为IoT（Internet of Things），已是世界上通用的技术用语。
感应器网络的构建正在稳步发展，SWARM也就是IoT也正在慢慢实现。另一方面，相机功能也不输各种感应器，越来越多地被设置到各种场合。在监控相机和智能手机、汽车、XR终端、产业机械、医疗设备、教育设备、无人机等设备上都理所当然地需要装载相机功能。这些都是「相机的SWARM」和「相机的IoT」的一种现实体现。
SWARM与感应器网络基本同义。现在感应器网络被称为IoT（Internet of Things），已是世界上通用的技术用语。
感应器网络的构建正在稳步发展，SWARM也就是IoT也正在慢慢实现。另一方面，相机功能也不输各种感应器，越来越多地被设置到各种场合。在监控相机和智能手机、汽车、XR终端、产业机械、医疗设备、教育设备、无人机等设备上都理所当然地需要装载相机功能。这些都是「相机的SWARM」和「相机的IoT」的一种现实体现。
相机活用的场合越来越广泛
装载了相机功能的各种用途急速增加。曾经移动设备和汽车是其主要的「2大用户」，但最近这一状况确实发生了转变。XR终端及产业机械、医疗设备、教育设备等上装载的相机功能也一口气爆发。
例如，产业用途上，VR(虚拟实景)／AR(扩张实景)／MR(复合实景)的维修作业等上也越来越活用到相机功能。在飞机的维修上用到AR时，用相机拍摄作业情况，同时在头戴式显示器上显示其影像；根据需要还可将影像的部分显示到操作指南中（图1）。而活用MR就能将相机拍摄到的现实空间中的3D（3次元）物体，通过手等动作就能操作。可以不使用现实中的物体，在假想中练习例如安装灯泡等维修工作。
例如，产业用途上，VR(虚拟实景)／AR(扩张实景)／MR(复合实景)的维修作业等上也越来越活用到相机功能。在飞机的维修上用到AR时，用相机拍摄作业情况，同时在头戴式显示器上显示其影像；根据需要还可将影像的部分显示到操作指南中（图1）。而活用MR就能将相机拍摄到的现实空间中的3D（3次元）物体，通过手等动作就能操作。可以不使用现实中的物体，在假想中练习例如安装灯泡等维修工作。
图1 AR（扩张实景）的示例
相机逐渐成为零部件
相机现在被装载于各种各样的用途上。这种趋势可以说意味着「相机正在零部件化」。零部件化继续发展下去，就会有更多厂家装载相机功能。
但是植入相机功能并不简单。如连载的第1篇第2篇所指出，要植入相机功能，要熟练使用ISP（图像信号传感器），需要在硬件和固件两方面都有比较高的知识（图2）。通常，在硬件上比较强的企业会苦于植入固件的开发；在植入固件开发上比较强的企业则会苦于硬件的开发。
而且，相机零部件化后被各种厂商采用，其中也会有一些与至今的电子工学完全无关的领域的厂商。例如，制造头盔的厂家会开发装载了VR/AR/MR功能的产品；车载后视镜的生产厂家会将镜子置换成相机等。
这些厂家在硬件和固件方面的知识自然不会太高。因此植入相机功能的作业就会变得很难。甚至有可能开发会以失败告终。这一事态是必须避免的。
但是植入相机功能并不简单。如连载的第1篇第2篇所指出，要植入相机功能，要熟练使用ISP（图像信号传感器），需要在硬件和固件两方面都有比较高的知识（图2）。通常，在硬件上比较强的企业会苦于植入固件的开发；在植入固件开发上比较强的企业则会苦于硬件的开发。
图2 ISP（图像信号传感器）「THP7312」
而且，相机零部件化后被各种厂商采用，其中也会有一些与至今的电子工学完全无关的领域的厂商。例如，制造头盔的厂家会开发装载了VR/AR/MR功能的产品；车载后视镜的生产厂家会将镜子置换成相机等。
这些厂家在硬件和固件方面的知识自然不会太高。因此植入相机功能的作业就会变得很难。甚至有可能开发会以失败告终。这一事态是必须避免的。
面向价值连锁的构建
因此THine Electronics正在抓紧构建能支持相机功能植入开发的体制。基本上考虑会根据需要支持的各厂家的情况提供多方面的技术支持。这一支持体系大致分为3点。
第1就是连载的前两回介绍过的提供相机开发工具「CDK」。CDK是由软件开发工具（SDK）与评价板（EVB）和GUI工具（3T：THine Tuning Tool）构成的（图3）。
使用它的话，能仅靠GUI工具来进行参数设定后就能自动生成固件（图4）。也就是说无需编程或编码就能开发固件；就能大幅降低固件开发的门槛。
但是要熟练使用CDK仍需要相机和图像处理方面的知识。且即便使用了CDK，仍有可能需要编程作业。具体来说，根据使用的图像传感器不同寄存器的设定也会不同，可能需要开发适用的驱动软件。如果不能从外部购买到合适的驱动软件，则只能自行开发。
对相机和图像处理方面的知识没有自信；或者缺乏编程的经验，针对这样的用户我们准备了第2种支持体制：Web会诊。THine Electronics已经完成了面向硬件开发和软件开发两方面的数据库构建。利用它就可以在开发初期阶段推测用户在开发作业上容易陷入困境的时节点，针对其提供恰当的技术支持信息。大部分情况下仅通过一次短时间的Web会诊就能解决问题。
但有时也会出现通过Web会诊也无法解决问题的情况出现。这时就需要用到第3种支持体制了：即向客户介绍专为相机机能植入服务的系统积分电路。
THine Electronics因为向客户提供ISP和CDK，与各行各业的用户都有所接触。其中就包括系统积分电路。此外，面向图像传感器的驱动软件方面，THine Electronics也有经许可的程序库；有时客户也会许可我们使用过去曾开发的驱动软件。THine Electronics还可以为苦恼于相机功能植入的客户引见这些系统积分电路和驱动软件厂商。
事实上THine Electronics的相机技术团队的产品经理桑山克己在该公司举办的研讨会后的联谊会上对各用户和供货商已经抛出过橄榄枝：“如果能通过CDK构建出日本最初的相机开发共同体不是会很有意义么？”。今后我们也将尽全力为相机机能植入相关的「价值连锁的建立」而努力。
第1就是连载的前两回介绍过的提供相机开发工具「CDK」。CDK是由软件开发工具（SDK）与评价板（EVB）和GUI工具（3T：THine Tuning Tool）构成的（图3）。
图3 相机开发工具（CDK）里包含的评价板（EVB）
使用它的话，能仅靠GUI工具来进行参数设定后就能自动生成固件（图4）。也就是说无需编程或编码就能开发固件；就能大幅降低固件开发的门槛。
仅需在电脑上输入GUI工具「3T」必须的参数就能描述固件。
图4 使用「3T（THine Tuning Tool）」时的示例
但是要熟练使用CDK仍需要相机和图像处理方面的知识。且即便使用了CDK，仍有可能需要编程作业。具体来说，根据使用的图像传感器不同寄存器的设定也会不同，可能需要开发适用的驱动软件。如果不能从外部购买到合适的驱动软件，则只能自行开发。
对相机和图像处理方面的知识没有自信；或者缺乏编程的经验，针对这样的用户我们准备了第2种支持体制：Web会诊。THine Electronics已经完成了面向硬件开发和软件开发两方面的数据库构建。利用它就可以在开发初期阶段推测用户在开发作业上容易陷入困境的时节点，针对其提供恰当的技术支持信息。大部分情况下仅通过一次短时间的Web会诊就能解决问题。
但有时也会出现通过Web会诊也无法解决问题的情况出现。这时就需要用到第3种支持体制了：即向客户介绍专为相机机能植入服务的系统积分电路。
THine Electronics因为向客户提供ISP和CDK，与各行各业的用户都有所接触。其中就包括系统积分电路。此外，面向图像传感器的驱动软件方面，THine Electronics也有经许可的程序库；有时客户也会许可我们使用过去曾开发的驱动软件。THine Electronics还可以为苦恼于相机功能植入的客户引见这些系统积分电路和驱动软件厂商。
事实上THine Electronics的相机技术团队的产品经理桑山克己在该公司举办的研讨会后的联谊会上对各用户和供货商已经抛出过橄榄枝：“如果能通过CDK构建出日本最初的相机开发共同体不是会很有意义么？”。今后我们也将尽全力为相机机能植入相关的「价值连锁的建立」而努力。
集中聆听客户的需求向次时代产品开发迈进
如前所述，THine Electronics通过提供ISP和CDK，与需要用到相机功能的各家客户都有关系网。因此能更早地听到不同用户的“呼声”。
对相机功能的要求根据用途不同是完全不同的。单反相机上最重要的就是要拍摄出美感。但医疗用途上比起拍摄出美感，确实准确地发现疾病才是最重要的。必须将正常部分与病理部分的差异拍摄地清楚明了。而XR终端与产业用途上也会根据不同的需求而有其最需要侧重的事项。且这种最侧重事项还是在日益变化和进步的。
也就是说相机功能植入的作业正在从一直以来的移动设备和汽车这2轴，向现在的医疗用途和产业用途、XR终端等N轴进行。因此根据这些变化，ISP和CDK也需要时刻调整到最合适的状态。
THine Electronics已经听取了各类用户的呼声，开始着手于开发次时代的ISP和CDK。目前在CDK上，正在面向医疗・数码健康和XR终端等用途开发新的功能。其中一部分功能已经在最早批的客户方进行实验。
另一方面关于ISP我们也着手于探讨次时代产品。这一次时代产品将在现有产品的4K（3840×2160像素）的基础上，以更高的帧数来对应8K（7680× 4320像素）等高分辨率要求之外，进一步根据新用途来考虑装载一些新的功能。例如扩张动态范围的功能和自动对焦（AF）与自动曝光（AE）、自动白平衡（AWB）这「3A」的功能、性能的增强。
此外，如果能用专用硬件实现这些新功能，就能在控制ISP的芯片尺寸和消耗电力的同时，使后半段的边缘计算的CNN与云计算的GPU上的软件处理变得更容易；且能提高其性能。现在，我们正在与负责硬件和软件方面的合作企业进行探讨。目前ISP的具体产品化时间尚未确定，最早将在2020年内实现。
对相机功能的要求根据用途不同是完全不同的。单反相机上最重要的就是要拍摄出美感。但医疗用途上比起拍摄出美感，确实准确地发现疾病才是最重要的。必须将正常部分与病理部分的差异拍摄地清楚明了。而XR终端与产业用途上也会根据不同的需求而有其最需要侧重的事项。且这种最侧重事项还是在日益变化和进步的。
也就是说相机功能植入的作业正在从一直以来的移动设备和汽车这2轴，向现在的医疗用途和产业用途、XR终端等N轴进行。因此根据这些变化，ISP和CDK也需要时刻调整到最合适的状态。
THine Electronics已经听取了各类用户的呼声，开始着手于开发次时代的ISP和CDK。目前在CDK上，正在面向医疗・数码健康和XR终端等用途开发新的功能。其中一部分功能已经在最早批的客户方进行实验。
另一方面关于ISP我们也着手于探讨次时代产品。这一次时代产品将在现有产品的4K（3840×2160像素）的基础上，以更高的帧数来对应8K（7680× 4320像素）等高分辨率要求之外，进一步根据新用途来考虑装载一些新的功能。例如扩张动态范围的功能和自动对焦（AF）与自动曝光（AE）、自动白平衡（AWB）这「3A」的功能、性能的增强。
此外，如果能用专用硬件实现这些新功能，就能在控制ISP的芯片尺寸和消耗电力的同时，使后半段的边缘计算的CNN与云计算的GPU上的软件处理变得更容易；且能提高其性能。现在，我们正在与负责硬件和软件方面的合作企业进行探讨。目前ISP的具体产品化时间尚未确定，最早将在2020年内实现。
