显示系统图像引擎的自适应色彩优化算法

张博文; 夏振平; 周波; 宋玉; 马凤云; 柏溢

doi:10.37188/CJLCD.2022-0143

您当前的位置：

首页 >

文章列表页 >

显示系统图像引擎的自适应色彩优化算法

图像处理 | 更新时间：2022-10-28

- 显示系统图像引擎的自适应色彩优化算法
- Adaptive color optimization algorithm of image engine in display system
- 液晶与显示 2022年37卷第11期页码：1467-1475
- 作者机构：
  
  苏州科技大学电子与信息工程学院，江苏苏州 215009
- 作者简介：
  
  [ "张博文（1998—），江苏南通人，硕士研究生，2020年于南京财经大学获得学士学位，主要从事图像增强和图像质量评价方面的研究。E-mail：zhangbowen_66@163.com" ]
  [ "夏振平（1985—），江苏兴化人，博士，副教授，2014年于东南大学获得博士学位，主要从事视觉相关的立体显示图像质量测量、评价和优化等方面的研究。E-mail：xzp@usts.edu.cn" ]
- 基金信息：
  
  国家自然科学基金(62002254;61876121);江苏省自然科学基金(BK20200988);江苏省研究生科研与实践创新计划（No.SJCX21_1424, No.KYCX20_2755）
- DOI：10.37188/CJLCD.2022-0143
  中图分类号： TP391.9
- 收稿日期：2022-04-23，
  
  修回日期：2022-05-07，
  
  纸质出版日期：2022-11-05
- 稿件说明：
移动端阅览
张博文, 夏振平, 周波, 等. 显示系统图像引擎的自适应色彩优化算法[J]. 液晶与显示, 2022,37(11):1467-1475.

ZHANG Bo-wen, XIA Zhen-ping, ZHOU Bo, et al. Adaptive color optimization algorithm of image engine in display system[J]. Chinese journal of liquid crystals and displays, 2022, 37(11): 1467-1475.
张博文, 夏振平, 周波, 等. 显示系统图像引擎的自适应色彩优化算法[J]. 液晶与显示, 2022,37(11):1467-1475. DOI： 10.37188/CJLCD.2022-0143.

ZHANG Bo-wen, XIA Zhen-ping, ZHOU Bo, et al. Adaptive color optimization algorithm of image engine in display system[J]. Chinese journal of liquid crystals and displays, 2022, 37(11): 1467-1475. DOI： 10.37188/CJLCD.2022-0143.

摘要

图像引擎通过多种特定的算法对图像信号进行优化，在显示系统中具有极其重要的作用和地位。图像引擎中的传统色彩优化算法由多种图像算法组合而成，存在无法进行自适应优化、容易放大图像噪声等问题。为此，提出了一种基于空洞卷积的全卷积神经网络用于构建优化算法，侧重于从人眼主观感知的角度优化图像色彩。同时，有针对性地构建大规模数据集以提高算法的泛化能力，防止过拟合。测试结果表明，所提出的算法可以有效地增强原始图像的色彩，相较于传统方法，平均峰值信噪比提升了4.01 dB，平均结构相似性提升了0.04。主观对比实验结果表明，提出的算法对图像主观感知质量有显著性影响，平均提升了61%。

Abstract

Image engine optimizes the image signal through a variety of specific algorithms， which plays an extremely important role in the display system. The traditional color optimization algorithm of image engine is composed of various image optimization algorithms， which can not optimize images adaptively and easy to amplifies the noise. Therefore， a full convolution neural network based on dilated convolution is proposed to construct the optimization algorithm， which focuses on optimizing images from the perspective of subjective perception. At the same time， a large-scale dataset is constructed to improve the generalization ability of the algorithm and prevent overfitting. The experiment results show that the proposed algorithm can effectively enhance the color of original images. Compared with the traditional method， the average peak signal-to-noise ratio is improved by 4.01 dB and the average structural similarity is improved by 0.04. The subjective comparison experiment shows that the proposed algorithm has a significant impact on the subjective perception quality of the image， with an average improvement of 61%.

关键词

Keywords

references

ZHA C J ， ZHANG Q ， DUAN H M . Modeling and image quality enhancement for dynamic compressive imaging system ［J］. Journal of Algorithms & Computational Technology ， 2021 ， 15 ： 1 - 9 . doi: 10.1177/17483026211008098 http://dx.doi.org/10.1177/17483026211008098

黄友文，唐欣，周斌 . 结合双注意力和结构相似度量的图像超分辨率重建网络［J］. 液晶与显示， 2022 ， 37 （ 3 ）： 367 - 375 . doi: 10.37188/CJLCD.2021-0178 http://dx.doi.org/10.37188/CJLCD.2021-0178

HUANG Y W ， TANG X ， ZHOU B . Image super-resolution reconstruction network with dual attention and structural similarity measure ［J］. Chinese Journal of Liquid Crystals and Displays ， 2022 ， 37 （ 3 ）： 367 - 375 （in Chinese） . doi: 10.37188/CJLCD.2021-0178 http://dx.doi.org/10.37188/CJLCD.2021-0178

陈清江，顾媛，李金阳 . 双分支金字塔网络的微光图像增强算法［J］. 液晶与显示， 2022 ， 37 （ 3 ）： 395 - 404 . doi: 10.37188/CJLCD.2021-0221 http://dx.doi.org/10.37188/CJLCD.2021-0221

CHEN Q J ， GU Y ， LI J Y . Low-light level image enhancement algorithm based on double-branch pyramid model ［J］. Chinese Journal of Liquid Crystals and Displays ， 2022 ， 37 （ 3 ）： 395 - 404 （in Chinese） . doi: 10.37188/CJLCD.2021-0221 http://dx.doi.org/10.37188/CJLCD.2021-0221

DAR KA ， MITTAL S . An enhanced adaptive histogram equalization based local contrast preserving technique for HDR images ［J］. IOP Conference Series： Materials Science and Engineering ， 2021 ， 1022 ： 012119 . doi: 10.1088/1757-899x/1022/1/012119 http://dx.doi.org/10.1088/1757-899x/1022/1/012119

ZHANG W W ， LI J J ， HUA Z . Attention-based Tri-UNet for remote sensing image pan-sharpening ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 2021 ， 14 ： 3719 - 3732 . doi: 10.1109/jstars.2021.3068274 http://dx.doi.org/10.1109/jstars.2021.3068274

SHAO C L ， KAUR P ， KUMAR R . An improved adaptive weighted mean filtering approach for metallographic image processing ［J］. Journal of Intelligent Systems ， 2021 ， 30 （ 1 ）： 470 - 478 . doi: 10.1515/jisys-2020-0080 http://dx.doi.org/10.1515/jisys-2020-0080

MORAN S ， MARZA P ， MCDONAGH S ， et al . DeepLPF： deep local parametric filters for image enhancement ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition . Seattle ： IEEE ， 2020 ： 12823 - 12832 . doi: 10.1109/cvpr42600.2020.01284 http://dx.doi.org/10.1109/cvpr42600.2020.01284

GUO C L ， LI C Y ， GUO J C ， et al . Zero-reference deep curve estimation for low-light image enhancement ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition . Seattle ： IEEE ， 2020 ： 1777 - 1786 . doi: 10.1109/cvpr42600.2020.00185 http://dx.doi.org/10.1109/cvpr42600.2020.00185

DENG Y B ， LOY C C ， TANG X O . Aesthetic-driven image enhancement by adversarial learning ［C］// Proceedings of the 26th ACM International Conference on Multimedia . Seoul ： ACM ， 2018 ： 870 - 878 . doi: 10.1145/3240508.3240531 http://dx.doi.org/10.1145/3240508.3240531

CHEN Q F ， XU J ， KOLTUN V . Fast image processing with fully-convolutional networks ［C］// IEEE International Conference on Computer Vision . Venice ： IEEE ， 2017 ： 2516 - 2525 . doi: 10.1109/iccv.2017.273 http://dx.doi.org/10.1109/iccv.2017.273

SZEGEDY C ， VANHOUCKE V ， IOFFE S ， et al . Rethinking the inception architecture for computer vision ［C］// IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas ： IEEE ， 2016 ： 2818 - 2826 . doi: 10.1109/cvpr.2016.308 http://dx.doi.org/10.1109/cvpr.2016.308

IGNATOV A ， KOBYSHEV N ， TIMOFTE R ， et al . DSLR-quality photos on mobile devices with deep convolutional networks ［C］// Proceedings of the IEEE International Conference on Computer Vision . Venice ： IEEE ， 2017 ： 3297 - 3305 . doi: 10.1109/iccv.2017.355 http://dx.doi.org/10.1109/iccv.2017.355

YOO J ， AHN N ， SOHN K A . Rethinking data augmentation for image super-resolution： A comprehensive analysis and a new strategy ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition . Seattle ： IEEE ， 2020 ： 8372 - 8381 . doi: 10.1109/cvpr42600.2020.00840 http://dx.doi.org/10.1109/cvpr42600.2020.00840

LIU S ， PAN J ， YANG M H . Learning recursive filters for low-level vision via a hybrid neural network ［C］// 14th European Conference on Computer Vision . Amsterdam ： Springer ， 2016 ： 560 - 576 . doi: 10.1007/978-3-319-46493-0_34 http://dx.doi.org/10.1007/978-3-319-46493-0_34

黄晓丽，孙玉宝，马红梅 . 液晶显示器多种显示模式色彩表现的研究进展［J］. 液晶与显示， 2021 ， 36 （ 3 ）： 355 - 370 . doi: 10.37188/CJLCD.2020-0231 http://dx.doi.org/10.37188/CJLCD.2020-0231

HUANG X L ， SUN Y B ， MA H M . Research progress in color performance of LCD with various display modes ［J］. Chinese Journal of Liquid Crystals and Displays ， 2021 ， 36 （ 3 ）： 355 - 370 （in Chinese） . doi: 10.37188/CJLCD.2020-0231 http://dx.doi.org/10.37188/CJLCD.2020-0231

郭波，管菊花，黄志开 . 基于改进Otsu算法的TFT-LCD点缺陷自动光学检测系统［J］. 液晶与显示， 2018 ， 33 （ 3 ）： 221 - 227 . doi: 10.3788/yjyxs20183303.0221 http://dx.doi.org/10.3788/yjyxs20183303.0221

GUO B ， GUAN J H ， HUANG Z K . Automatic optical detection system for TFT-LCD spot-type defect based on improved Otsu algorithm ［J］. Chinese Journal of Liquid Crystals and Displays ， 2018 ， 33 （ 3 ）： 221 - 227 （in Chinese） . doi: 10.3788/yjyxs20183303.0221 http://dx.doi.org/10.3788/yjyxs20183303.0221

HOWARD A G ， ZHU M L ， CHEN B ， et al . MobileNets： efficient convolutional neural networks for mobile vision applications ［J］. arXiv： 1704.04861 ， 2017 .

DENG J ， DONG W ， SOCHER R ， et al . ImageNet： a large-scale hierarchical image database ［C］// IEEE Conference on Computer Vision and Pattern Recognition . Miami ： IEEE ， 2009 ： 248 - 255 . doi: 10.1109/cvpr.2009.5206848 http://dx.doi.org/10.1109/cvpr.2009.5206848

PONOMARENKO N ， IEREMEIEV O ， LUKIN V ， et al . Color image database TID2013： peculiarities and preliminary results ［C］// European Workshop on Visual Information Processing . Paris ： IEEE ， 2013 ： 106 - 111 . doi: 10.1109/euvip.2014.7018376 http://dx.doi.org/10.1109/euvip.2014.7018376

IOFFE S ， SZEGEDY C . Batch normalization： accelerating deep network training by reducing internal covariate shift ［C］// Proceedings of the 32nd International Conference on International Conference on Machine Learning . Lille ： ACM ， 2015 ： 448 - 456 .

BYCHKOVSKY V ， PARIS S ， CHAN E ， et al . Learning photographic global tonal adjustment with a database of input/output image pairs ［C］// IEEE Computer Society Conference on Computer Vision and Pattern Recognition . Colorado Springs ： IEEE ， 2011 ： 97 - 104 . doi: 10.1109/cvpr.2011.5995413 http://dx.doi.org/10.1109/cvpr.2011.5995413

KIM J ， NGUYEN A D ， LEE S . Deep CNN-based blind image quality predictor ［J］. IEEE Transactions on Neural Networks and Learning Systems ， 2019 ， 30 （ 1 ）： 11 - 24 . doi: 10.1109/tnnls.2018.2829819 http://dx.doi.org/10.1109/tnnls.2018.2829819

KIM S J ， CHAE C B ， LEE J S . Subjective and objective quality assessment of videos in error-prone network environments ［J］. Multimedia Tools and Applications ， 2016 ， 75 （ 12 ）： 6849 - 6870 . doi: 10.1007/s11042-015-2613-6 http://dx.doi.org/10.1007/s11042-015-2613-6

DE STOUTZ E ， IGNATOV A ， KOBYSHEV N ， et al . Fast perceptual image enhancement ［C］// Proceedings of the European Conference on Computer Vision Workshops . Munich ： Springer ， 2018 ： 260 - 275 . doi: 10.1007/978-3-030-11021-5_17 http://dx.doi.org/10.1007/978-3-030-11021-5_17

ZAMIR S W ， ARORA A ， KHAN S ， et al . Learning enriched features for real image restoration and enhancement ［C］// Proceedings of the 16th European Conference on Computer Vision . Glasgow ： Springer ， 2020 ： 492 - 511 . doi: 10.1007/978-3-030-58595-2_30 http://dx.doi.org/10.1007/978-3-030-58595-2_30

夏振平，程成 . 基于视觉显著性的立体显示图像深度调整［J］. 光学学报， 2017 ， 37 （ 1 ）： 0133001 . doi: 10.3788/aos201737.0133001 http://dx.doi.org/10.3788/aos201737.0133001

XIA Z P ， CHENG C . Stereoscopic display image depth adjustment based on visual saliency ［J］. Acta Optica Sinica ， 2017 ， 37 （ 1 ）： 0133001 . （in Chinese） . doi: 10.3788/aos201737.0133001 http://dx.doi.org/10.3788/aos201737.0133001

ITU-R recommendation BT.500-11-2002 methodology for the subjective assessment of the quality of television pictures ［S］ ITU， 2002 . doi: 10.5594/m001273 http://dx.doi.org/10.5594/m001273

浏览量

171

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

无人机绝对视觉定位的研究进展

基于自适应遮挡恢复与拓扑姿态双向感知的三维手部重建方法

基于Mamba-2的视频快照压缩成像重构方法

基于光流预测的三维光场显示透视关系校正