基于多种眼动行为的裸眼3D显示视觉疲劳评估方法

李一帆; 颜玢玢; 王鹏; 陈铎; 王葵如; 桑新柱; 赵思铭

doi:10.37188/CJLCD.2022-0414

您当前的位置：

首页 >

文章列表页 >

基于多种眼动行为的裸眼3D显示视觉疲劳评估方法

智能显示 | 更新时间：2023-06-12

- 基于多种眼动行为的裸眼3D显示视觉疲劳评估方法
- Eye fatigue assessment method for naked eye 3D display based on multiple eye movements
- 液晶与显示 2023年38卷第6期页码：809-818
- 作者机构：
  
  北京邮电大学电子工程学院，北京 100876
- 作者简介：
  
  [ "李一帆（1998—），女，河南济源人，硕士研究生，2020年于西安电子科技大学获得工学学士学位，主要从事三维光场显示方面的研究。E-mail：yifan_li@ bupt.edu.cn" ]
  [ "颜玢玢（1981—），女，黑龙江双城人，博士，副教授，2010年于北京邮电大学获得博士学位，主要从事智能光电信息处理、三维显示、新型光电子器件等方面的研究。E-mail：yanbinbin@bupt.edu.cn" ]
- 基金信息：
  
  国家自然科学基金(62175017;62075016;61905020)
- DOI：10.37188/CJLCD.2022-0414
  中图分类号： TN27
- 收稿日期：2022-12-09，
  
  修回日期：2023-01-04，
  
  纸质出版日期：2023-06-05
- 稿件说明：
移动端阅览
李一帆, 颜玢玢, 王鹏, 等. 基于多种眼动行为的裸眼3D显示视觉疲劳评估方法[J]. 液晶与显示, 2023,38(6):809-818.

LI Yi-fan, YAN Bin-bin, WANG Peng, et al. Eye fatigue assessment method for naked eye 3D display based on multiple eye movements[J]. Chinese journal of liquid crystals and displays, 2023, 38(6): 809-818.
李一帆, 颜玢玢, 王鹏, 等. 基于多种眼动行为的裸眼3D显示视觉疲劳评估方法[J]. 液晶与显示, 2023,38(6):809-818. DOI： 10.37188/CJLCD.2022-0414.

LI Yi-fan, YAN Bin-bin, WANG Peng, et al. Eye fatigue assessment method for naked eye 3D display based on multiple eye movements[J]. Chinese journal of liquid crystals and displays, 2023, 38(6): 809-818. DOI： 10.37188/CJLCD.2022-0414.

摘要

在裸眼3D立体视频观看中，由于存在辐辏调节的矛盾，观看者会产生诸如眩晕、呕吐等视疲劳症状，尤其在医疗、A/VR等场景下，3D视频观看通常为任务驱动，眼动行为由于受到主观控制，单一的眼动特征很难准确评估视觉疲劳，更无法得到视疲劳等级，导致视疲劳无法及时被发现，从而造成不可预估的损失。针对以上问题，本文提出了一种基于多种眼动行为的3D视疲劳等级评估模型，旨在观看3D内容时，通过对注视、扫视、眨眼等眼动行为进行建模分析，得到实时视疲劳等级。本文采用主客观相结合的方法进行实验：受试者观看3D内容，实验人员记录受试者主观打分并利用眼动仪提取受试者客观眼动行为；通过进行相关性分析，探究任务驱动下能够表征3D视疲劳的各种客观眼动行为；利用神经网络建立基于16种眼动行为的视疲劳四等级评估模型。模型对3D视疲劳等级的预测准确率达到82%，证明了模型的有效性。

Abstract

In the naked eye 3D video viewing， due to the contradiction of convergence adjustment， viewers will have visual fatigue symptoms such as dizziness and vomiting. Especially in medical， A/VR and other scenes， 3D video viewing is usually driven by special task. As eye movement behavior is subjectively controlled， it is difficult to accurately assess visual fatigue with a single eye movement feature， let alone obtain the visual fatigue level， resulting in visual fatigue not being detected in time and causing unpredictable losses. To solve the above problems， this paper proposes a 3D visual fatigue rating model based on a variety of eye movements， aiming to obtain the real-time visual fatigue rating by modeling and analyzing the eye movements such as fixation， scanning and blinking when viewing 3D content. The method combining subjective and objective is used to carry out the experiment： the subjects watch 3D content， the experimenters record subjective scores of the subjects， and extract the objective eye movement behavior of the subjects with an eye tracker. Through correlation analysis， the various objective eye movement behaviors that can represent 3D visual fatigue under task driving are explored. A four grade evaluation model of visual fatigue based on 16 eye movements is established by using neural network. The prediction accuracy of the model for 3D visual fatigue level reaches 82%， proving the effectiveness of the model.

关键词

Keywords

references

HUA J Y ， HUA E K ， ZHOU F B ， et al . Foveated glasses-free 3D display with ultrawide field of view via a large-scale 2D-metagrating complex ［J］. Light： Science & Applications ， 2021 ， 10 （ 1 ）： 213 . doi: 10.1038/s41377-021-00651-1 http://dx.doi.org/10.1038/s41377-021-00651-1

BLANCHE P A . Holography， and the future of 3D display ［J］. Light： Advanced Manufacturing ， 2021 ， 2 （ 4 ）： 28 . doi: 10.37188/lam.2021.028 http://dx.doi.org/10.37188/lam.2021.028

BANDO T ， IIJIMA A ， YANO S . Visual fatigue caused by stereoscopic images and the search for the requirement to prevent them： a review ［J］. Displays ， 2012 ， 33 （ 2 ）： 76 - 83 . doi: 10.1016/j.displa.2011.09.001 http://dx.doi.org/10.1016/j.displa.2011.09.001

PARK J H ， LEE B . Holographic techniques for augmented reality and virtual reality near-eye displays ［J］. Light： Advanced Manufacturing ， 2022 ， 3 （ 1 ）： 9 . doi: 10.37188/lam.2022.009 http://dx.doi.org/10.37188/lam.2022.009

XIONG J H ， WU S T . Planar liquid crystal polarization optics for augmented reality and virtual reality： from fundamentals to applications ［J］. eLight ， 2021 ， 1 ： 3 . doi: 10.1186/s43593-021-00003-x http://dx.doi.org/10.1186/s43593-021-00003-x

KUZE J ， UKAI K . Subjective evaluation of visual fatigue caused by motion images ［J］. Displays ， 2008 ， 29 （ 2 ）： 159 - 166 . doi: 10.1016/j.displa.2007.09.007 http://dx.doi.org/10.1016/j.displa.2007.09.007

KUROSAWA Y ， MOCHIDUKI S ， HOSHINO Y ， et al . Measurement of fatigue based on changes in eye movement during gaze ［J］. IEICE Transactions on Information and Systems ， 2020 ， E103-D（ 5 ）： 1203 - 1207 . doi: 10.1587/transinf.2019edl8162 http://dx.doi.org/10.1587/transinf.2019edl8162

JANSEN L ， ONAT S ， KÖNIG P . Influence of disparity on fixation and saccades in free viewing of natural scenes ［J］. Journal of Vision ， 2009 ， 9 （ 1 ）： 29 . doi: 10.1167/9.1.29 http://dx.doi.org/10.1167/9.1.29

DI STASI L L ， MCCAMY M B ， MACKNIK S L ， et al . Saccadic eye movement metrics reflect surgical residents' fatigue ［J］. Annals of Surgery ， 2014 ， 259 （ 4 ）： 824 - 829 . doi: 10.1097/sla.0000000000000260 http://dx.doi.org/10.1097/sla.0000000000000260

DI STASI L L ， CATENA A ， CAÑAS J J ， et al . Saccadic velocity as an arousal index in naturalistic tasks ［J］. Neuroscience & Biobehavioral Reviews ， 2013 ， 37 （ 5 ）： 968 - 975 . doi: 10.1016/j.neubiorev.2013.03.011 http://dx.doi.org/10.1016/j.neubiorev.2013.03.011

MARTINEZ-CONDE S ， MACKNIK S L ， TRONCOSO X G ， et al . Microsaccades： a neurophysiological analysis ［J］. Trends in Neurosciences ， 2009 ， 32 （ 9 ）： 463 - 475 . doi: 10.1016/j.tins.2009.05.006 http://dx.doi.org/10.1016/j.tins.2009.05.006

LAUBROCK J ， ENGBERT R ， KLIEGL R . Fixational eye movements predict the perceived direction of ambiguous apparent motion ［J］. Journal of Vision ， 2008 ， 8 （ 14 ）： 13 . doi: 10.1167/8.14.13 http://dx.doi.org/10.1167/8.14.13

ENGBERT R ， KLIEGL R . Microsaccades uncover the orientation of covert attention ［J］. Vision Research ， 2003 ， 43 （ 9 ）： 1035 - 1045 . doi: 10.1016/s0042-6989(03)00084-1 http://dx.doi.org/10.1016/s0042-6989(03)00084-1

OTERO-MILLAN J ， TRONCOSO X G ， MACKNIK S L ， et al . Saccades and microsaccades during visual fixation， exploration， and search： foundations for a common saccadic generator ［J］. Journal of Vision ， 2008 ， 8 （ 14 ）： 21 . doi: 10.1167/8.14.21 http://dx.doi.org/10.1167/8.14.21

SCHLEICHER R ， GALLEY N ， BRIEST S ， et al . Blinks and saccades as indicators of fatigue in sleepiness warnings： looking tired？［J］. Ergonomics ， 2008 ， 51 （ 7 ）： 982 - 1010 . doi: 10.1080/00140130701817062 http://dx.doi.org/10.1080/00140130701817062

靳慧斌，于桂花，刘海波．瞳孔直径检测管制疲劳的有效性分析［J］．北京航空航天大学学报， 2018 ， 44 （ 7 ）： 1402 - 1407 ． doi: 10.13700/j.bh.1001-5965.2017.0553 http://dx.doi.org/10.13700/j.bh.1001-5965.2017.0553

JIN H B ， YU G H ， LIU H B . Effectiveness analysis of pupil diameter detection for air traffic controller's fatigue ［J］. Journal of Beijing University of Aeronautics and Astronautics ， 2018 ， 44 （ 7 ）： 1402 - 1407 . （in Chinese） . doi: 10.13700/j.bh.1001-5965.2017.0553 http://dx.doi.org/10.13700/j.bh.1001-5965.2017.0553

LI H C O ， SEO J ， KHAM K ， et al . Measurement of 3D visual fatigue using event-related potential （ERP）： 3D oddball paradigm ［C］// Proceedings of 3DTV Conference： The True Vision-Capture， Transmission and Display of 3D Video . Istanbul ： IEEE ， 2008 ： 213 - 216 . doi: 10.1109/3dtv.2008.4547846 http://dx.doi.org/10.1109/3dtv.2008.4547846

CHEN C X ， LI K ， WU Q Y ， et al . EEG-based detection and evaluation of fatigue caused by watching 3DTV ［J］. Displays ， 2013 ， 34 （ 2 ）： 81 - 88 . doi: 10.1016/j.displa.2013.01.002 http://dx.doi.org/10.1016/j.displa.2013.01.002

CHO H ， KANG M K ， YOON K J ， et al . Feasibility study for visual discomfort assessment on stereo images using EEG ［C］// Proceedings of 2012 International Conference on 3D Imaging . Liège ： IEEE ， 2012 ： 1 - 6 . doi: 10.1109/ic3d.2012.6615139 http://dx.doi.org/10.1109/ic3d.2012.6615139

MUN S ， PARK M C ， PARK S ， et al . SSVEP and ERP measurement of cognitive fatigue caused by stereoscopic 3D ［J］. Neuroscience Letters ， 2012 ， 525 （ 2 ）： 89 - 94 . doi: 10.1016/j.neulet.2012.07.049 http://dx.doi.org/10.1016/j.neulet.2012.07.049

PARK S ， WON M J ， MUN S ， et al . Does visual fatigue from 3D displays affect autonomic regulation and heart rhythm？［J］. International Journal of Psychophysiology ， 2014 ， 92 （ 1 ）： 42 - 48 . doi: 10.1016/j.ijpsycho.2014.02.003 http://dx.doi.org/10.1016/j.ijpsycho.2014.02.003

WANG D L ， WANG X Y ， SONG Y G ， et al . Visual fatigue assessment based on multi-task learning ［J］. Journal of Imaging Science and Technology ， 2019 ， 63 （ 6 ）： art00015 . doi: 10.2352/j.imagingsci.technol.2019.63.6.060414 http://dx.doi.org/10.2352/j.imagingsci.technol.2019.63.6.060414

ZOU B C ， LIU Y ， GUO M ， et al . EEG-based assessment of stereoscopic 3D visual fatigue caused by vergence-accommodation conflict ［J］. Journal of Display Technology ， 2015 ， 11 （ 12 ）： 1076 - 1083 . doi: 10.1109/jdt.2015.2451087 http://dx.doi.org/10.1109/jdt.2015.2451087

WANG Y ， ZHAI G T ， ZHOU S Q ， et al . Eye fatigue assessment using unobtrusive eye tracker ［J］. IEEE Access ， 2018 ， 6 ： 55948 - 55962 . doi: 10.1109/access.2018.2869624 http://dx.doi.org/10.1109/access.2018.2869624

KAWAI T . 3D displays and applications ［J］. Displays ， 2002 ， 23 （ 1/2 ）： 49 - 56 . doi: 10.1016/s0141-9382(02)00009-4 http://dx.doi.org/10.1016/s0141-9382(02)00009-4

SAKAMOTO K ， KIMURA R ， TAKAKI M . Parallax polarizer barrier stereoscopic 3D display systems ［C］// Proceedings of the 2005 International Conference on Active Media Technology . Kagawa ： IEEE ， 2005 ： 469 - 474 .

DODGSON N A . Autostereoscopic 3D displays ［J］. Computer ， 2005 ， 38 （ 8 ）： 31 - 36 . doi: 10.1109/mc.2005.252 http://dx.doi.org/10.1109/mc.2005.252

BREIMAN L . Random forests ［J］. Machine Learning ， 2001 ， 45 （ 1 ）： 5 - 32 . doi: 10.1023/a:1010933404324 http://dx.doi.org/10.1023/a:1010933404324

浏览量

417

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

基于迭代传播网络的快速鲁棒的微光图像增强

基于侧窗滤波改进的神经网络非均匀性校正算法

FRKDNet：基于知识蒸馏的特征提炼语义分割网络

面向光场显示的虚拟视点生成技术进展