您好、欢迎来到现金彩票网!
当前位置:老k棋牌 > 阵列流水线 >

多曝光融合算法研究及HDR图像合成与色调映射算法设计实现-电路与

发布时间:2019-06-10 16:23 来源:未知 编辑:admin

  多曝光融合算法研究及HDR图像合成与色调映射算法设计实现-电路与系统专业毕业论文.pdf

  1.本站不保证该用户上传的文档完整性,不预览、不比对内容而直接下载产生的反悔问题本站不予受理。

  摘要 摘要 真实场景和人眼戆辨别的亮度范围可以高达105以上,毽是普通图像传感 器能捕获的动态范围不超过103。为了再现高动态范围场景,通常对同一个场 景多次曝光,褥到多张不同曝光度的图像,然后经过图像合成得到高动态范围 Range,HDR)图像。但是,显示设备的动态范围大多在102左 (HighDynamic 右,HDR图像不能在普通显示器上直接显示,需要对其进行亮度值压缩。如何 在亮度值有限的情况下,保留原有场景丰富的细节信息和真实的视觉效果,一 直是该领域研究的热点。近些年来,随着HDR图像技术越来越多地应用于消 费类电子、遥测遥感、安防监控、数字电视等领域,该课题的研究具有很强的 实用性。 HDR图像显示技术主要分为两种:第一种,对多张不同曝光度的图像直接 融合;第二种,对多张不同曝光度的图像首先通过合成算法得到一张HDR图 像,再通过色调映射算法进行亮度压缩。本文对两种方法均进行了研究,主要 做了以下工作: (1)分析了鬻翦多曝光图像融合算法的不足,指出了初始融合权重修正的 方法是影响融合效果优劣的关键。在原有引导滤波的基础上,引入了内容感知 因子,对初始融合权重进行修正。对于视觉显著性高、边缘信息丰富的区域, 融合权重的保真度就高。实验结果表明,在融合过渡区域,本文算法的处理结 果呈现出更好的边缘保持性和更高的清晰度。 (2)提出了一种过渡区域溢擞修正的合成算法。采用winner-take.all策略, 减少了合成图像的量化误差。运用~次线性拟合的方式,无需知道曝光时间, 就能对不同曝光度图像进行亮度值映射。根据邻域像素的曝光溢出情况,建立 分类修正机制,合成图像的过渡区域较为平滑。 (3)结合全局篓子和扁部算子的优点,提出了一种自动参数调整的色调映 射算法。采用逐步逼近法以达到最佳显示亮度,运用中值滤波器提取图像的细 节信息。本文算法能有效压缩HDR图像的动态范圈,同时保留了局部细节和 对比度。与其他算法相比,本文算法在图像自然度上有很大优势。 (4)根据图像信号处理器(ISP)的应用需求,提出了合成与色调映射算 法硬件设计的简化方案。使用linebuffer缓存局部滤波器数据;对于组合逻辑 较复杂的运算均采用流水线中值滤波器的流水设计,比较器 件复杂度大大降低。 万方数据 摘要 致。搭建了FPGA验证平台,采用Xilinx xc6slx45器件实现算法。FPGA综合 结果表明,设计能够满足60fps帧率、720p分辨率的实时视频处理要求。上位 机软件测试效果较好。 关键词:高动态范围内容感知因子溢出修正自动参数调整流水线设计 Il 万方数据 Abstract ABSTRACT call is ofrealsceneandwhichhuman The eye distinguishup brightnessrange isnomorethan103。In 1 the ofnormal sensor toover 05,butdynamicrange image to samesceneis order scenes,the multipleexoposed highdynamicrange reproduce toobtain ofdifferent thenthese are to a mergedget images exposures,andimages of is about10z。 image。However,dynamicrangedisplaymostly 11ighdynamicrange can’tbe onnormal isneededto dynamicrangeimages displayed display.It high naturalvisualeffects theluminancevalues。Howtoretainrichdetailsand compress ofthe scenehasbeenahotresearchinthisfield.Inrecent the original years,ashigh is usedinconsumer increaSing electronics, dynamicrangeimagingtechnology remote televisionandother hasa sensing,securitymonitoring,digital fields,it toresearchthis strongpracticalmeaning topic. consistsof displayingtechnologymainly Highdynamicrange(HDR)image twomethod+Thefirstmethodis ofdifferent fusingmultipleimages exposures with thesecondoneis theluminancevalues tone directly.And compressing after a different obtaininghighdynamicrangeimagebymerging mappingalgorithm this methodsare thedetailedwork dissertation,twostudied,and exposedimages.In isasf0110WS: the ofcurrent fusion shortcomingsmultipleexopusureimage Firstly,analyze outthatcorrectionmethodofinitialfusion isthe algorithms,andpoint weightskey isintroducedtothe toaffectfusion contentawarefactor original performance,The to theinitialfusion whichhave filterinordercorrect weights.Forregions guided visual andrich fusion have information,the lligh saliency edge weightshighfidefity showthat are and resolutionis results sharpedgespreservedimage Experimental increasedinthe areaof is withthe blending image,whichprocessed proposed algorithm. a theoverflowof merging whichcorrects Secondly,proposealgorithm toreduce errorof transition winner-take-all adopt strategy quantization region,and be of can mergingimages.Theintensitydifferentlyexposedimages mappedby linear without the totheoverflowof using fitting knowingexposuretime。According amechanismofclassification the neighborpixels,establish correction,and transitionof issmooth。 regionimage IlI 万方数据 Abstract withthe of andlocal a Thirdly,combinedadvantagesglobal operator,propose tone withautomatic mappingalgorithm parameteradjustment。Usestep-wise in to methodorderachievethebest andextractthe approximation displaybrightness detailsofthe amedian Call filter.The imageusing proposedalgorithmeffectively of detailsandlocalcontrast the HDR and dynamic compress range imagespreserve as withother hasa algorithmgreat well.Comparedalgorithms,thepoposed naturalness。 advantageofimage the needof Fourthly,consideringpractical imagesignalprocessor(ISP), a hardwareof andtone algorithms. proposesimplified designmerging mapping localfitlerdata line for Storage using buffer;usepipelineddesigncomplex of5x5median combinational filter, logic pipelineddesign operations;improve of from360to1 table-driven thenumber therefore,reduce comparators 25;use for theresultof the function,reducing algorithmapproximating exponential complexitygreatly. the inRTLlevel.TheresultsofMatlab p0醯 design floating Fifthly,simulate isconsistent.BuildFPGAverification andModelsim蠡xed byusing point platform Xilinxxc6slx45device.TheresultsofFPGA showsthatthis synthesis design logical video of resolutionand callmeet糟al-time requirements720p 60fps processing rate.Thesoftwarereultsshowthatthe ofthe is frame designgood. testing performce aware correction,automatic factor,overflow parameter Keywords:HDR,content adjustment,pipelinedesign W 万方数据 譬录 目录 摘要…………………………………………………………………………………………..I ABSTRACT………………………………………………………………………………III 匿录……………………………………………………………………………………..V 第圭章绪论…………………………………………………………………………。l 1.1研究背景及意义……………………………………………………………l 1.2研究现状及发展趋势………………………………………………………3 1.2。1多曝光图像融合算法研究现状及发展趋势………………………………………3 1.2.2合成与色调映射算法研究现状及发展趋势………………………………………4 1.3论文主要工作及章节安排…………………………………………………6 第2章高动态范围图像相关理论………………………………………….9 2。l离动态范隧图像捕获方法…………………………………………………。9 2.1.1图像传感器动态范围………………………………………………………………9 2.1。2高动态莲鋈鎏豫捕获技术…………………………………………………………9 2.1.3图像传感器RAW数据…………………………………………………………..12 2。2高动态范围鎏像信号处理滚程……………………………………………12 2.3高动态范围图像格式………………………………………………………14 2。4高动态范鎏图像生成……………………………………………………一15 2.4.1图像黼准校正……………………………………………………………………..15 6 2。嘻。2鬼影去除…………………………………………………………………………。l 2.5本章小结……………………………………………………………………16 第3章多曝光图像融合算法研究及改进……………………………17 3。1多曝光图像融合…………………………………………………………一17 3.1.1阊题分析………………………………………………………………………….17 3.1.2本文算法概述…………………………………………………………………….17 V 万方数据 目录 3.2构造初始融合权重………………………………………………………..18 9 3.3融合权重值修正…………………………………………………………一l 3.3.1内容感知因子…………………………………………………………………….19 3.3,2改进的弓l导滤波算法…………………………………………………………….22 3.3.3图像融合………………………………………………………………………….23 3.4实验结果分析及对比……………………………………………………一23 3.4.1主观评价………………………………………………………………………….23 3.4.2客观评价………………………………………………………………………….26 3.5本章小结………………………………………………………………….27 第4章合成与色调映射算法研究………………………………………29 4.1高动态范围图像合成算法…………………………………………………29 4.1.1影嚷合成效果薛关键因素………………………………………………………。29 4.1.2亮度值映射关系…………………………………………………………………..30 4.1。3黎光溢蠢修正鳃合成算法………………………………………………………。33 4.1.4本算法的主要贡献点…………………………………………………………….35 4。I.5实验结果分析……………………………………………………………………。35 4.2高动态范围图像色调映射算法……………………………………………35 4.2。1传统算法存在的阏题…………………………………………………………….36 4.2.2负指数函数映射………………………………………………………………….37 4。2。3 P参数自动调整……………………………………………………………………39 4.2.4局部算子滤波器的选取………………………………………………………….41 4。2.5实验结果分析及对跑……………………………………………………………。鸵 4.3本章小结………………………………………………………………….47 第5章合成与色调映射算法的硬件实现……………………………49 5.1合成算法的硬件设计……………………………………………………..49 5.1.1总体架构………………………………………………………………………….49 5.1.2系数求解模块…………………………………………………………………….49 5.1.3除法器设计………………………………………………………………………,5l 5.1.4溢出修厩模块…………………………………………………………………….51 5.2色调映射算法的硬件设计…………………………………………………54 5.2.1总体架构………………………………………………………………………….54 万方数据 目录 5.2.2平均值模块……………………………………………………………………….55 5.2.3最大值模块……………………………………………………………………….56 5.2.4中值滤波器……………………………………………………………………….56 5.2.5指数函数模块…………………………………………………………………….58 5.3软件仿真验证……………………………………………………………..60 5.3.1关键模块RTL级仿真结果………………………………………………………60 5.3.2 Modelsim与Matlab计算结果比较………………………………………………63 5.4FPGA硬件验证……………………………………………………………65 5.4.1 FPGA验证方案介绍……………………………………………………………。65 5.4.2 FPGA实现………………………………………………………………………………………………..66 5.4.3测试结果………………………………………………………………………….68 5.5本章小结………………………………………………………………….70 第6章总结与展望…………………………………………………..7l 6.1总结……………………………………………………………………….71 6.2展望……………………………………………………………………….72 参考文献………………………………………………………………73 致谢………………………………………………………………………………………..79 在读期间发表的学术论文……………………………………………8l VIJ 万方数据 目录 VIll 万方数据 第1章绪论 第1章绪论 1.1研究背景及意义 随着数字图像技术的不断发展,高清晰度、画面逼真的图像越来越受到欢 迎。高动态范围图像技术的研究,能极大促进数字图像技术朝着更大信息量、 更好视觉效果的方向发展。目前高动态范围(HighDynamicRange,HDR)图像 技术在消费类电子、遥测遥感、安防监控、数字电视等领域均有着广泛的应用。 消费类电子领域,如麓毙手机iPhone、平板电脑上的摄像头均有HDR功 能;数字电视领域,高动态范围图像技术能够呈现更宽广的色域范围、更高的 骧暗对比度以及更真实的色彩,能提供j#凡的视觉体验;遥测遥感领域,高动 态范围图像技术能够实现高精度、高清晰度以及不可见光谱的成像;安防监控 领域,摄像机的动态范围越大,视频监控画面所呈现的细节越丰富,色彩空间 越广,逆光拍摄的能力越强。 以上描述了高动态范围图像丰富的应用场景,接下来介绍高动态范围图像 的基本概念。 高动态范围网像能够完整表示真实场景中跨度很大的动态范围。图像的动 态范围是指一幅图像中量化的最大亮度与最小噪声的比值;菰场景的动态范围 是指同一场景中最大光照度与最小光照度的比值。这里光照度的单位用每平方 米上的坎德拉表示,即cd/m2。 现实场景中光照度有非常宽广的动态范围[1】,如表1.1所示。比如在阳光 照射下,物体反射的光照度值会超过105cd/m2,丽在夜晚星光下,物体反射的 光照度值会低于10一cd/m2。可见,真实场景中的动态范围会超过108。 表1.1一般情况下不阉光照下的亮度值 场景 亮度(cd/m2) 3 星光 10 月光 10‘1 室内照明 102 阳光下 10s Visual 根据人眼视觉系统(HumanSystem,HVS)理论,人眼可以观察的动 态范围也很宽广,对同一场景,能够分辨105以上的亮度动态范围差舜[2】。但 是,目前普通的CCD/CMOS图像传感器的动态范围约为60dB,也即103左右。 这远远小于真实场景的动态范围,与入眼所能观察到的动态范围也有一定差距 万方数据 第1章绪论 [3]。采用普通CMOS/CCD图像传感器不能完整呈现亮度层次差异较大的真实 场景。场景中较亮的区域,由于过曝光会出现一片白亮,而场景中较暗的区域, 由于欠曝光会出现一片黑暗。如图1.1所示,普通图像传感器得到的单一图像 (a)无法分辨场景中的细节信息,同时也出现了颜色偏移现象。经过本文3.3节 算法处理后,结果(b)细节清晰可辨,视觉效果较好。 (a)普通图像传感器得到的单一图像 (b)多曝光图像融合算法得到的图像 图1.1单一输出图像和多曝光图像融合效果对比图 目前,普通图像传感器的动态范围较小,严重限制了高动态范围图像技术 的发展。另外,由于成本等原因,显示设备的动态范围也较小,如一般的阴极 射线管(Cathode RayTube,CRT)、液晶显示器(LiquidCrystalDisplay,LCD)、 量级,远远低于现实场景的动态范围,无法做到完全映射。这意味着,即使捕 获了亮度差异较大的高动态范围图像,也很难在普通显示设备上完整显示出来。 总结来看,一般的图像生成和显示设备的动态范围都很小,不能满足高动 态范围图像技术的要求。而高端的高动态范围图像生成和显示设备较为昂贵, 无法在消费类电子及民用产品上普遍使用。 目前,较为经济的解决思路是采用多次曝光技术,产生同一场景不同曝光 度的图像,进而生成包含原场景丰富细节信息的高动态范围图像,通过图像处 理算法,使其在一般显示设备上完整显示出来。 针对高动态范围图像的显示技术,本文进行了深入的探索和研究。如何完 整保留不同曝光度图像的细节信息,如何使算法处理后的图像具有自然的视觉 效果,如何消除生成过程中常见的不连续和伪影等现象,都是本文研究和设计 中需要解决的问题。 目前存在的高动态范围图像显示算法大多较为复杂,无法集成到图像传感 器上。本文基于图像信号处理器(ImageProcessor,ISP)的实际应用需求, Signal 着重研究了易于硬件实现的高动态范围图像显示算法,提出了低复杂度、能实 时处理的硬件设计简化方案,通过FPGA实现,为下一步做成片上系统(System on Chip,SOC)打下基础。 万方数据 第1章绪论 1.2研究现状及发展趋势 采用多次曝光技术实现高动态范围图像的显示,主要有两种方法,如图1.2 所示。 第一种是对不同曝光度的图像进行直接融合,将各图像中的有效信息提取 出来,得到一幅高质量的低动态范围(LowDynamicRange,LDR)图像,无需 在中间过程生成高动态范围图像。 第二种是先利用不同曝光度图像中的亮度、曝光时间等信息,求出相机响 应曲线。通过图像合成算法,恢复出现实场景中真实的光照度,对应得到高动 态范围图像;再应用色调映射算法,对合成后产生的HDR图像进行动态范围 压缩,得到高质量的LDR图像,能够在普通显示器上显示,同时保留了现实场 景存在的细节信息。 图1.2 多次曝光实现高动态范围图像的显示 1.2.1多曝光图像融合算法研究现状及发展趋势 多曝光图像融合算法的基本思想是通过一定的度量因子对不同曝光度图像 进行评价,得到融合权重。依据融合权重,将不同曝光度图像的细节信息提取出 来,得到最终的融合图像。这种算法可以参考传统的图像融合算法理论,但由于 待融合的LDR图像中有过曝光、欠曝光等极端情况,需要对传统算法进行改进。 Goshtasby[4]首先对图像分块,采用熵理论,选择包含信息量最大的块进行 融合。此算法对分块边界的处理效果不好,融合图像容易产生明显的分块效应。 Song等人[5]首先计算图像的亮度、对比度和梯度信息,再应用概率模型对 不同曝光度图像进行融合,保留各图像中的亮度差异信息,抑制亮度值梯度的反 转效应。 Shen等人[6]首先引入局部对比度和颜色连续性度量因子,应用广义的随机 万方数据 第1章绪论 漫步模型,建立两种度量因子的最优化方程,转化为概率估计问题。 Mertens等人【7】联合对比度、曝光良好程度等质量评价因子求取初始融合权 重,采用多分辨率拉普拉斯金字塔模型进行修正,获得了较好的融合效果,但此 算法需要的融合级数太多,算法的复杂度较高。 Gu等人【8】基于多维黎曼几何理论得到融合图像的初始梯度域结果,再通过 两倍平均滤波方法迭代修正该结果,同时进行非线性压缩。该算法产生的融合图 像自然度不够,视觉效果不好。 Li等人[9】首先计算图像的亮度值以及局部对比度信息,得到初始融合权重, 再应用递煦滤波对该权重进行改善。算法较为简便,僵平滑权重图的同时,不能 完整地保留原图像中的有用信息,边缘保持性不够好。 He等人[101提出的爱导滤波算法具有较好的平滑傈边性,广泛应用在细节增 强、图像去雾、高动态图像压缩、多曝光图像融合等领域。但该算法得到的融合 图像,存在过渡区域边缘细节不够突她等问题,需要进一步优化。 对于多曝光图像融合算法来说,如何确定融合权重因子是影响融合信息的 关键因素。融合权重因子直接决定了不同曝光度图像细节信息的提取。本文提 出将图像饱和度、对比度弓入到融合权重的计算,采用weighted.average策略, 有效地提取了图像的细节信息。另外,初始融合权重的修正方法是影响融合效 果优劣的关键。本文对弓导滤波算法进行了改进,提嵩了过渡区域的图像清晰 度,并且保留了图像的边缘细节信息。 1.2.2合成与色调映射算法研究现状及发展趋势 (1)合成算法研究现状及发展趋势 合成算法一般需要知道不同曝光度图像的曝光时间,建立亮度值、曝光时 间和场景光照度的关系模型,求解得到相机响应曲线,恢复出实际场景的光照 度值。 Mann等人[11】通过合成不同曝光度图像的方法,来扩大普通相机的动态范 曝。根据多张低动态范围图像的信息,预测相机响应函数,再利焉相机响应函 数对图像进行合成。 Debevec等人[121提出不同曝光度图像的亮度僮帮曝光时闻、该像素点光照 度有关,据此建立相机响应曲线模型,对亮度值不同的像素点赋予不同的权重, 消除了极端亮度值点的影响,得到多个映射方程,转化为最d,--乘法求解闻题。 采用奇异值分解法,得到相机响应曲线,再通过逆运算得到真实场景的光照度 数值。 Robertson等人【13】研究了图像传感器的成像机理,将不同曝光度图像的量 4 万方数据 第1章绪论 化误差弓入到相机响应蘸线的求解中,根据亮度值高斯分布特性,建立相机响 应曲线的概率统计模型,通过最大化策略找到相机响应曲线的近似求解,再利 用相机响应函数关系得到真实场景的光照度数值。 上述算法都需要知道不同曝光度图像的曝光时间,建立曝光时闯、场景光 照度和亮度值的函数关系。通过多组实验数据得到多个方程,再利用数学方法 求解,一般求解过程需要多次迭代运算或者高次幂计算,这些都不适合硬件实 现。本文建立不同曝光度图像的亮度值映射关系,预测场景的光照度。该方法 简单有效,便于硬件设计。 (2)色调映射算法研究现状及发展趋势 高动态范围图像生成最,需要经过亮度徨映射才能在普通显示器上显示。 如何对图像亮度值进行有效的压缩,一直是学术界和科研人员研究的热点。国 外Stanford大学、New Planck协会等知名高 mexico大学、Calgary大学、Max 校和研究机构都对色调映射算法展开了研究。国内这方面的研究不多,只有浙 江大学、合肥工业大学、山东大学等。色调映射算法主要可分为两大类:全局 算法和局部算法。 全局算法,是指对一幅高动态范围图像的各个像素点应用相同的算法。具 有相同亮度值的像素点,经过映射,得到的亮度值相同。全局算子包括对数函 数、幂函数、S型曲线、直方图均衡等。Ward[14]应用对比敏感度模型得到比 例因子,保留了图像的整体对比度。Drago等人【15】提出底数可调的对数函数, 从l092变化到logl0,对亮度值从最暗点到最亮点进行有效地映射。 全局算法速度快、处理效率高,但缺点也很明显,它没能考虑周圈像素点 的影响,往往造成映射后的图像局部细节缺失,对比度不够。因此,更多学者 研究色调映射的局部算法。 局部算法考虑周围像素点亮度值的影响,空间邻域信息不同,相同亮度值 的像素可能映射到不同亮度值,图像细节更加清晰、对比度更高。Chiu等人[161 基于低通滤波器应雳局部亮度僮函数来压缩亮度篷。Fattal等人【17】进行梯度域 处理,压缩图像中较大的梯度,通过泊松方程求解新梯度图像,进而得到低动 态范围图像。Mantiuk等人【18】将色调映射算法转化为最优化求解阀题,调整图 像亮度值,使人眼视觉系统和显示系统的对比度缺失最小,以达到最佳的映射 效果。Durand等入【19】首先应用具有边缘保持特性的双边滤波器,将蒿动态范 围图像分解成基础图像(主要是低频信息)和细节图像(主要是高频信息), and 再应用比例因子压缩基础隰像信息。Reinhard等人【20】应用dodgingburning 技术实现亮度值压缩。Boschetti等人[21】提出基于有限对比度的局部童方图均 衡算法,根据局部图像块的平均值和方差来决定调整阈值。 万方数据 第1章绪论 上述局部算法普遍存在一个问题,由于受到邻域像素点影响,对于亮、暗 过渡较为明显的区域,容易在映射图像的边界带来光晕伪影现象。局部算法还 容易带来对比度反转的问题,使图像不够自然,视觉效果不好。另外,局部算 法相对复杂,处理速度较慢,是硬件实现的一大瓶颈。 本文结合局部算法和全局算法的优点,充分利用图像整体亮度值和局部细 节对比度信息,针对现有算法自然度不够、容易产生光晕现象等问题,提出了 解决方案。 (3)合成及色调映射硬件实现研究现状 业界方面,苹聚、华为、三星等科技厂商的移动终端设备均具有HDR功 能,但合成与色调映射算法大都采用软件实现的方式,硬件实现的较少。 学术方面,国内天津大学姚素英教授团队【22】对鼹帧曝光图像的合成进行 了研究,采用权重值函数取平均的方法,适用的场景有一定限制。国内很少看 到色调映射算法硬件实现的例子,国钤有部分学者进行了这方面的研究。 and Hassan等人[231对dodgingburning算法进行了修改,简化了局部算子, StratixII 在Altera 频处理。 and Chiu等人【24】应用dodgingburning全局算子和梯度域压缩相结合的算 法进行ASIC设计。在TSMC0。13um工艺下,占用面积为8.1mm2,能够完成 60fps帧率、1024x768分辨率的视频处理。 Vytla等人【25】疲用梯度域压缩算法,对泊松方程进行{鹭化求解,降低了硬 StratixII 件实现复杂度,在Altera FPGA上实现,综合结果表示能完成100fps 帧率、100万分辨率的视频处理。 III Urena等人E26]应用全局算子和局部算子结合的算法,在Xilinx Spartan 上实现,能够完成60fps帧攀、640x480分辨率的视频处理。 Virtex Lapray等人【27】采用FPGAV实现算法,能完成30fps帧率、100万 分辨率的视频处理。 上述硬件实现方案均使用已有的的算法,并且都采用常量参数或者人工调 节参数的方法,不利于实时视频的处理。另外,算法都较为复杂,虽然经过一 定的篱纯,仍需要耗费大量的硬件资源,不利于集戒到图像传感器芯片上。 {。3论文主要王作及章节安排 本文主要研究了实现高动态范围图像显示技术的两种方法。 针对第一种方法一一多曝光图像童接融合,考虑到罾前算法普遍存在边缘 保持效果较差、融合过渡区域细节信息损失等问题,本文引入了显著性因子和 万方数据 第1章绪论 边缘信息因子,提出了基于改进的引导滤波算法的融合方法。通过主观评价和 客观因子评价,实验结果表明,相对于其他算法,该算法显蔫提高了融合图像 的清晰度,增强了过渡区域的细节信息。 针对第二种方法一一含成与色调映射算法,主要进行了以下工作: (1)针对合成算法,本文提出了一种过渡区域溢出修正的线性映射算法。 謦前的算法大都利用连续权重函数,会产生额外的量化误差。如果曝光差异过 大,还会产生明显的伪影现象。本文采用了winner-take-all策略,有效地解决 了这一阗题;对予过渡区域曝光溢患现象造成的污染问题,建立了分类修正机 制,在同时采用不同曝光度图像进行合成时,过渡区域较为平滑;运用一次线 性拟合的方式,无需知道准确的曝光时间,就能对不圆曝光度图像进行亮度值 映射,算法参数较少,实现起来较为简便。 (2)针对色调映射方法,本文提出了一种自动参数调节的负指数函数算法。 该算法结合了全局算子和局部算子的优点,能够在图像对比度压缩的同时,保 留细节信息。根据图像信息,参数能够自动调节,从而保证映射图像平均亮度 处于视觉效果较好的区间;分别采用高斯滤波器、中值滤波器、双边滤波器进 行处理,实验结果表明,中值滤波器能有效地保留图像的细节信息,实现效果 最好。通过TMQI质量评价因子分析,本文算法在图像自然度上优于其他算法, 在结构保真度上处于较好水平。 (3)对合戒与色调映射算法进行简化,通过Verilog硬件实现。使用line buffer缓存局部滤波器需要的数据;对于组合逻辑较复杂的运算均采用流水线 设计,提高了时钟频率;规定定点小数方式,采用table-driven算法近似指数函 数求解结果;通过Modelsim对设计模块进行RTL级仿真验证,通过峰值信噪 比、结构相似度等评价因子计算,Modelsim定点和Matlab浮点仿真结果基本 一致;搭建FPGA验证平台,通过Xilinxxc6slx45器件实现算法,综合结果表 明,设计能够满足60fps帧率、720p分辨率的实时视频处理。上位机软件测试 表明,算法的处理效果较好。 本文后续章节安排如下: 第二章首先介绍捕获嵩动态范围图像的方法以及高动态范围图像的格式, 分析了图像信号处理流程,最后对比了高动态范围图像生成过程中不同的配准 校正和鬼影去除技术。 第三章分析了影响多曝光融合算法融合效果的关键因素,提出了改进的引 导滤波算法,通过实验分析了本算法的优势。 第四章分析了合成算法普遍存在的问题,提出了过渡区域溢出修正的线性 映射算法;接着结合全局算子和局部算子的优点,提出了自动参数调节的负指 万方数据 第1章绪论 数函数色调映射算法,通过TMQI质量评价因子,比较了不同算法的效果。 第五章首先提出了合成与色调映射算法硬件设计的简化方案。接着通过 Matlab浮点仿真结果进行了比较,最后利用XilinxFPGA验证平台测试了本文 算法硬件实现的效果。 第六章对本文工作进行了总结,并对未来的工作提出了展望。 万方数据 第2章高动态范围图像相关理论 第2章高动态范围图像相关理论 2.1高动态范围图像捕获方法 2.1.1图像传感器动态范围 在介绍高动态范围图像捕获方法之前,有登要先了解现代数字成像的核心 器件——图像传感器的相关概念。 图像传感器作为感光器件,模仿人类视网膜感光细胞,是摄像系统的重要 组成部分,可分为CCD和CMOS两大类。 CCD图像传感器采用特有工艺,通常具有低照度效果好、动态范围宽、灵 敏度高、色彩还原能力强等优点。而CMOS图像传感器采用集成电路最常用的 CMOS工艺,具有集成度高、功耗小、速度快、成本低等特点,最近几年在宽 动态、低照度方面发展迅速,在市场上逐渐占据主流地位。 CMOS图像传感器通过感光像素阵列接收到输入光的强度信息,通过时钟 Coverts,ADC)、噪声抑制电路、信 控制电路、模擞转换器(Analog越igital 号放大电路等,转换为数字图像信号输出。 图像传感器的动态范鼹,可以从两个方面进行描述,光学动态范曝和输出 动态范围。 图像传感器的光学动态范围是指像素所能检测到的光强度最大和最小值的 比值,实际上一般采用饱和曝光量和暗电流的比值来表示。 图像传感器的输出动态范围是指饱和输出振幅和随机噪声的比值,一般与 图像传感器ADC量化的位数有关。 以8位图像传感器为例,输出数据经线性映射,最终得到图像的亮度仅仅 只有28(0到255)个级别豹灰度值变化,因此对癜的输出动态范围缀小,仅 能达到102个数量级。高端单反相机的图像传感器采用12位/14位ADC量化, 输出动态范围楣疲提高。但由于热噪声、闪烁噪声等的影响,仅仅提蒿ADC 的位数,不能从根本上改善图像传感器的动态范围的限制。 2.1。2高动态范围图像捕获技术 普通图像传感器的动态范围有限,不可能直接用于捕获动态范围较大的场 景。为了突破这一限制,很多学者和研究机构都进行了多方面的探索,通常有 以下几种方式实现。 (1)多传感器技术 万方数据 第2章高动态范围图像相关理论 将分束器放在镜头和多个图像传感器之间,可以在每个图像传感器上产生 同一场景的图像。每个图像传感器都可以改变曝光时间,或者在系统中添加光 衰减器改变每个图像传感器获得的曝光量,这样,通过对每个图像传感器上的 图像进行合成,就可以实现高动态范围图像的实时生成。 Tocci等人[28]提出的结构,采用两个分束器单元beamsplitterl、beam splitter2和3个图像传感器HE、ME、LE。光透过镜头,通过分束器beamsplitterl, HE图像传感器吸收光的92%,其余8%被反射到ME图像传感器上。再经过分 束器beam 上,仅仅很少的光发射到镜头上或者其他区域。因此,每个图像传感器吸收曝 光量不同,转换到图像的亮度值范围也不尽相同。具体结构图见图2.1,其中 Q表示进入镜头的光强度。 ME酾nsor 图2.1Tocci等人[28】提出的多传感器结构图 该方法能有效避免捕获过程中由于物体移动、相机移动等带来的伪影问题。 但通常结构较为复杂,需要多个图像传感器和精准的光学器件,实现费用较高。 (2)像素结构改进 像素结构的改进能促使单一图像传感器扩大动态范围,常用的方法包括: (a)设计对数响应的像素结构。使像素电压与入射光强度呈对数关系,从 而将入射光强动态范围压缩到较小区域; (b)动态调整像素势阱容量。实时动态地调整像素中存储光生电荷所用电 容的大小,使势阱在光照强度较大的区域溢出一部分电荷,从而表现该区域细 节。 (c)在图像传感器上放置包含ND滤镜(就是密度镜,可以均匀减少镜头 进光量而不改变景物原本颜色和反差)阵列的模板[29]。如图2.2所示。 10 万方数据 第2章高动态范围图像相关理论 el 图2.2包含ND滤镜阵列的模板图 e3位置的滤波器对应的传感器可以接收100%的入射光源,e2、e1、eO位 像传感器能够扩展64倍的动态范围,同时所有的LDR图像均能同时用相同的 曝光积分时间捕获。但是这种方法的缺点在于,需要进行亮度值插值,会导致 空间信息的缺失,另外还会造成入射光的极大浪费。 (3)多次曝光技术 对同一幅场景设置不同的曝光时间进行采样,可以完成对场景中较亮区域 和较暗区域的完整展示,再通过一定的算法组合,合成一张高动态范围图像。 传统多次滚筒式曝光每一帧单张图像逐行曝光结束后,需要改变曝光时间, 进行下一次成像,这种方法需要提高传感器工作频率,以便实现实时处理。文 献[30]充分利用滚筒式曝光时的空闲电路资源,在一帧处理时间内,将多次滚 筒式曝光穿插进行,实现对同一场景的多次成像。 相比前两种方式,多次曝光技术能节省实现成本,被广泛使用。本文使用 的图像传感器是昆山锐芯微电子有限公司开发的新一代产品,采用两次曝光技 术,输出信号的时序示意图如图2.3所示。 vsync_in I I I I I I L nsVnc—In ::『——————————————————————f:: 107湍协题盔磁璐盈砬殛正习互Ⅲ互口哑互圜砬殛歪变殛 s“蒲铲匾遛弦函滋殛区亘j吲}困薄函蕊 图2.3 图像传感器输出数据和控制信号示意图 万方数据 第2章高动态范围图像相关理论 图像传感器向后续图像处理模块提供时钟信号clk、帧同步信号vsync_in、 与cll(上升沿同步。 2.1.3图像传感器RAW数据 在经过后续图像处理之前,图像传感器输出的是原始RAW数据。通常每 个像素的位宽是8比特、10比特、12比特或者更高位数。 为了得到不同颜色光的强度信息,通常在图像传感器像素阵列上放置滤光 Filter 片,即颜色滤波阵列(ColorArray,CFA),每个像素点只能透过特定波 长的光。Bayer型滤波模式是最为常见的滤波阵列.如图2.4所示。 图2.4Bayer型滤波格式 Bayer型滤波阵列每个单元包含四个像素,由于人眼对绿色最为敏感,所 以每个单元中包括2个绿色,1个红色和1个蓝色。为了得到完整的RGB色彩 图像,需要在后续的图像处理中加入CFA插值模块。没有经过插值处理之前, 图像传感器的输出是Bayer格式的RAW数据。 2.2高动态范围图像信号处理流程 近些年来,移动设备等消费类电子的普及,促进了以图像传感器芯片为核 心的数码相机、手机摄像头、监控摄像头等的迅速发展,同时也对图像信号处 理(Image Signal 传感器信号的输出处理单元,主要功能是实现高清晰度、画质高、低噪点、满 足人眼视觉要求的视频图像。本文研究的高动态范围图像合成和色调映射模块 是高动态范围ISP流水线处理的关键部分,其算法的优劣及硬件架构的复杂度 直接影响到ISP的性能表现。 万方数据 第2章高动态范围图像相关理论 高动态范围ISP接收图像传感器输出的两路图像信号,依次经过图像合成、 色调映射、自动白平衡、自动曝光、伽马校正、CFA插值、色彩校正、去噪、 饱和度增强、对比度增强、格式转换、边缘增强等图像处理流水线],最终 输出到LCD显示器等显示设备上,或者片外存储器上存储。具体的图像处理流 程如图2.5所示。 图2.5高动态范围ISP流水线 主要分为以下几个步骤: Curve,CRV),得到像素值与曝光时间的关系,再利用权重函数,将 Response 长曝光、短曝光对应的低动态范围图像数据合成,得到高动态范围图像。本文 算法的详细介绍见4.1节。 (2)色调映射:将高动态范围图像数据,通过一定的映射方法,匹配到普 通显示设备上显示,同时尽可能保留高动态范围图像的细节信息。本文算法的 详细介绍见4.2节。 (3)自动白平衡:图像传感器在不同色温的光源作用下,会使同一个物体 呈现不同的颜色。为了消除这种情况带来的颜色误差,通常需要自动白平衡来 统计图像的偏色情况,并调整不同基色的增益。 万方数据 第2章高动态范围图像相关理论 (4)自动曝光:根据场景亮暗情况,自动调节曝光参数,使最终输出的图 像具有理想的亮度值。 中亮度重现采用的非线】。通常需要伽马校正在图像处 理阶段对亮度值进行修正。 (6)CFA插值:对图像传感器输出的Bayer型RAW数据进行处理,对相 邻像素点的数值经过插值计算得到完整的RGB数据。 (7)色彩校正:为了弥补CFA插值后的颜色与标准色不一致的情况,需 要进行颜色校歪。 (8)去噪:图像在获取、传输过程中受到各种噪声的干扰,从而使图像的 质量下降。经过去嗓模块能在很大程度上消除无用的信患,从而提高图像的信 噪比。 (9)饱和度增强:为了满足人眼主观感受,使图像的色彩更加鲜艳,通常 需要增强图像的饱和度。 (10)对比度增强:为了使图像整体的明暗对比更加明显,需要改变图像 的灰度值分度,拉{串对比度。 (11)边缘增强:为了突出图像中的边缘细节信息或者增强模糊化的细节, 需要葶入边缘增强。 2。3高动态范围图像格式 经过合成算法得到的高动态范围图像,数据量过大,不能采用标准的24 位RGB(sRGB)格式进行编码,需要采用特定的格式进行处理。下面介绍三 种常见的HDR图像的格式。 (1)HDR格式 1989年提出【33】,至今依然广泛应用在图形学领域,特别是在HDR图像编码 领域。RGBE文件包括ASCII码头、定义文件大小的字符串、采用游程编码的 像素数据。像素数据用4字节RGBE编码方式,R、G、8、E各占有1个字节。 (2)TIFF格式 TIFF格式,扩展名为.tiff或者.tifo采用IEEE noatingRGB、LogLuv24、 LogLuv32编码方式,每个像素24或者32位。这种编码方式将亮度值和色度值 通道分开,对亮度值通道单独应用对数压缩,达到人眼能够观察到的量级。 (3)OpenEXR格式 and OpenEXR格式,扩展名为.exr,是Industrial LightMagic公司在2002 14 万方数据 第2章焘动态范圈阌像福关理论 年提出的【34】。这种格式基予16位半浮点数类型,每个像素数据包括R、G、B 三个通道,每个通道16位数据,也扩展支持每个通道32位、24位浮点数类型。 三种编码格式的对比如表2.1所示。 表2.1三种HDR图像格式的对比 2。4高动态范豳图像生成 2。4.1图像配准校正 当裁用多次曝光技术得到露一场景薛多张图像时,由于存在一定的曝光时 间差,相机的抖动、场景中物体的移动都会对合成的高动态图像造成影响,可 能产生伪影现象,需要在合成图像之前进行甏准校正帮运动物体鬼影去除。本 小节介绍几种常见的配准校正技术,2.4.2小节介绍鬼影去除技术。 1)中值阙毽位圈法 该方法需要在灰度域进行,选择一张LDR图像为配准的参考图像,这里以 两次曝光为例。蓠先,对灰度级图像应用金字塔模型,选定每级金字塔图像的 蛊方图的中值;其次,当图像像素数值大予该中值时,对应的位图在该像素点 数值为l,否则为O;再次,从第一级金字塔图开始,比较两张位图,对每个像 素点执行异或操作。观察每一级图像在达刘配准时,图像水平、竖壹方向应该 调整的偏移量;最后,确定图像实现配准的偏移量,具体见文献[35】。 (2)宣方圈耱关法 首先计算中值阂值的行和列直方图,计算一行或~列中较暗和较亮像素的 数量,使两个连续顿熬直方图最大程度遗相关,褥到拐始偏移量;再应用卡尔 曼滤波将先前帧偏移量插入到估计初始值中;最后通过一种新型确定标准来决 定使用计算的壤移量还是壹接麸先前帧推鞭得到。该方法136]将二维溜题转化 为两个一维搜索,减少了计算复杂度,能够实现实时HDR视频处理。 (3)弹性配准法 首先将图像转换至HSV色彩空间,计算不同曝光度图像的色度值,通过使 均方误差最小得到最佳的蹦标色彩信息图;其次建立闺像配准的仿射变换模型, 万方数据 第2章高动态范围图像相关理论 将模型参数求解转换为最tj、--乘法问题;最后利用牛顿一拉夫逊迭代法迭代估 计参数,最终得到配准所需的旋转和平移参数。具体实现步骤见文献【37】。 其他的配准校正方法还有基于梯度的全局配准估计【38】、空间自适应滤波 【39】、结合错误检测的梯度光流算法【40】等。 2.4.2鬼影去除 多次曝光图像黧准校正之后需要进行合成。场景中某些物体的运动,如人 头的移动、树枝的摇动等会造成在多幅图像中位置的改变,最终在合成后的 HDR图像中会出现鬼影现象。通常可以通过下瑟几种方法进行消除: (1)迭代法 根据像素点是否曝光良好以及属予场景中静止部分(即背景部分)的概率, 通过迭代方式计算每个像素点的权重;考虑到一个像素的周围像素可以代表该 像素的背景,因此该像素周围像素曝光良好程度的概率可以作为该像素点的权 重。随着迭代次数的增加,生成高动态范围图像的鬼影逐渐减少。具体见【41】。 (2)响应曲线预测值匹配法 首先根据多次曝光图像计算相机响应酋线,以两次曝光为例,根据短曝光 像素点数值预测长曝光该点数值,若预测值与实际值差异过大,则是错误预测。 其次针对错误预测点,计算该区域两幄图像曝光不足或:i童曝光的数基,较少者 选为参考图像,用作高动态范围图像的合成。具体步骤见[42]。 (3)梯度域法 选择参考曝光图像,比较其他图像与参考图像像素值的差异,调整像素的 权重。将图像划分若干个区域,对图像的每一个区域求解泊松方程,并且平衡 色彩,避免鬼影边界出现的不连续现象。具体见[43】。 其他的鬼影去除方法还有马尔可夫随机场【44】、秩最小化算法【45】、空间自 适应直方图均衡法【46】等。 2.5本章小结 本章内容包括四个小节,重点介绍了高动态范围图像的相关理论,对捕获 方法、配准校正、鬼影去除、HDR图像格式进行了简要说明。本文采用多次曝 光技术的图像传感器。针对该图像传感器输出时序的特点,给出了高动态范围 ISP图像处理的流程。依据ISP流水线处理的特点,在本文第四章、第五章分 别介绍合成与色调映射算法的研究及其硬件实现方案。 16 万方数据 第3章多曝光圈豫融合算法磷究与改进 第3章多曝光图像融合算法研究及改进 3。{多曝光图像融合 3。{.{闻题分;蓐 多曝光图像融合的输入是同一场景曝光时间不同的一组图像。这些图像中 霄曝光时闽不足的图像,能够傈留场景中亮处的信惠;有曝光时闯过长静图像, 能够保留场景中暗处的信息。经过融合处理后,能否最大程度地保持原来场景 中路处帮亮楚懿细节信息,是衡量多曝光图像融合算法优劣的最重要标准。 多曝光图像融合算法通常预估不同曝光度图像的融合权重,再进杼加权平 均融合。融合权重因子壹接决定了对不圈曝光度圈像缨节信患酶提取。因此, 如何确定融合权重因子至关重要。本文提出将图像饱和度因子、对比度因子加 权相乘作为初始融合权重。饱和度因子能够反映图像的色彩饱满程度

  多曝光融合算法研究及HDR图像合成与色调映射算法设计实现-电路与系统专业毕业论文

  ·多尺度变几何分析及直觉模糊推理图像融合算法研究-电子科学与技术专业毕业论文.pdf

  ·多尺度分析方法在医学影像诊断系统中的应用研究-信号与信息处理专业毕业论文.pdf

  ·多尺度光声显微成像用于在体微循环的初步研究-生物医学工程专业毕业论文.pdf

  ·多尺度旋转机械故障趋势特征提取及预测方法-机械设计及理论专业毕业论文.pdf

  ·多尺度分割技术对遥感影像分类精度影响分析-森林经理学专业毕业论文.pdf

  ·多尺度生物过程信息集成与数据库管理-电子与通信工程专业毕业论文.pdf

  ·多尺度的绝缘子图像跟踪技术研究-控制理论与控制工程专业毕业论文.pdf

  ·多机器人全自动焊接系统在海洋工程制管中的应用-控制工程专业毕业论文.pdf

  ·多机互连网络上有效选播算法的研究-计算机系统结构专业毕业论文.pdf

  ·多机器人协作地图构建问题研究与仿真平台设计-控制理论与控制工程专业毕业论文.pdf

  ·多智能体网络中的动态一致平均算法及其应用-控制科学与工程专业毕业论文.pdf

  ·多智能体系统的一致性及编队控制研究-控制科学与工程专业毕业论文.pdf

  ·多机器人系统中围捕策略的分析-控制理论与控制工程专业毕业论文.pdf

  ·多机器人系统中的运动控制和规划策略自学习-信号与信息处理专业毕业论文.pdf

  ·多机器人系统协同自主网络规划方法的设计与研究-软件工程专业毕业论文.pdf

  ·多机器人系统协作任务规划方法研究-计算机科学与技术;计算机应用技术专业毕业论文.pdf

http://prostyletz.com/zhenlieliushuixian/43.html
锟斤拷锟斤拷锟斤拷QQ微锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷微锟斤拷
关于我们|联系我们|版权声明|网站地图|
Copyright © 2002-2019 现金彩票 版权所有