高级搜索

基于随机放电神经元网络的彩色图像感知研究

,  , 

downloadPDF

上一篇

下一篇

徐子恒, 何玉珠, 康艳梅. 基于随机放电神经元网络的彩色图像感知研究[J]. 物理学报, 2022, 71(7): 070501-1. doi: 10.7498/aps.71.20211982
引用本文: 徐子恒, 何玉珠, 康艳梅. 基于随机放电神经元网络的彩色图像感知研究[J]. 物理学报, 2022, 71(7): 070501-1. doi: 10.7498/aps.71.20211982
shu
Zi-Heng Xu, Yu-Zhu He, Yan-Mei Kang. Color image perception based on stochastic spiking neural network[J]. Acta Physica Sinica, 2022, 71(7): 070501-1. doi: 10.7498/aps.71.20211982
Citation: Zi-Heng Xu, Yu-Zhu He, Yan-Mei Kang. Color image perception based on stochastic spiking neural network[J]. Acta Physica Sinica, 2022, 71(7): 070501-1. doi: 10.7498/aps.71.20211982
shu

基于随机放电神经元网络的彩色图像感知研究

  • 西安交通大学数学与统计学院, 西安　710049

    • 通讯作者: E-mail: ymkang@xjtu.edu.cn

  • 中图分类号: 05.40.-a, 05.40.Ca, 05.45.-a

Color image perception based on stochastic spiking neural network

  • Department of Applied Mathematics, School of Mathematics and Statistics, Xi’an Jiaotong University, Xi’an 710049, China

    • Corresponding author: E-mail: ymkang@xjtu.edu.cn

  • MSC: 05.40.-a, 05.40.Ca, 05.45.-a

  • 摘要: 本文基于随机共振原理和人脑感知物体色彩的基本生物物理过程, 提出了一种低照度彩色图像增强的可解释算法. 我们首先研究了电导基积分放电神经元网络中的随机共振现象, 揭示了放电阈值、突触权重和集群规模对输出响应信噪比的影响, 并识别出放电阈值是影响随机共振效应的关键参数. 然后, 在结合彩色图像视觉感知的生理过程的基础上, 给出了一种基于随机放电神经元网络的彩色图像增强算法, 并以峰值信噪比(PSNR)和自然图像质量评估(NIQE)作为提取最优增强图像的度量指标. 注意到待增强的图像是非周期信号, 因此, 为了优化算法的性能, 首次提出了一种基于亮度分布的分位数的阈值选取策略. 数值实验结果表明, 该算法的增强效果良好且性能稳定, 并可用于军事探测和医学图像预处理等信号处理领域.
    Abstract: Our aim is to present an interpretable algorithm for enhancing low-illuminance color image based on the principle of stochastic resonance and the fundamental biophysical process of human brain perceiving object color. To this end, the phenomenon of stochastic resonance in a conductance-based integrate-and-fire neuronal network is first explored, with the effect of firing threshold, synaptic weight and the population size on the signal-to-noise ratio revealed, and the firing threshold is recognized as the key parameter for the resonance effects. And then, a color image enhancement algorithm, where the peak signal-to-noise ratio and the natural image quality evaluator are adopted as quantifying indexes, is developed by combining the stochastic spiking neuronal network and the involved biophysical process relating to visual perception. Note that the enhanced image is aperiodic, thus in order to optimize the performance of the algorithm, an illuminance distribution based threshold strategy is given by us for the first time. The numerical tests show that the algorithm has good enhancement performance and stability. We wish this algorithm could be applied to relevant signal processing fields such as military detection and medical image preprocessing.
  • 加载中

  • 图 1  模型(1)的时间历程图　(a)仅含漏电项的单个神经元膜电位示意图, ${V_{{\text{re}}}}=-0.3$; (b)无噪声时单个神经元的膜电位演化; (c)有噪声时单个神经元的膜电位演化; (d)有噪声的单个神经元的放电序列串; (e)有噪声神经元集群的放电格栅图, 其中实心点代表当前时刻所对应的神经元有动作电位产生. 图(b)至图(e)参数: ${V_{\rm th}} = 0.3$, ${V_{\rm re}} = $$ 0$, ${g_{\rm{l}}} = {g_{\rm{s}}} = 1$, ${C_m} = 1$, ${E_{\rm syn}} = 0$, $\varepsilon = 0.1$, $ \varOmega = 1 $, ${\tau _{{s}}} = 1$, ${\tau _{\rm{d}}} = 0.5$, $N = 50$, $t = 100$; (b) $D = 0$; (c), (e) $D = $$ 0.025$

    Figure 1.  The evolution diagram of model (1): (a)Single neuron’s potential only with leaky term, ${V_{{\text{re}}}}=-0.3$; (b) single neuron’s membrane potential evolution without noise; (c) single Neuron’s membrane potential evolution with noise; (d) single neuron’s spike train with noise; (e) raster plot of the network where every node denotes a spike at a corresponding time and neuron. Parameters from picture (b) to (e) are set as ${V_{\rm th}} = 0.3$, ${V_{\rm re}} = 0$, ${g_{\rm{l}}} = {g_{\rm{s}}} = 1$, ${C_m} = 1$, ${E_{\rm syn}} = 0$, $\varepsilon = 0.1$, $ \varOmega = 1 $, ${\tau _{{s}}} = 1$, ${\tau _{\rm{d}}} = 0.5$, $N = 50$, $t = 100$; (b)$D = 0$; (c), (e)$D = 0.025$.

    下载: 全尺寸图片 幻灯片

    图 2  (a)信噪比随阈值${V_{\rm th}}$, 突触权重$w$变化图; (b)不同阈值信噪比变化情况; (c)不同突触权重信噪比变化情况. 参数${V_{\rm re}} = 0$, ${g_{\rm{l}}} = {g_{\rm{s}}} = 1$, ${C_{\rm{m}}} = 1$, ${E_{\rm syn}} = 0$, $\varepsilon = 0.1$, $ \varOmega = 1 $, ${\tau _{{s}}} = 1$, ${\tau _{\rm{d}}} = 0.5$, $N = 5$, $t = 100$

    Figure 2.  (a) Signal-to-noise ratio for different threshold Vth and synaptic weight w; (b) signal-to-noise ratio for different threshold Vth; (c) signal-to-noise ratio for different synaptic weight w. Parameters are set as ${V_{\rm re}} = 0$, ${g_{\rm{l}}} = {g_{\rm{s}}} = 1$, ${C_{\rm{m}}} = 1$, ${E_{\rm syn}} = 0$, $\varepsilon = 0.1$, $ \Omega = 1 $, ${\tau _{{s}}} = 1$, ${\tau _{\text{d}}} = 0.5$, $N = 5$, $t = 100$.

    下载: 全尺寸图片 幻灯片

    图 3  信噪比随神经元集群尺寸变化图, 参数${V_{\rm th}} = 0.3$, $w = - 0.2$, ${V_{\rm re}} = 0$, ${g_{\rm{l}}} = {g_{\rm{s}}} = 1$, ${C_{\rm{m}}} = 1$, ${E_{\rm syn}} = 0$, $\varepsilon = 0.1$, $ \varOmega = 1 $, ${\tau _{{s}}} = 1$, ${\tau _{\rm{d}}} = 0.5$, $t = 100$

    Figure 3.  Signal-to-noise ratio for different quantity of neurons with ${V_{\rm th}} = 0.3$, $w = - 0.2$, ${V_{\rm re}} = 0$, ${g_{\rm{l}}} = {g_{\rm{s}}} = 1$, ${C_{\rm{m}}} = 1$, ${E_{\rm syn}} = 0$, $\varepsilon = 0.1$, $ \varOmega = 1 $, ${\tau _{{s}}} = 1$, ${\tau _{\rm{d}}} = 0.5$, $t = 100$.

    下载: 全尺寸图片 幻灯片

    图 4  图像增强流程图

    Figure 4.  The flow chart of dark image enhancement algorithm.

    下载: 全尺寸图片 幻灯片

    图 5  编码过程流程图

    Figure 5.  The flow chart of encoding part.

    下载: 全尺寸图片 幻灯片

    图 6  不同神经元个数对最优增强图像质量的影响　(a)神经元个数N=50; (b)神经元个数N=300; (c)峰值信噪比(PSNR)变化曲线, 虚线代表在此噪声强度取得最优图像. 参数${V_{{\text{th}}}} = 0.0667$, $w = - 0.2$, ${V_{{\text{re}}}} = 0$, ${g_{\text{l}}} = {g_{\text{s}}} = 1$, ${C_{\text{m}}} = 1$, ${E_{{\text{syn}}}} = 0$, ${\tau _s} = 1$, ${\tau _{\text{d}}} = 0.5$, $t = 100$

    Figure 6.  Difference caused by the size of neuron population: (a) N=50; (b) N=300; (c) peak signal-to-noise ratio(PSNR) curve, the dotted line reflects the noise density corresponds to the best enhanced picture. Parameters are set as ${V_{{\text{th}}}} = 0.0667$, $w = - 0.2$, ${V_{{\text{re}}}} = 0$, ${g_{\text{l}}} = {g_{\text{s}}} = 1$, ${C_{\text{m}}} = 1$, ${E_{{\text{syn}}}} = 0$, ${\tau _s} = 1$, ${\tau _{\text{d}}} = 0.5$, $t = 100$.

    下载: 全尺寸图片 幻灯片

    图 7  亮度的频数分布直方图　(a) 原始黑暗图像; (b) 0.6分位点最优图像; (c) 0.95分位点最优图像

    Figure 7.  Frequency histogram of brightness: (a) The origin dark image; (b) best image corresponding to 60 percent quantile; (c) best image corresponding to 95 percent quantile.

    下载: 全尺寸图片 幻灯片

    图 8  不同阈值下对应的最优增强图像　(a) 0.6分位点; (b) 0.95分位点; (c) 峰值信噪比变化曲线, 虚线处表示最优噪声强度. 参数$w = - 0.2$, ${V_{{\text{re}}}} = 0$, ${g_{\text{l}}} = {g_{\text{s}}} = 1$, ${C_{\text{m}}} = 1$, ${E_{{\text{syn}}}} = 0$, ${\tau _s} = 1$, ${\tau _{\text{d}}} = 0.5$, $N = 300$, $t = 100$

    Figure 8.  Best enhanced images with different membrane potential thresholds: (a) 60 percent quantile; (b) 95 percent quantile; (c) peak signal-to-noise ratio(PSNR) curves, the dotted line reflects the noise density corresponds to the best enhanced picture. Parameters are set as $w = - 0.2$, ${V_{{\text{re}}}} = 0$, ${g_{\text{l}}} = {g_{\text{s}}} = 1$, ${C_{\text{m}}} = 1$, ${E_{{\text{syn}}}} = 0$, ${\tau _ s} = 1$, ${\tau _{\text{d}}} = 0.5$, $N = 300$, $t = 100$.

    下载: 全尺寸图片 幻灯片

    图 9  图像增强结果　(a) 原始黑暗图像; (b) 原始清晰图像; (c) 本文提出的随机共振方法, $D = 0.0035$, ${V_{{\text{th}}}} = 0.0667$; (d) SSR算法; (e) HE算法; (f) SVD-DSR算法

    Figure 9.  (a) The origin dark image; (b) the origin bright image; (c) our stochastic-resonance algorithm with $D = 0.0035$and ${V_{{\text{th}}}} = 0.0667$; (d) SSR algorithm; (e) HE algorithm; (f) SVD-DSR algorithm.

    下载: 全尺寸图片 幻灯片

    图 10  图像增强结果　(a) 原始黑暗图像; (b) 本文提出的随机共振方法$D = 0.0035$, ${V_{{\text{th}}}} = 0.11$; (c) SSR算法; (d) HE算法; (e) SVD-DSR算法; (f) NIQE变化图

    Figure 10.  (a) The origin dark image; (b) our stochastic-resonance algorithm with $D = 0.0035$ and ${V_{{\text{th}}}} = 0.11$; (c) SSR algorithm; (d) HE algorithm; (e) SVD-DSR algorithm; (f) NIQE under different noise densities.

    下载: 全尺寸图片 幻灯片

    表 1  四种算法的PSNR和NIQE

    Table 1.  PSNR and NIQE of these four algorithms.

    图像质量评价指标本文提出的随机共振算法SSRHESVD-DSR
    PSNR21.58378.008914.653715.9144
    NIQE3.45704.01105.05435.0330
    下载: 导出CSV

    表 2  四种算法的PSNR和NIQE

    Table 2.  PSNR and NIQE of these four algorithms.

    图像质量评价指标本文提出的随机共振算法SSRHESVD-DSR
    NIQE3.68904.37124.65454.9605
    下载: 导出CSV
  • [1] Gonzalez C R, Woods R E 2002 Digital Image Processing (2nd Ed.) (New Jersey: Prentice Hall) pp88–108
    [2] Kwong R H, Johnston E W 1992 IEEE Trans. Signal Process. 40 1633 doi: 10.1109/78.143435
    [3] Dai Q, Pu Y F, Rahman Z, Aamir Z 2019 Symmetry Basel 11 574 doi: 10.3390/sym11040574
    [4] Benzi R, Sutera A, Vulpiani, A 1981 J. Phys. A-Math. Gen. 14 453 doi: 10.1088/0305-4470/14/11/006
    [5] Gammaitoni L, Hanggi P, Jung P, Marchesoni F 1998 Rev. Mod. Phys. 70 223 doi: 10.1103/RevModPhys.70.223
    [6] Simonotto E, Riani M, Seife C, Roberts M, Twitty J, Moss F 1997 Phys. Rev. Lett. 78 1186 doi: 10.1103/PhysRevLett.78.1186
    [7] Sasaki H, Sakane S, Ishida T, Todorokihara M, Kitamura T, Aoki R 2008 Behav. Brain. Res. 193 152 doi: 10.1016/j.bbr.2008.05.003
    [8] Yang T 1998 Phys. Lett. A 245 79 doi: 10.1016/S0375-9601(98)00351-X
    [9] Delahaies A, Rousseau D, Fasqueal J B, Chapeau-Blondeau F 2012 J. Opt. Soc. Am. A: 29 1211
    [10] Jha R K, Chouhan R 2014 Signal Image Video Process. 8 339 doi: 10.1007/s11760-012-0296-2
    [11] Dylov D V, Fleischer J W 2010 Nat. Photonics 4 323 doi: 10.1038/nphoton.2010.31
    [12] Patel A, Kosko B 2011 IEEE Trans. Signal Process. 59 488 doi: 10.1109/TSP.2010.2091409
    [13] Itzcovich E, Riani M, Sannita W G 2017 Sci. Rep. 7 12840 doi: 10.1038/s41598-017-12906-2
    [14] Van-der-Groen O, Tang M F, Wenderoth N, Mattingley J B, Jeff B 2018 PLoS Comput. Biol. 14 1
    [15] Nnoli U 2019 Optik 195 163111 doi: 10.1016/j.ijleo.2019.163111
    [16] Kang Y M, Xu J X, Xie Y 2005 Phys. Rev. E 72 021902 doi: 10.1103/PhysRevE.72.021902
    [17] Yu Y G, Richard R D, Lee T S 2005 Phys. Rev. Lett. 94 108103 doi: 10.1103/PhysRevLett.94.108103
    [18] Ashok P, Bart K 2008 IEEE Trans. Neural Networks 19 1993
    [19] Purves D 2011 Brains: How They Seem to Work (New Jersey : Financial Times Press Science) pp30–47
    [20] Li Z P 2019 Curr. Opin. Neurobiol. 58 1
    [21] Fu Y X, Kang Y M, Chen G R 2020 Front. Comput. Neurosci. 14 24 doi: 10.3389/fncom.2020.00024
    [22] Rolls E L, Loh M, Deco G, Winterer G 2008 Nat. Rev. Neurosci. 9 696 doi: 10.1038/nrn2462
    [23] Smith R A 1978 Siggraph Comput. Graph 12 12 doi: 10.1145/965139.807361
    [24] Lagnado L 2000 Exp. Physiol. 85 1 doi: 10.1111/j.1469-445X.2000.01966.x
    [25] Kang Y M, Liu R N, Mao X R 2021 Cognitive Neurodynamics 15 517 doi: 10.1007/s11571-020-09632-3
    [26] Tiwari I, Phogat R, Parmananda P, Ocampo-Espindola J L, Rivera L 2016 Phys. Rev. E 94 022210 doi: 10.1103/PhysRevE.94.022210
    [27] Mittal A, Soundararajan R, Bovik A C 2013 IEEE Signal Process. Let. 20 209 doi: 10.1109/LSP.2012.2227726
    [28] Durrant S, Kang Y M, Stocks N, Feng J F 2011 Phys. Rev. E 84 011923 doi: 10.1103/PhysRevE.84.011923
    [29] Faisal A A, Selen L P J, Wolpert D P 2008 Nat. Rev. Neurosci. 9 292 doi: 10.1038/nrn2258
    [30] Wilke S D, Eurich C 2001 W 10th Computational Neuroscience Meeting Monterey, USA, June, 2001 p1023
    [31] Wiesenfeld K, Moss F 1995 Nature 373 33 doi: 10.1038/373033a0
    [32] Levin J E, Miller J P 1996 Nature 380 165 doi: 10.1038/380165a0
    [33] Stacey W C, Durand D M 2000 J. Neurosci. 83 1394
  • 加载中
图( 10) 表( 2)
计量
  • 文章访问数:  338
  • HTML全文浏览数:  338
  • PDF下载数:  1
  • 施引文献:  0
出版历程
  • 收稿日期:  2021-10-25
  • 刊出日期:  2022-04-05

基于随机放电神经元网络的彩色图像感知研究

    通讯作者: E-mail: ymkang@xjtu.edu.cn
  • 西安交通大学数学与统计学院, 西安　710049
  • 收稿日期:  2021-10-25

摘要: 本文基于随机共振原理和人脑感知物体色彩的基本生物物理过程, 提出了一种低照度彩色图像增强的可解释算法. 我们首先研究了电导基积分放电神经元网络中的随机共振现象, 揭示了放电阈值、突触权重和集群规模对输出响应信噪比的影响, 并识别出放电阈值是影响随机共振效应的关键参数. 然后, 在结合彩色图像视觉感知的生理过程的基础上, 给出了一种基于随机放电神经元网络的彩色图像增强算法, 并以峰值信噪比(PSNR)和自然图像质量评估(NIQE)作为提取最优增强图像的度量指标. 注意到待增强的图像是非周期信号, 因此, 为了优化算法的性能, 首次提出了一种基于亮度分布的分位数的阈值选取策略. 数值实验结果表明, 该算法的增强效果良好且性能稳定, 并可用于军事探测和医学图像预处理等信号处理领域.

English Abstract

    全文HTML

    1.   引　言

    • 图像感知又称为视觉感知或图像对比度增强, 是图像处理领域的重要研究课题, 其应用涉及军事夜视、道路交通、视频监控、生物医学等方面. 常规的图像增强方法或者基于“降噪”处理, 例如直方图均衡化方法[1]、自适应滤波器的增强算法[2], 或者基于反射光线对波长的依赖性, 例如基于Retinex理论的融合算法[3]. 然而, 这些方法的生物学可解释性还有待加强.

      一般来说, 在线性系统或者近平衡系统中, 系统响应的信噪比总是噪声强度的减函数, 此时噪声的干扰只会产生负面作用, 但在远离平衡的非线性系统例如随机共振系统, 适量的噪声却具有放大弱信号的有益作用. 所谓的随机共振, 是指在一定的非线性多稳系统或可兴奋系统中, 由于能量转换作用, 适量的噪声能够最优地放大微弱的输入信号, 使得系统响应的信噪比或谱放大因子随噪声强度的变化呈现出先增大后减小的类似于“共振”的反常规效应. 该现象是意大利科学家为解释古气象学中冷气候期和暖气候期的周期性交替所提出[4], 已在模型和实验方面得到了广泛的例证和揭示[5].

      随机共振原理的一个重要应用是图像处理[6-10]. 就我们所知, 文献[6]是随机共振原理在视觉感知和图像增强中的最早应用; 随后的典型研究包括隐藏目标提取[11]、水印解码[12]、受损视觉改进[13]、脑机接口[14]以及图像去雾[15]等. 这些研究结合不同的应用例证了噪声在图像增强与图像恢复中产生的积极作用. 特别地, 基于随机共振原理的图像增强算法, 不同于传统的降噪方法, 它不是通过抑制或消除噪声而是通过利用噪声来实现图像的增强. 由于现有文献中基于随机共振原理的图像增强算法大多缺乏算法实现的细节, 而且既没能和视觉感知的基本过程相结合，也没能与随机共振的基本原理完全贴合，因而同样缺乏可解释性.

      包括随机共振现象在内的大量研究表明, 噪声普遍存在于神经系统并且在神经信息的编码和传递中能够发挥积极作用[16-18]. 为了提出一种具有生物可解释性的视觉感知算法, 最近我们课题组在了解人脑视觉感知物体轮廓的基本生物物理过程[19,20]的基础上, 基于放电神经元网络中的随机共振效应提出了一种增强黑白图像的视觉感知算法[21]. 为了得到更为一般的具有生物可解释性的视觉感知算法, 本文希望把该视觉感知算法加以推广, 以便得到适用于低亮度的彩色图像增强的视觉感知算法.

      本文分为五部分. 第二部分, 借助数值模拟研究放电神经元网络的随机共振现象及其对模型参数的依赖性, 以便为彩色图像增强算法的设计提供理论指导. 第三部分, 结合视觉感知的一般生理过程, 给出适用于低亮度彩色图像增强的随机动力系统算法. 第四部分给出了相关的数值试验结果及进一步的讨论. 最后是研究结论和展望.

    2.   积分放电神经元网络与随机共振现象

    • 考虑由N个突触电导积分放电神经元组成的神经元网络[22], 每个神经元模型的Langevin控制方程为

      其中${V_i}(t)$表示第i个神经元在时刻t的膜电位; ${I_{{\text{syn}}, i}}(t)$代表第i个神经元在t时刻接收到的来自其他神经元的电导突触电流; ${s_j}(t)$代表第$j$个神经元的突触离子通道门在时刻$t$的开放比例, 其中δ(·)表示狄拉克 δ 函数;${I_{{\text{ext}}}}(t) = \varepsilon \cos (\varOmega t) + \sqrt {2 D} {\xi _i}(t)$代表第$i$个神经元接收到的含有皮层活动噪声的外部输入电流, 其中${\xi _i}(t)$是均值为零、方差为1的高斯白噪声, $D$是噪声强度参数. 相关参数含义如下: 在方程(1a)中, ${C_m}$代表膜电容, ${g_l}$代表漏电导, ${V_L}$是漏电流, ${V_{\rm th}}$是放电阈值电位; 在方程(1b)中, ${g_s}$代表突触电导, ${E_{\rm syn}}$代表突触反转电位, ${w_{ij}}$表示突触权重; 在方程(1c)中, ${\tau _l}$代表突触时延, ${\tau _d} $代表突触时间常数, ${t_{j, k}}$代表第$j$个神经元的第$i$个放电时刻. 膜电位${V_i}(t)$一旦到达阈值电位${V_{\rm th}}$, 即刻释放动作电位, 并且立即被重置到静息电位${V_{\rm re}}$, 并在短暂的不应期${\tau _{\rm ref}}$之后重新按方程(1a)进行演化. 为了简便起见, 本文忽略了不应期的影响即令${\tau _{\rm ref}} = 0$. 设${t_{i, k}}$表示第$ i $个神经元的第$k$个放电时刻, 则第$ i $个神经元以及神经元网络的输出响应可分别表示为

      注意到模型(1)的随机解可由Euler-Maruyama算法即

      模拟得到. 这里$ V_i^n{\text{ = }}{V_i}({t_n}) ,$$ \Delta V_i^n{\text{ = }}{V_i}({t_{n + 1}}) - {V_i}({t_n}) ,$ $\Delta {t_n} = {t_{n + 1}} - {t_n}, {I_{{\text{sig}}}}({t_n}) = \varepsilon \cos (\varOmega {t_n})$是相干信号的离散形式,$ {r_i} $是标准正态分布的伪随机数.

      图1给出了单个神经元及神经元种群放电行为的演化示例. 图1(a)是没有外部电流时的膜电位变化图, 膜电位的初值为0, 静息电位设为${V_{{\text{re}}}}= $$ -0.3$, 可以观察到在开始放电后膜电位从0迅速变为–0.3, 随后便一直处在静息电位不再产生变化. 我们知道动作电位是神经元之间的基本通讯形式, 然而, 由图1(b)可见, 当电流输入中仅有阈下的余弦信号时, 膜电位始终在阈下演化区域演化, 不会产生动作电位, 此时由余弦信号所携带的激励信息就无法传递给其他神经元. 当输入电流中既含阈下的余弦信号又含有适量噪声时, 由于噪声与信号之间的协作作用, 膜电位能够上穿阈值从而产生动作电位, 此时动作电位序列既有一定的随机性又有一定的相干性(如图1(c)). 显然, 图1(c)及图1(d)中单个神经元所呈现出的噪声增强的相干性在神经元种群的栅格图(图1(e))中体现得更为明显. 这里的噪声增强的相干性其实就是所谓的随机共振现象, 其典型特征是系统输出响应的信噪比是噪声强度的非单调函数, 即信噪比随噪声强度的变化曲线会呈现出先增大后减小的单峰结构. 除此之外, 通过观察图1(e)发现, 神经元集群的放电时间均集中在周期2π的整数倍处, 这正是随机共振的另一特性. 同时, 对应于图1(c), 图1(e)中神经元较为集中的时刻也可以间接地反映出在此时神经元膜电位较大.

      根据文献[16], 可用信噪比刻画输出响应的相干程度, 其定义为

      其中S(ω)是所考虑的神经元网络的输出响应y(t)的平均功率谱密度, S(Ω)是信号成分的平均谱密度, N(Ω)表示噪声在信号频率ω = Ω处的平均谱密度. 图2给出了神经元集群输出响应的信噪比随噪声强度D、阈值Vth及权重w的变化情况. 由图2(a)可知, 该集群响应的信噪比总体上是先随噪声强度的增加而增加后随噪声强度的变化而减小, 这种非单调变化趋势恰好说明了模型(1)在突触噪声和弱余弦信号的驱动下发生了随机共振现象. 由图2(a)和图2(c)可以看出, 突触权重的改变对信噪比的影响并不明显. 由于本文选取的${I_{{\text{syn}}, i}}(t)$为抑制性突触电流[22], 由此推测, 信噪比随突触权重的变化没有明显改变这一性质, 应该与突触电流的抑制性有关. 由图2(a)和图2(b)还可看到, 放电阈值的大小明显影响着随机共振曲线的峰高: 放电阈值与弱信号的幅值越接近, 随机共振效应越显著. 这一观察告诉我们: 在基于模型(1)的随机共振效应设计弱信号, 例如低照度彩色图像的增强算法中, 应当使图像信号的某种幅值尽可能地靠近动作电位发放的临界阈值.

      考虑到大脑对彩色图像的感知要通过大量视锥神经元的协同作用来实现, 从而在设计图像增强算法时, 还应当选取适当的集群规模以便得到更好的图像增强效果. 为此, 需要讨论模型(1)的规模即神经元个数对随机共振效应的影响. 如图3所示, 当集群的规模小于50时, 随机共振效应对规模较为敏感, 即规模越大, 随机共振效果愈显著, 但当集群的规模大于50时, 随机共振效应对规模则不再敏感, 例如当集群规模由50增大到100时, 信噪比的峰值几乎不再增加. 通过以上现象可以推断出, 基于随机共振原理的彩色图像增强算法对于图像的增强效果, 应该不会随着神经元集群规模的增长而无限增长, 因而在设计算法的时候, 选取一个足够大的集群规模即可.

    3.   基于随机共振原理的彩色图像增强算法

    • 随机共振的发生需要三个要素: 一定的非线性条件、适量的噪声和某种形式的弱信号输入. 神经元本身就是非线性的信息处理单元, 神经系统内部存在着各种噪声源, 而来自外界的低对照度图像则是对应的弱信号输入. 为了给出具有生物可解释性的彩色图像的感知算法, 首先要解决的问题是选择合适的颜色空间, 以便为随机共振效应的发生创造条件. 需要解决的第二个问题则是如何把基于模型(1)的图像增强算法与人类视觉感知的基本生物物理过程相结合. 如何找到合适的度量指标以便挑选出最佳的目标图像, 则是该算法设计中的另一个关键问题.

      • 3.1.   色彩空间理论

    • 计算机是以RGB格式对彩色图像进行存储的, 即任意一种色彩都可由红、绿、蓝三原色的叠加而成. 注意到在RGB色彩空间中, 笛卡尔坐标系的原点对应的是黑色, 从而对于低亮度的彩色图像, 它的每个原色分量都有可能是低于阈值的弱信号. 因此, 基于RGB空间和随机共振原理的感知算法设计, 往往需要对红、绿、蓝三个原色分量分别处理, 而且还要考虑人眼对不同波长光线的敏感性差异. 显然, 这样的算法设计过于复杂且容易造成图像信息的丢失.

      相较于RGB颜色空间, HSV色彩空间模型与人类视觉系统感知颜色的方式更加相似, 其中HSV分别代表hue(色调), saturation (饱和度), value (亮度). 色调指图像的颜色, 因此调节色调也就意味着改变颜色, 其取值范围为0°到360°; 饱和度是指颜色接近光谱色的程度, 其值在0% (白色) 到100% (光谱色)之间, 饱和度越高, 颜色越深而艳. 亮度表示图像的明亮程度, 取值在0% (黑)到100% (白)之间. 在HSV色彩空间中, 人眼对色差的感知更加均匀并且消除了图像中亮度分量与色彩分量的联系, 因此对亮度分量增强即能在一定的意义上实现对低亮度图像的增强.

      由上面的分析可知, 设计彩色图像感知算法的第一步是通过下面的非线性变换[23], 将RGB图像变为HSV图像:

      其中(r, g, b)分别是像素颜色的红、绿和蓝坐标, 其值是在0到1之间, max是r, g, b中的最大者, min为r, g, b中的最小者.

      又由于计算机是以RGB格式对彩色图像进行存储的, 因而设计彩色图像感知算法的最后一步需要把HSV空间的图像转化为RGB空间中的图像, 从而就要进行借助(5a)式—(5c)式的逆变换:

      式中, ${h_i} = \left[ {H/60} \right]\boldsymbolod 6$, $ q = V \times (1 - f \times S) $, $f = $$ (H/60) - {h_i}$, $p = V \times (1 - S)$, $t = V$$\times (1 - (1 - $$ f) \times S)$.

      • 3.2.   视觉感知算法的主要步骤与流程

    • 图像增强的目的是为了帮助人们更容易地感知图像所包含的重要信息, 因此, 在设计图像增强算法时, 不仅要考虑到低亮度图像本身的性质, 也应当充分考虑人眼成像的生物物理过程. 根据文献[24], 当人眼视物时, 物体图像的反射光线通过屈光系统进入视网膜, 视网膜中的感光细胞吸收光线并进而将光信号转换为电信号, 然后通过神经束传送到视觉皮层中产生图像. 由此可见, 为了完善算法的生物学可解释性, 有必要对视网膜的结构和功能进行了解. 视网膜上主要有两种感光细胞: 视杆细胞和视锥细胞. 视杆细胞主要分布在视网膜的周边, 光敏度较高, 但分辨率很差, 在低亮度环境下只能分辨出物体的大致轮廓但无法分辨颜色, 而视锥细胞分布在视网膜中央的黄斑区, 对亮光较为敏感且具有高分辨率和颜色辨别能力. 鉴于上面的分析, 本文基于人眼视觉感知框架的低亮度彩色图像增强算法分为三个主要步骤. 首先, 通过视网膜中的感光器接收光信号并将其转换为电脉冲信号, 这一过程称为编码过程; 然后, 在视觉皮层中对电脉冲信号进行处理, 称为解码和整合的过程; 最后, 调节噪声强度, 得到利用随机共振原理对低亮度图像进行增强后的最优解, 总体流程图如图4所示.

      下面介绍算法步骤的细节:

      I) 编码过程

      当光线进入眼睛, 视网膜首先将HSV颜色空间的图像信号转换成神经电脉冲. 考虑到负责颜色感知的主要是视锥细胞, 而视网膜中约有数百万的视锥细胞, 所以用积分放电神经元网络描述视网膜对彩色图像的编码过程, 其中每个神经元对应一个视锥细胞. 与此同时, 考虑到HSV色彩模型有三个分量, 而图像的亮度对应于其亮度分量V, 因此将HSV空间中的亮度分量V作为每个视锥细胞的确定性输入信号, 相应的输出信号为向视觉皮层传递的动作电位.

      设$V_i^{m, n}(t)$为第$ i $个神经元在$t$时刻感知像素$ (m, n) $的亮度的膜电位, ${{\boldsymbol{P}}_{M \times N}}$为待增强图像的亮度矩阵, 其中$P(m, n) \in (0, \, 1)$表示像素$ (m, n) $的亮度, 则模拟编码过程的积分放电神经元网络可由下面的Langevin方程描述:

      其中$\xi _i^{m, n}(t)$是满足$\left\langle {\xi _i^{m, n}(t + s)\xi _j^{m, n}(t)} \right\rangle = \delta (s)\delta (i - $$ j)$的高斯白噪声, 我们用它刻画第$ i $个神经元接在感知像素$ (m, n) $亮度时所受到的环境波动. 膜电位$V_i^{m, n}(t)$一旦从下方上穿放电阈值${V_{\rm th}}$, 第$ i $个神经元即刻产生动作电位, 膜电位随即重置到静息电位${V_{\rm re}}$, 之后重新按照方程(5)开始演化. $t_{j, k}^{m, n}$代表第$j$个神经元在感知像素$ (m, n) $亮度期间所产生的第$k$个动作电位的时刻. 编码过程结束后, 每个神经元通过产生的动作电位, 将放电信息传输到视觉皮层, 从而进行下一步的解码与整合过程. 图5为编码过程流程图.

      II) 解码与整合过程

      通过视网膜的视锥细胞传递来的图像亮度信息在视觉皮层可被解码为二值图像. 神经信息传输的载体是电脉冲, 因此编码的信息应以尖峰序列的形式存在而不是连续的膜电位. 由此, 令矩阵${({\rm Image}_i)_{M \times N}}$为在编码阶段所记录的第$ i $个神经元的放电信息, 其元素为1或0, 分别表示在相应的亮度$ P(m, n) $输入下该神经元有无放电, 则由第$ i $个神经元所编码的信息经解码后得到下面的亮度矩阵:

      假定视觉皮层是先解码每个神经元所感知的信息, 然后再整合由所有神经元得到的解码信息, 那么根据(8)式, 对所有的神经元取算数平均, 则得到一个整体的图像亮度矩阵:

      注意到${({p_i}c)_{M \times N}}$代表整合后的图像亮度信息, 将该亮度信息与色调信息和饱和度信息相融合即得到一幅完整的彩色图像. 由于输入了长度为L的噪声强度向量, 因此最后应得到L幅彩色图像, 通过3.3节将要介绍的图像质量评价指标选取出L幅彩色图像中质量最高的作为最终的输出图像, 这也是调节噪声强度思想的具体实现.

      • 3.3.   图像质量评价指标

    • 在第3.1节, 在固定的噪声水平下, 说明了如何在视觉感知框架下通过放电神经元网络增强低亮度的彩色图像, 但并没有阐述如何通过调节噪声强度来达到最优的增强效果. 在上文中, 我们已经说明可以通过调节背景噪声的强度使其处在适当的噪声水平上, 使输出响应的相干性达到最大. 因而, 寻找最优噪声水平和最优的增强图像应该是随机共振类图像增强算法的核心. 为此, 需要选用一个合适的图像质量评价指标来挑选出最佳的增强图像.

      许多研究表明, 适量的噪声不仅有助于放大弱的谐波信号, 而且有助于放大弱的非周期信号[25,26]. 通常, 前者称为随机共振, 后者称为非周期随机共振, 而且可以认为发生随机共振的系统都能发生非周期随机共振. 注意到低亮度图像的亮度信号是弱的非周期信号, 因而它也能够被模型(1)通过非周期随机共振原理增强. 然而, 在上文的模型研究中, 由于弱的输入信号是谐波信号, 随机共振的增强效果可通过单频信号的输出信噪比(3)式来量化随机共振的效果, 但是在非周期随机共振中, 由于弱信号的频谱图是连续的, 从而通过(3)式所定义的信噪比不再适用, 必须使用不同的度量指标以描述其中涉及的形状匹配程度或结构相似性, 以便找出最优噪声强度及其所对应的最优增强图像. 需要指出的是, 虽然文献[21]所给出的图像方差作为增强低对照度黑白图像的量化指标非常有效, 但我们的数值实验却表明它并不适合于度量低照度彩色图像的增强. 因此, 为了挑选出最优噪声强度及其对应的最优增强图像, 将采用图像处理领域中更加常用评价指标: 峰值信噪比(peak signal-to-noise ratio, PSNR)和自然图像质量评估(natural image quality evaluation, NIQE)[27], 前者适合于有参考图像的情形, 而后者适合于无参考图像的情形.

      峰值信噪比是基于图像方差的一种评价图像质量的客观标准, 通常用于客观评估图像处理前后图像的优劣程度. 定义如下:

      其中$ X $和$ Y $分别是增强图像和参考图像的亮度矩阵; $ H $和$ W $是亮度矩阵的行数和列数, 其值由图片的分辨率决定; $\rm MSE$通常称为均方误差.

      自然图像质量评估既不需要曝光图像的先验条件, 也不需要在失真图像的训练集进行训练获得意见, 是一种全新的无参考-无感知意见的图像评价指标. 其方法的思想是, 利用失真图像与高质量图像在结构上的不同来评价待评估图像的质量. 研究表明, 高质量图像的特征更贴合于多维高斯分布[27], 因此可以利用多维高斯分布对待评估图像的特征进行拟合, 将其与高质量图像拟合后的多维高斯分布之间的距离作为待评估图像的失真程度, 公式如下:

      • 3.4.   神经元种群规模的影响

    • 在人眼视觉感知过程中, 神经元种群规模具体表现为神经系统在人眼成像活动中的参与程度, 在一定范围内, 参与程度越高, 成像越清晰, 这与我们从图3中得到的结论完全吻合. 同时, 根据图4及图5可以看出, 在本文的算法中, 神经系统中噪声的优化程度对神经元种群规模具有很高的依赖性. 以上结论启示我们可以通过改变神经元网络的规模进一步优化图像增强算法的性能. 在积分放电神经元模型中, 神经元个数取为N = 50就可以较好地优化噪声, 又根据图3可知, 模型(1)在神经元个数超过50时, 信噪比峰值增加的较为平缓, 因此, 在本文图像增强算法的实现过程中, 初步考虑神经元种群规模取为N = 50. 为了保险起见, 另取N = 300进行对照实验. 由图6可知, 当神经元个数较少(N = 50)时(图6(a)), 增强后的最优图像中仍然分散着密密麻麻的噪点, 并且分辨率较低, 但当神经元个数足够多(N = 300)时(图6(b)), 增强后的最优图像中噪点基本消失, 并且图像清晰度有了很大的改善. 注意到人类的视觉活动是大量的神经元参与进行感知的结果, 因而图6中所体现出的神经元种群规模的正面作用在一定意义上支持了本文的彩色图像增强算法的生物学可解释性.

      • 3.5.   阈值的最佳选取策略

    • 在视网膜活动中, 阈值是视觉神经元在应对剧烈变化的环境时自我调节机制的重要体现. 而且, 由上文的模型研究知, 神经元集群输出响应的信噪比基本不受突触权重的影响, 但却明显地依赖于阈值的大小, 不同的阈值设定会导致显著不同的随机共振效果. 这些现象均表明, 为了得到最优增强图像, 有必要讨论放电阈值的最佳选取策略.

      在图像处理算法中, 像素分布直方图常被用来设计阈值选取策略, 例如在增强灰度图像时, 一般把阈值取为最大灰度[21]. 如果遵循这样的做法, 应该把放电阈值取为低亮度彩色图像的最大亮度值. 然而, 大量的数值试验显示, 把阈值取为最大亮度值, 在本文的彩色图像增强算法中并不会有很好的增强效果. 相反地, 由待增强图像亮度矩阵的分位点给出的阈值策略却更能够得到较好的实验结果(图7). 为了说明这一点, 分别在图8(a)和图8(b)中给出了放电阈值为频数分布的0.6分位点和0.95分位点的最优增强图像. 显然, 由图7(b)及图8(a)可知, 当放电阈值为频数分布的0.6分位点时, 最优图像对应的亮度值分布均匀, 层次分明, 代表图像对比度较高, 图像的增强效果更好, 而且所对应的最优噪声强度更低; 当放电阈值为频数分布的0.95分位点时, 最优图像的亮度值分布较为集中, 说明图像没有层次感, 并且噪点较多. 由此可见, 基于亮度分布的分位数阈值策略明显优于基于最大亮度的阈值策略, 这是本文的重要改进.

      需要强调的是, 当放电阈值为频数分布的0.6分位点时, 原始黑暗图像的亮度不再全是微弱的阈下信号, 但这与前面的模型结果并不矛盾. 首先, 因为随机共振效应不仅能够放大微弱的阈下信号, 它也能够放大在阈值附近波动的弱的阈上信号[28]. 其次, 由于原始图像的亮度分布直方图的峰值要与最大亮度值相距甚远(图7(a)), 把阈值取为0.6分位点(即0.0667), 才会有较大可能保证在较低的噪声水平上使微弱的图像信息能够通过随机共振效应得以放大, 图8也的确证实了也这一点. 另外, 通过对比图7中的各个直方图, 还可以发现, 把阈值取为0.6分位点所给出的最优图像的亮度分布更加平坦, 而把阈值取为0.95分位点(即0.2549)所给出的最优图像的亮度分布仍然比较集中, 因而图像的亮度只在较小范围内得到了增强, 总体的增强效果仍然较弱.

      这里以图8为例, 详细阐述本文的阈值选取策略. 首先, 观察图7(a)频数分布直方图的均值为0.0847, 中位数为0.0549小于均值, 因此考虑阈值选择在中位数后(反之, 若图像亮度均值小于中位数, 则应在中位数前考虑最优阈值, 例如图10的最优阈值为0.2分位点). 然后, 按顺序排列0.6, 0.7, 0.8, 0.9以及0.95分位点, 则其值依次为0.0667, 0.0824, 0.1059, 0.1608, 0.2549. 最后, 考虑到如果阈值取为0.7, 0.8, 0.9和0.95分位点, 需要较大强度的噪声去激活亮度值较低的像素点, 而当阈值取为中位数时, 又会出现像素点过度激活导致图像色彩失真的情况, 因此, 对于图8的待增强的低对照度图像, 我们选取0.6分位点作为最佳阈值.

    4.   数值实验结果与分析

    • 为了检验本文所给新算法的可靠性, 将该方法和经典的single scale Retinex (SSR)[3]算法和HE[1]算法进行了对比, 并与现有的随机共振类算法—SVD-DSR[10]加以对比. 在固定参数${V_{{\text{re}}}} = 0$, ${g_{\text{l}}} = {g_{\text{s}}} = $$ 1$, ${C_{\text{m}}} = 1$, ${E_{{\text{syn}}}} = 0$, ${\tau _{s}} = 1$, ${\tau _{\text{d}}} = 0.5$, $w{\text{ = }}0.1$及$N{\text{ = }} $$ 300$的前提下, 进行了两组仿真试验, 相关结果分别如图9和图10所示, 其对应的评价指标见表1和表2.

      由图9可知, 原始低照度彩色图像, 即图9(a)的亮度很低, 图9(b)是本文提出的图像增强算法, 图9(c)和图9(e)分别为SVD-DSR算法和HE算法的效果图, 图9(d)是经典的单尺度Retinex方法. 对图 9(a) 增强的结果表明单尺度 Retinex 方法处理图像时成功地压缩了图像, 色感较好, 但是还有部分黑暗区域的细节不够清楚, 而SVD-DSR算法结果色彩过于饱和, HE算法增强结果则有点失真, 只有本文提出的随机共振的算法在保证了图像亮度的同时兼顾了图像质量.

      图10(a)为原始黑暗图像, 根据本文的阈值选取策略以及图10(a)亮度矩阵的统计特性, 选取0.2分位点作为放电阈值. 图10(b)为使用本文提出的随机共振增强算法增强后的图像, 图10(c)—10(e)分别为经过单尺度Retinex方法、HE算法和SVD-DSR算法处理过的图像. 从图 10(c)—10(e)— 可以看出, 单尺度Retinex 方法处理后的图像布满了像素块, 并且出现了色彩失真的情况, HE算法增强后的图像虽然像素块有所减少, 但仍未采集到图像正确的颜色, 经过本文提出的随机共振算法以及SVD-DSR 算法增强后的图像从主观来看效果较好, 能很好地还原黑暗图像的原本色彩. 因此,为了进一步说明图10(b)优于图10(e), 还需要借助客观评价指标.

      除了从主观上观察图像增强算法的效果, 还通过计算不同图像增强算法的峰值信噪比以及自然图像质量评估值, 以便从较为客观的角度来定量地分析算法的性能. 对于有参考图像的评价指标峰值信噪比, 其值越大表示图像质量越高, 而无参考图像的评价指标自然图像质量评估则正好相反. 表1和表2列出了低照度彩色图像增强结果的指标. 由表1及表2可知, 本文提出的基于随机共振的图像增强算法兼顾了图像对比度、亮度、细节等, 图像视觉效果较好.

      由于SVD-DSR算法也是随机共振类低照度图像增强算法,所以在此有必要强调一下本文提出算法的优势. 首先, 在算法实现环节, SVD-DSR算法缺少参数选取的操作细节, 虽然在增强图 9 及图 10 时, 经过大量试验确定了SVD-DSR算法的最优参数, 但仍然无法得到较好的增强结果, 而本文提出的算法仅需根据待增强图像的亮度矩阵特性计算出阈值这一关键参数, 便能得到高质量的图像增强结果. 其次, 在物理意义方面, SVD-DSR算法并未和随机共振原理完全贴合，缺少了随机共振中重要的噪声因素，而本文提出的算法通过调节噪声水平取得了最优的增强图像，符合了适量噪声可以帮助弱信号提取这一随机共振的基本原理. 最后, 在生物学意义上, 本文提出的算法更贴合于人眼的视觉感知过程, 有助于揭示在黑暗空间内人眼视物的机理.

    5.   结　论

    • 在研究电导基神经元网络的随机共振现象和了解人眼视觉感知的基本生物物理过程的基础上, 我们提出了一种具有一定生物可解释性的彩色图像增强算法. 我们详细揭示了该算法中神经元的个数以及神经元的放电阈值对图像增强效果的影响, 并首次提出了基于亮度分布分位数的阈值选取方案. 为了挑选出最优的增强图像, 采用了如下方法: 对于参考图像存在的低对比度图像增强, 采用峰值信噪比作为量化指标, 而对于参考图像不存在的低对比度图像, 采用自然图像质量评价作为量化指标. 这些指标的选取使得本文的图像增强算法更加具有普适性. 特别地, 由于本文的算法在一定程度上模拟了视锥细胞集群如何在微弱光照环境下, 通过调节所处环境的噪声以实现视觉感知功能的基本过程, 因而具有某种程度的生物学合理性.

      注意到大量的研究已经表明, 噪声普遍存在于细胞水平, 并且神经系统能够通过调节权重实现内部噪声水平的调节[29,30], 而且, 大量的生物物理实验也已表明, 噪声的益处可以被生物[31,32]或神经系统利用[33]. 大脑的视觉感知功能的实现离不开神经元集群的协同作用, 而视觉感知过程中的噪声可以通过神经系统自我调节, 因此, 我们有充分的理由推测, 人脑在微弱的光照环境下可以利用随机共振原理选择清晰度最好的图像, 这就是本文基于此发展图像增强算法的初衷. 同时本文提出的算法在很多弱信号相关的信号处理领域都有着重要的潜在应用价值, 例如生物医学领域中X 射线图像的清晰度提高, 公共安全领域中低照度环境中的人脸辨识以及脑机接口的视觉感知修复等等.

    参考文献 (33)

目录

/

返回文章
返回