-
最近, 中国科学院半导体研究所的团队[1]利用三维视差原理构建了基于WSe2的四端光电晶体管新架构, 成功实现了单目图像传感器三维信息感知与重构, 再一次引起了众多学者对于采用二维材料构建人工视觉系统(artificial visual systems, AVS)的广泛讨论.
AVS的理论基础源于对人眼视网膜和大脑皮层的结构与功能的仿生模拟[2-4]. 近年来, 随着类脑计算和神经形态工程的兴起, 期望通过电子器件实现仿生视觉功能[5-7]. 然而, 当前的研究多数集中于基于传统硅基材料的图像采集与处理系统[8,9], 这些系统往往存在集成度低、能耗高、动态范围窄等问题[10]. 此外, 视觉信息的多维感知、低延迟处理及长期记忆功能尚未被系统性实现[11]. 尽管多种新型器件架构被提出, 如光敏晶体管和忆阻器, 但关键问题包括器件的响应速度、可塑性控制精度及系统整体的鲁棒性仍待解决[12]. 在此背景下, 二维材料, 如MoS2[13,14], WSe2[11,15,16]和黑磷[17-19]等, 因具备高迁移率、带隙可调、优异的光敏性能, 被广泛用于构建新型视觉器件. 众多研究表明, 引入二维材料, 视觉器件的光响应范围和灵敏度可显著提升[20], 同时实现更高集成度和更低能耗[21], 不仅拓展了传统仿生视觉的边界, 也为智能传感和自主系统的构建提供了新路径.
-
基于二维材料的AVS可追溯到Mennel等[22]通过二维材料神经网络图像传感器实现了机器视觉的高效处理. Wang等[23]通过调节每个像素的栅极电压, 模拟了视网膜中的双极细胞和光感受器的功能, 实现图像感知和处理同步的可重构视觉传感器. Zhang等[24]则开发了一种基于二维材料的类视网膜硬件设备, 用于运动检测和识别. Peng等[25]构建多功能的视觉系统结构, 模拟人类视觉网络实现了色盲处理、低功耗图像识别、自驱动的运动追踪等多种功能. 在这些研究中, 二维材料(如MoS2和MXene)被广泛应用于提高传感器的响应速度和适应性, 提高传感器的适用范围.
随着技术的进步, 多模态感知和动态适应性成为重要的研究方向. Tan等[10]提出了一种人工视觉-呼吸神经突触系统, 通过单层氧化MXene实现了跨光和气体的双模态内聚应力. 与此类似, Li等[26]开发了一种基于生物激发的二维晶体管, 能够在微秒级进行快速的视觉适应, 显著优于人类视网膜的适应速度. 这些研究不仅展示了在复杂环境下多模态感知的可能性, 也为实现人类级别的感知设备提供了可能.
AVS的组成可以总结为以下三个关键模块: 图像传感单元、光学存储单元, 以及神经形态计算单元. 图像传感单元将光学信息转化为电信号并输出到系统中的存储单元, 由存储单元将视觉信息进行定时储存与调用. 神经形态计算单元通过动态调节神经网络连接权重, 模拟生物神经机制来实现学习和预测功能.
然而, 传统AVS长期受限于分立式模块设计(传感器、处理器、存储器分离), 导致数据迁移能耗高、响应延迟显著, 且缺乏自主学习能力, 难以适应复杂动态场景. 基于二维材料的神经形态器件通过模拟大脑中的神经适应行为, 可以减少系统结构, 避免信息冗余, 从而实现人工视觉系统感-存-算一体功能.
-
三维感知技术广泛应用于机器视觉等领域, 但现有系统依赖主动光源或多目相机导致高成本、集成复杂, 单目传感器难以实现深度重建, 制约成像系统微型化发展. 最近, 中国科学院半导体研究所团队在Nature Electronics上介绍了一种用于单眼三维视差重建的可重构异质结构晶体管阵列(图1(a)和图1(b)). 该研究利用物体在不同距离的平面映射变化来重建空间深度信息(图1(c)), 创新性开发了一种基于铟镓锌氧化物(IGZO)和二硒化钨(WSe2)异质结构的像素化光晶体管(PCHT)阵列. 在此阵列中, 可重构的四端异质结和门控晶体管构成该光电晶体管集成阵列的基本像素单元.
此研究的特别之处在于, PCHTs采用CMOS(互补金属氧化物半导体)架构兼容的体系结构, 突破性地实现了在静态成像的实时感知模式和动态成像的可存储的平面和时空间编排模式灵活切换(如图2所示). PCHT器件的三种可切换工作模式(图2(a)—(c)), 分别对应不同的感知功能. 在动态模式下, 器件施加正栅压激活WSe2层, 光照引发的载流子在界面缺陷态中产生滞后释放效应, 实现类突触的时间依赖型电流增强, 可用于视觉信息的短时存储. 在静态模式下, 负栅压激活IGZO层, n型载流子主导迁移过程, 器件输出稳定、响应快速, 适合实时图像感知场景. 双极模式则同时激活两种半导体通道, 器件表现出明显的协同响应特性, 输出电流为双通道叠加, 增强了整体感知灵敏度与信噪比. 图2(d)展示了PCHT的等效功能电路. 该团队还对用于动态成像(图2(e)—(f))和静态成像(图2(g)—(j))光电特性的测试, 实验证实该系统能够通过静电掺杂与电诱导, 使得PCHT可在动态、静态、双极模式间切换, 并且动态模式峰值功耗仅142 pW, 适合低功耗三维成像系统. 更重要的是该系统具有时空信息存储与实时感知的兼容性, 为单目三维重建提供硬件基础.
该研究实现三维视差重建过程及结果如图3所示, 系统采用逐行扫描寻址架构, 并行读取40列数据, 可以达到33 frames/s高帧率数据采集(图3(a)). 该系统三维视差重建流程如图3(b)所示, 首先, PCHT阵列捕捉物体在不同位置的运动特征, 然后通过光学流梯度(OFG)提取特征并与环境进行关联. 接着, 通过向量拟合匹配关键特征点, 最后通过视差分析和空间插值实现三维重建. 该光电晶体管集成阵列能够实现物体的多视角 三维形态重构(图3(c))、二维深度场映射(图3(d)), 以及多视角耦合重构(图3(e)—(f))等功能. 此外, 作者利用该光电异质结集成芯片实现对眼球形态的感知与重构(图3(f)), 验证了该芯片的三维重构功能在眼球角膜病变检测的应用可行性.
通过对比讨论其他二维AVS 系统结构与性能(如表1), 结果表明PCHT器件结构更简单(如图4), 并且系统在功耗(单像素约0.14 nW)、光谱响应范围方面表现出明显优势, 但在响应时间比其他人工视觉系统略逊一筹(<10 ms), 后续可考虑在响应时间的提升上进行系统结构的优化.
-
以上研究基于二维TMDs材料的光电可调性, 创新性地提出了一种可重构异质结构晶体管阵列, 用于单目三维视差重建. 该技术解决了传统CMOS架构中集成高级光场检测复杂且成本高的问题, 并通过单一摄像头实现了复杂的三维信息重建. 然而, 此体系的深入研究还需解决一系列的重要科学问题.
1)器件制备中的关键技术难题亟待突破. 首先, 二维材料的大面积高质量合成难以统一控制厚度和缺陷密度, 导致器件性能不一致. 未来, 可通过化学气相沉积(CVD)过程的温控精度与前驱体比例调控, 实现均匀晶体生长. 其次, 二维材料在工艺流程中的CMOS工艺兼容性较差, 近年来发展迅速的光刻辅助自组装技术(如模板诱导组装、纳米压印辅助图案化等)为高分辨率、大面积二 维材料阵列构建提供了新思路[27]. 此外, 本文中采用的40 × 40阵列像素尺寸为300 μm×300 μm (图1(b)), 显著大于现有商用CMOS图像传感器中微米级像素尺寸, 难以直接满足高密度集成的工业需求.
2)宽光谱吸收、高响应度及精准光谱选择性的新型材料有待进一步开发. 现有器件在不同波长下(如532, 635, 808 nm)的响应存在明显差异(图2(i)和图2(j)), 且在颜色还原与多通道融合方面表现有限. 尽管提出了RGB通道调控的构想, 但器件在实现高保真度色彩成像与感知方面仍存在不足. 尤其在短波紫外与近红外波段, 二维材料的响应效率偏低, 这一局限将显著地影响图像的色彩还原能力和目标识别精度. 现有研究表明可考虑采用异质结调控带隙结构、掺杂增强近红外响应[16]等来扩大光谱响应范围. 同时, 可着力发展可调谐带隙的二维材料体系, 以复现生物视觉的色彩分辨与动态编解码功能, 构建类人宽光谱视觉系统.
3)复杂动态场景下的高帧率响应与能耗平衡问题. 尽管文中提出的PCHT器件可实现30—33 frames/s的成像速度, 但在处理快速移动目标或高动态范围场景时, 器件仍存在响应延迟、读出瓶颈及整体能耗偏高的问题. 为实现AVS的实时感知, 系统应具备≥60 frames/s的帧率, 且单位像素能耗应控制在纳瓦级别. 为此, 可以采用高速响应材料、构建短寿命载流子通道, 同时引入亚阈值驱动技术和低电压互连结构, 在保证感知灵敏度的同时降低功耗. 此外, 片上并行读取机制和列选优先策略也有助于缓解大规模阵列下的读写延迟.
4)神经形态器件仍需进一步开发. 神经形态器件在AVS中具备低功耗、并行处理与类脑学习能力等优势, 能显著提升感-存-算一体化水平. 然而, 目前响应精度低、器件稳定性差等瓶颈限制了其大规模的集成与应用拓展. 并且, 二维材料构建的神经形态器件虽已具备一定突触可塑性, 但类神经突触功能仍不完善, 主要表现为短时记忆占主导, 难以实现稳定的长时记忆与动态权重调节.
总体而言, 二维半导体光电器件在人工视觉领域展现出巨大潜力, 其创新发展将推动人工传感系统向更智能、更精密的方向突破, 实现从仿生视网膜到类脑智能体的跃迁.
二维材料与人工视觉系统的多维融合: 前沿突破与范式革新
Multidimensional heterogeneous integration of two-dimensional materials and artificial visual systems: Frontier innovations and paradigm-shifting advancements
-
摘要: 人工视觉系统因在医疗诊断、机器视觉等领域具备广泛应用前景而备受关注, 但其发展长期受限于传统材料的物理瓶颈. 近年来, 二维半导体材料由于其出色的光电性能和原子级厚度, 被认为是构建人工视觉系统的革命性平台. 最新研究表明二维材料的可调谐带隙与高效光电转换特性已被成功应用于单目三维视差重建, 其动态成像速率可达传统器件的3倍以上. 尽管如此, 该领域仍面临显著挑战, 如二维材料大面积制备工艺复杂性, 宽光谱响应, 高帧率感知与低功耗平衡难题等问题. 这些问题的解决将推动人工传感系统向更智能、更精密的方向突破, 实现从仿生视网膜到类脑智能体的跃迁.Abstract: Artificial visual system (AVS) has received increasing attention for their transformative potential in fields such as medical diagnostics, intelligent robotics, and machine vision. Traditional silicon-based imaging technologies, however, face significant limitations, including high energy consumption, limited dynamic range, and integration challenges. Two-dimensional (2D) semiconductor materials, such as MoS2, WSe2, and black phosphorus have emerged as promising alternatives due to their atomically thin structure, tunable bandgaps, high carrier mobility, and superior optoelectronic properties. In this work, recent breakthroughs in the integration of 2D materials with AVS are investigated. Highlighted is the development of a reconfigurable four-terminal phototransistor array based on WSe2 and IGZO heterostructures, which enables monocular 3D disparity reconstruction without the need for multiple cameras or active light sources. The system demonstrates a dynamic imaging rate exceeding 33 frames per second and supports real-time sensing, memory storage, and ambipolar mode switching with ultralow power consumption (as low as 142 pW). Key innovations include multifunctional device architectures that simulate the retinal photoreceptors, bipolar cells, and even neural synapses, achieving functions such as image sensing, real-time adaptation, color recognition, motion tracking, and multimodal perception. Furthermore, by simulating the human neurovisual pathways, these 2D material-based devices can potentially realize in-sensor computing and neuromorphic processing, which substantially reduce data transfer bottlenecks and energy overhead. Nonetheless, the field is still in its formative stage. Here, several critical bottlenecks are emphasized: the lack of scalable, defect-controlled synthesis of 2D heterostructures; the limited spectral bandwidth and color fidelity of current photonic components; the immature state of neuromorphic elements, which often lacks stability, long-term memory, and bio-realistic plasticity. Moreover, the practical integration with real-world applications requires compatibility with high-density manufacturing and dynamic, multi-modal environments. In the future, artificial vision platforms, empowered by engineered 2D materials and heterostructures, will develop into highly compact, intelligent, and context-aware agents capable of autonomous perception and interaction in complex real-world settings.
-
-
图 1 可重构PCHT架构[1] (a) PCHT结构示意图; (b) PCHT阵列的光学图像; (c) 三维视差可重构原理. 引用图片已获相关授权
Figure 1. Reconfigurable PCHT architecture[1]: (a) Schematic diagram of reconfigurable PCHT, array and chip; (b) optical image of our monolithic integrated reconfigurable PCHT array; (c) 3D parallax reconstruction principle. Reproduced with permission from Springer Nature.
图 2 PCHT模型光电特性[1] (a) 动态成像模式工作机制模型; (b) 静态成像模式工作机制模型; (c) 双极型模式工作机制模型; (d) PCHT等效电路图; (e)—(g) 动态模式响应; (h)—(j) 静态模式响应. 引用图片已获相关授权
Figure 2. PCHT mode-dependent optoelectronic performance[1]: (a) Model of the operation mechanism of the dynamic imaging mode with temporal-dependent storage; (b) model of the operating mechanism of the constant perception mode for static imaging; (c) model of the operation mechanism of the ambipolar mode; (d) equivalent functional circuit of the reconfigurable PCHT; (e)–(g) dynamic mode response; (h)–(j) static mode response. Reproduced with permission from Springer Nature.
图 3 三维视差重建演示[1] (a) 可重构PCHT阵列硬件架构示意图; (b) 可重构PCHT阵列算法示意图; (c) 三维形态重构; (d) 二维深度场重构; (e) 多角度耦合重构; (f) 眼球形态的感知与重构. 引用图片已获相关授权
Figure 3. 3-dimensional (3D) parallax reconstruction demonstration[1]: (a) Schematic of the reconfigurable PCHT array hardware architecture; (b) algorithmic methodology of the 3D parallax reconstruction; (c) stereo morphology reconstruction of a complex object assembly. Scale bars, 10, 5 and 5 pixels in x, y, z, respectively; (d) 2D depth field mapping of two spatial configurations; (e) demonstration of multi-viewing coupling; (f) surface reconstruction of the bulbus oculi of a normal (top) and myopic eye (bottom). Reproduced with permission from Springer Nature.
-
[1] Li Z X, Xu H, Zheng Y Q, Liu L C, Li L L, Lou Z, Wang L L 2025 Nat. Electron. 8 46 doi: 10.1038/s41928-024-01261-6 [2] Liao F Y, Zhou Z, Kim B J, Chen J W, Wang J L, Wan T Q, Zhou Y, Hoang A T, Wang C, Kang J F, Ahn J H, Chai Y 2022 Nat. Electron. 5 84 doi: 10.1038/s41928-022-00713-1 [3] Wu P S, He T, Zhu H, Wang Y, Li Q, Wang Z, Fu X, Wang F, Wang P, Shan C X, Fan Z Y, Liao L, Zhou P, Hu W D 2022 Infomat 4 e12275 doi: 10.1002/inf2.12275 [4] Zhou F C, Zhou Z, Chen J W, Choy T H, Wang J L, Zhang N, Lin Z Y, Yu S M, Kang J F, Wong H S P, Chai Y 2019 Nat. Nanotechnol. 14 776 doi: 10.1038/s41565-019-0501-3 [5] 沈柳枫, 胡令祥, 康逢文, 叶羽敏, 诸葛飞 2022 物理学报 71 148505 doi: 10.7498/aps.71.20220111 Shen L F, Hu L X, Kang F W, Ye Y M, Zhu G F 2022 Acta Phys. Sin. 71 148505 doi: 10.7498/aps.71.20220111 [6] Dodda A, Jayachandran D, Radhakrishnan S S, Pannone A, Zhang Y K, Trainor N, Redwing J M, Das S 2022 ACS Nano 16 20010 doi: 10.1021/acsnano.2c02906 [7] 廖付友, 柴扬 2021 物理 50 378 doi: 10.7693/wl20210603 Liao F Y, Cai Y, 2021 PHYSICS 50 378 doi: 10.7693/wl20210603 [8] Zhao T, Yue W B, Deng Q R, Chen W J, Luo C M, Zhou Y, Sun M, Li X M, Yang Y J, Huo N J 2025 Adv. Mater. 37 2419208 doi: 10.1002/adma.202419208 [9] Long Z H, Zhou Y, Ding Y C, Qiu X, Poddar S, Fan Z Y 2024 Nat. Rev. Mater. 10 128 doi: 10.1038/s41578-024-00750-6 [10] Tan D C, Zhang Z R, Shi H H, Sun N, Li Q K, Bi S, Huang J J, Liu Y H, Guo Q L, Jiang C M 2024 Adv. Mater. 36 2407751 [11] Han Z, Zhang Y C, Mi Q, You J, Zhang N N, Zhong Z Y, Jiang Z M, Guo H, Hu H Y, Wang L M, Zhu Z M 2024 ACS Nano 18 29968 doi: 10.1021/acsnano.4c10619 [12] 邓文, 汪礼胜, 刘嘉宁, 余雪玲, 陈凤翔 2021 物理学报 70 217302 doi: 10.7498/aps.70.20210750 Deng W, Wang L S, Liu J N, Yu X L, Chen, F X 2021 Acta Phys. Sin. 70 217302 doi: 10.7498/aps.70.20210750 [13] Huang X Y, Tong L, Xu L L, Shi W H, Peng Z R, Li Z, Yu X X, Li W, Wang Y L, Zhang X L, Gong X, Xu J B, Qiu X M, Wen H Y, Wang J, Hu X B, Xiong C H, Ye Y, Miao X S, Ye L 2025 Nat. Commun. 16 101 doi: 10.1038/s41467-024-55395-4 [14] 李璐, 张养坤, 时东霞, 张广宇 2022 物理学报 71 108102 doi: 10.7498/aps.71.20212447 Li L, Zhang Y K, Shi D X, Zhang G Y 2022 Acta Phys. Sin. 71 108102 doi: 10.7498/aps.71.20212447 [15] Su Z J, Yan Y, Sun M R, Xuan Z H, Cheng H X, Luo D Y, Gao Z X, Yu H B, Zhang H C, Zuo C J, Sun H D 2024 Adv. Funct. Mater. 34 2316802 doi: 10.1002/adfm.202316802 [16] Yu R, Sheng Z, Hu W N, Wang Y, Dong J G, Sun H R, Cheng Z G, Zhang Z X 2023 Chin. Phys. B 32 18505 doi: 10.1088/1674-1056/ac9049 [17] Zhang P Y, Sun Y H, Sun J C, Wang S T, Wang R M, Zhang J Y 2025 Adv. Funct. Mater. 2025 2502072 [18] Wang Z Q, Wang H D, Wang C, Bao Y S, Zheng W Y, Weng X L, Zhu Y H, Liu Y, Zhang Y L, Tian X L, Sun S, Cao R, Shi Z, Chen X, Qiu M, Wang H, Liu J, Chen S Q, Zeng Y J, Liao W G, Huang Z C, Li H O, Gao L F, Li J Q, Fan D Y, Zhang H 2025 Nanophotonics 14 503 doi: 10.1515/nanoph-2024-0613 [19] Kumar D, Li H R, Das U K, Syed A M, El‐Atab N 2023 Adv. Mater. 35 2300446 doi: 10.1002/adma.202300446 [20] Cheng Y K, Li Z Z, Lin Y, Wang Z Q, Shan X Y, Tao Y, Zhao X N, Xu H Y, Liu Y C 2025 Adv. Funct. Mater. 35 2414404 doi: 10.1002/adfm.202414404 [21] Yang Q, Kang Y, Zhang C, Chen H H, Zhang T J, Bian Z, Su X W, Xu W, Sun J B, Wang P, Xu Y, Yu B, Zhao Y D 2024 Adv. Sci. 11 2403043 doi: 10.1002/advs.202403043 [22] Mennel L, Symonowicz J, Wachter S, Polyushkin D K, Molina-Mendoza A J, Mueller T 2020 Nature 579 62 doi: 10.1038/s41586-020-2038-x [23] Wang C Y, Liang S J, Wang S, Wang P F, Li Z A, Wang Z R, Gao A Y, Pan C, Liu C, Liu J, Yang H F, Liu X W, Song W H, Wang C, Cheng B, Wang X M, Chen K J, Wang Z L, Watanabe K, Taniguchi T, Yang J J, Miao F 2020 Sci. Adv. 6 eaba6173 doi: 10.1126/sciadv.aba6173 [24] Zhang Z H, Wang S Y, Liu C S, Xie R Z, Hu W D, Zhou P 2022 Nat. Nanotechnol. 17 27 doi: 10.1038/s41565-021-01003-1 [25] Peng Z R, Tong L, Shi W H, Xu L L, Huang X Y, Li Z, Yu X X, Meng X H, He X, Lv S J, Yang G C, Hao H, Jiang T, Miao X S, Ye L 2024 Nat. Commun. 15 8650 doi: 10.1038/s41467-024-52982-3 [26] Li L, Li S S, Wang W H, Zhang J L, Sun Y M, Deng Q R, Zheng T, Lu J T, Gao W, Yang M M, Wang H Y, Pan Y, Liu X T, Yang Y N, Li J B, Huo N J 2024 Nat. Commun. 15 6261 doi: 10.1038/s41467-024-50488-6 [27] Li H, Zhang J Y, Wen W, Zhao Y Y, Gao H F, Ji B Q, Wang Y J, Jiang L, Wu Y C 2025 Nat. Commun. 16 4257 doi: 10.1038/s41467-025-59527-2 -