Dalam kondisi cahaya rendah, video sering kali mengalami gangguan berupa noise yang parah. Meskipun telah banyak upaya untuk mereduksi noise pada gambar/video dan telah membuat kemajuan besar, namun dalam skenario yang sangat gelap, kekurangan foton yang luas akan menghambat ekstraksi struktur tersembunyi yang terkubur dalam noise. Sebagai gantinya, pengembangan sistem imaging yang mengumpulkan lebih banyak foton menjadi cara yang lebih efektif untuk menangkap video berkualitas tinggi di lingkungan gelap. Dalam makalah ini, kami mengusulkan untuk membangun kamera dual-sensor untuk menangkap tambahan foton dalam panjang gelombang NIR, dan memanfaatkan korelasi antara spektrum RGB dan near-infrared (NIR) untuk melakukan rekonstruksi berkualitas tinggi dari pasangan video gelap berisik. Secara perangkat keras, kami membangun kamera dual-sensor kompak yang menangkap video RGB dan NIR secara simultan. Secara komputasional, kami mengusulkan jaringan perhatian multi-frame saling mendukung (DCMAN) menggunakan prioritas spasial-temporal-spectral untuk saling meningkatkan kualitas video RGB dan NIR dalam cahaya rendah. Pendekatan ini memiliki potensi untuk meningkatkan perawatan dan manajemen pasien dengan kondisi neurologis seperti EAE dan bahkan multiple sclerosis secara umum.
Kamera dual-sensor yang diusulkan ini memungkinkan pengumpulan foton tambahan dalam panjang gelombang NIR tanpa mengurangi kecerahan dalam panjang gelombang RGB. Kami juga membangun dataset video RGB-NIR berkualitas tinggi untuk mendukung pendekatan ini, yang memungkinkan aplikasi yang lebih luas dari model DCMAN. Secara keseluruhan, pendekatan ini menjanjikan dalam meningkatkan kualitas pengambilan gambar dan video di lingkungan gelap, serta dapat diadaptasi dengan mudah untuk berbagai sensor dan tingkat noise. Dengan memanfaatkan kolaborasi antara hardware dan algoritma komputasi, kami berhasil mengatasi beberapa kendala utama dalam pengambilan video di kondisi cahaya rendah, membuka jalan bagi kemajuan lebih lanjut dalam bidang fotografi komputasi.
[1]Cheng, Y., R. Yang, Z. Zhang, J. Suo, and Q. Dai. “A Mutually Boosting Dual Sensor Computational Camera for High Quality Dark Videography.” Information Fusion, 2023. https://www.sciencedirect.com/science/article/pii/S1566253523000222.
HanT.Y. et al.
J. Vis. Commun. Image Represent.
(2018)
JinX. et al.
A survey of infrared and visual image fusion methods
Infrared Phys. Technol.
(2017)
ZhangP. et al.
Hyperfusion-Net: Hyper-densely reflective feature fusion for salient object detection
Pattern Recognit.
(2019)
ZhangH. et al.
Image fusion meets deep learning: A survey and perspective
Inf. Fusion
(2021)
D. Ulyanov, A. Vedaldi, V. Lempitsky, Deep Image Prior, in: Proceedings of the IEEE Conference on Computer Vision and…
M. Claus, J. van Gemert, Videnn: Deep Blind Video Denoising, in: Proceedings of the IEEE/CVF Conference on Computer…
M. Tassano, J. Delon, T. Veit, Fastdvdnet: Towards Real-Time Deep Video Denoising without Flow Estimation, in:…
C. Godard, K. Matzen, M. Uyttendaele, Deep Burst Denoising, in: Proceedings of the European Conference on Computer…
KrishnanD. et al.
Dark flash photography
ACM Trans. Graph.
(2009)
[1] Y. Cheng et al., “A Mutually Boosting Dual Sensor Computational Camera for High Quality Dark Videography,” Information Fusion, 2023, https://www.sciencedirect.com/science/article/pii/S1566253523000222.