動態視覺感測器案例研究影片
DVS簡介
這些影片解釋了動態視覺感測器（DVS）的概念。
高性能特性
這些影片展示了動態視覺感測器（DVS）的高性能特性。
|
|
||
旋轉的硬幣一枚硬幣以每分鐘750轉的速度在桌子上旋轉。 影片顯示在jAER中以大約比即時慢100倍的速度播放錄製，每個渲染幀顯示在大約300 us中生成的事件。 影片來自：Sim Bamford
|
牛奶下滴DVS128記錄了滴下的牛奶。 慢重播顯示了高的時間精度。 影片來自：Tobi Delbruck
|
10kHz閃爍的LEDDVS128前面的LED以10 kHz的頻率閃爍。 時空可視化（從7秒到12秒）顯示由一小群圖元捕獲的LED的單個開和關事件。 影片來自：Greg Burman
|
|
|
|
|
捕捉被拋出的球DAVIS240A捕捉了一個被拋出的球。 綠色和紅色的開和關事件覆蓋在灰度幀上。 影片來自：Christian Braendli and Tobi Delbruck
|
雨中帶球的人 — 滾動時空模式DAVIS240C捕捉到一名男子在雨中投擲一個球（加速）。 第二個播放是在jAER的滾動時空模式下，顯示事件流中固有的稀疏數據。 影片來自：Sim Bamford
|
透過太陽鏡眨眼DAVIS240C在APS+DVS模式下使用（靜態圖像幀加動態事件）。 雖然通過太陽鏡在標準曝光下很難看到眼睛，但動態事件流清楚地識別出了6次眨眼。 影片來自：Sim Bamford
|
|
|
|
|
桌面陰影處（高動態範圍）DAVIS240C高動態範圍的展示。 一個書桌的場景，看裡面的一個盒子，其中一半的標誌是模糊的正常影片流。 在第二次掃描桌面時，動態事件被覆蓋，隱藏的一半標誌和桌上的電纜都清晰可見。 影片來自：Sim Bamford
|
日食2015年3月，我們有機會使用高動態範圍的DVS拍攝日食。 日偏食在背景中，一隻手在前面揮舞。 你可以看到鏡頭光斑，這是由於光學導致。 由於曝光過度，畫框中的太陽周圍也會綻放出花朵，但DVS在勾勒出手指輪廓的同時，會挑出太陽與月亮和天空的真實邊緣。 影片來自：Marc Osswald， Tobi Delbruck and Sim Bamford
|
穩定動態事件輸出利用機載IMU速率陀螺穩定DAVIS240B神經形態事件攝像機的動態事件輸出。 參考資料：T. Delbruck, V. Villanueva, and L. Longinotti, “Integration of dynamic vision sensor with inertial measurement unit for electronically stabilized event-based vision,” in ISCAS, 2014, pp. 2636–2639 pdf. 自這項工作以來，inilabs已經將IMU數據流集成到了FPGA中，以便IMU和DVS時間戳同步，從而允許更好的去旋轉矯正。 影片來自：Tobi Delbruck
|
技術展示（DEMO）
|
|
|
|
機器人守門員機器人守門員。 從20秒開始，你可以看到DVS看到的東西，以及jAER中實現的實時跟蹤演算法。 參考資料：Tobi Delbruck and Manuel Lang. “Robotic goalie with 3 ms reaction time at 4% CPU load using event-based dynamic vision sensor.” Neuromorphic Engineering Systems and Applications (2015): 16. .pdf。 影片來自：Tobi Delbruck
|
軌道賽車2014年卡波卡西亞神經形態工程研討會軌道賽車專案。 它使用DAVIS240來跟蹤車輛，延遲小於1毫秒，筆記型電腦CPU利用率小於5%。 影片來自：Tobi Delbruck
|
基於類神經網路的視覺化EU專案捕食機器人DAVIS240事件和像幅輸入（左），和捕食者機器人的類神經網路活動（右）。 輸入為36×36APS或DVS像幅，網路在4個輸出單元前有3個層和1個40-神經元全連接層。 參考資料：Moeys， Diederik Paul， et al. “Steering a Predator Robot using a Mixed Frame/Event-Driven Convolutional Neural Network.” pdf.影片來自：Tobi Delbruck
|
|
|
|
|
嵌入式平衡鉛筆機器人嵌入式視覺引導鉛筆平衡器機器人。 使用2個DVS矽視網膜和600mW微控制器計算來平衡正常鉛筆. 影片來自：Tobi Delbruck
|
網球運動員擊球跟蹤DVS在跟蹤人體運動方面優於傳統的影片技術。 網球運動員在DAVIS240B前回球。 第一次回球時，只有畫面可見，球只出現在兩個畫面中，根本看不到球的向外路徑。 在第二局中，通過動態事件疊加，身體運動以及球的軌跡的精細時間細節清晰可見。 影片來自：Tobi Delbruck
|
演算法與方法
Inviation與合作者開發了各種演算法和方法來處理動態視覺感測器的事件流。
|
|
|
|
脈衝雷射線三維重建DVS與脈衝雷射線一起用於三維地形重建。 這段影片是論文的補充材料：C. Brandli, T. Mantel, M. Hutter, M. Hopflinger, R. Berner, R. Siegwart, and T. Delbruck, “Adaptive Pulsed Laser Line Extraction for Terrain Reconstruction using a Dynamic Vision Sensor,” Frontiers in Neuromorphic Engineering, accepted 2013. .pdf
|
運動對比度三維掃描運動對比度三維掃描。 （西北大學計算攝影實驗室的Nathan Matsuda和Oliver Cossairt的工作。 ）一種新的結構光技術，最大化頻寬和光源功率，以避免性能的折損。 所提出的方法將允許三維視覺系統部署在具有挑戰性且迄今無法訪問的現實世界場景中，這些場景需要使用有限的功率和頻寬來獲得高性能。 |
光流和光強估計基於純”事件”數據的每個圖元速度和強度的聯合估計。 這種方法允許在任意時間率下重建HDR影片的強度和光流。 參考資料：P. A. Bardow, A. J. Davison and S. Leutenegger. “Simultaneous Optical Flow and Intensity Estimation from an Event Camera.” CVPR 2016. .pdf
|
|
|
|
|
基於事件攝像機即時強度圖像重建精確類比事件攝像機行為的變化，能夠即時重建具有任意影像更新率的強度圖像。 參考資料：Reinbacher C， Graber G， Pock T. “Real-Time Intensity-Image Reconstruction for Event Cameras Using Manifold Regularisation.” arXiv preprint arXiv：1607.06283 （2016）. .pdf
|
最好SLAM， 在HDR和高速場景中結合事件、圖像和IMU實現可視SLAM在惡劣的照明條件下，使用像幅和DVS事件的高速SLAM。 參考資料：osinol et al. 2018 pdf
|
|
神經形態感知與處理
動態視覺感測器有很多流行的神經形態處理器的介面，能夠實現極低的延遲和高能效的系統。
|
|
|
|
DVS+SpiNNaker：線跟蹤機器人來自曼徹斯特大學的機器人由SpiNNaker系統（曼徹斯特大學）上的神經網路控制。 視覺輸入通過DVS輸入神經元的視網膜腦圖中，運動控制通過模擬運動神經元的放電率獲得。 影片來自：Francesco Galuppi
|
DVS+Brainchip：公路監測的無監督學習監測高速公路的DAVIS240B被輸入Brainchip的尖峰學習神經網路模擬器，執行無監督學習。 影片來自：Brainchip |
DVS+IBM-TrueNorth：三星的手勢識別三星的Eric Ryu展示了一個動態視覺感測器和IBM的True North神經網路硬體一起工作來演示低功耗手勢識別。 影片來自：VentureBeat
|
