人加公司本次發布的司眸?第三代架構，是目前全球範圍內可支持最高分辨率的雙目視覺感知引擎架構。該架構整體性能相較於上壹代有了較大幅度的提升，其中作為核心參數的分辨率指標提升了近 12 倍。
壹直以來，在人工智能3D視覺感知領域，雙目立體視覺技術因為算法復雜度高、算力需求大而常常讓人又愛又恨，但雙目立體視覺技術作為 3D 傳感領域的重要組成部分，因其測量距離能遠能近、室內室外可兼顧等多種優點，也被不少行業應用者看好。
雙目立體視覺技術是利用三角測量原理，通過兩臺相對位置固定的相機同時對場景進行成像，根據成像中的視差來計算深度，典型計算方法如下：
其中，f為相機焦距，b 為基線，d 為視差，Z 為深度值，在此理論框架的基礎上可以得出，雙目立體視覺的測量精度會隨測量距離的增大而嚴重衰減，這也是當下雙目視覺系統存在的較大痛點之壹。與此同時，為提升系統的覆蓋面積，需增大相機視場角，由此，將進壹步減小焦距 f，進而進壹步增大 Z 向精度隨距離增大的衰減程度。
因此，壹個雙目立體視覺系統想要實現既能「看得遠」又能「看得清」，在現有的主流分辨率（1280*800）和系統體積（基線通常在 12cm 以下）約束下難以實現。
綜上，提升雙目視覺系統的分辨率是當下實現技術突破的唯壹直接方式，同時也順應了當下CMOS圖像傳感器分辨率不斷變大的發展趨勢。
然而，想要提升雙目分辨率，將對算力和存儲帶寬的需求帶來倍級速度的增長，這對於現代計算機存儲計算架構將會是壹個很大的挑戰，在傳統CPU或 GPU 的架構下實現代價非常高（在 KITTI 雙目測評排名中，4 核、2.6Ghz CPU 僅運行匹配算法 rSGM 需要的時間長達 0.2 秒），且很難達到理想運算效率和功耗/成本之間的平衡。
綜合以上分析，人加司眸?第三代雙目視覺感知引擎架構在設計上仍然延續了上壹代的邏輯單元（FPGA）+ CPU 的異構計算架構，新架構采用 DDR4 64 位存儲架構，內存存儲帶寬相對於上壹代提升了 4 倍，經過壹系列的算法加速設計創新，達到橫向分辨率提升近 4 倍，整體分辨率實現了近 12 倍的性能提升。
第三代架構延續了上壹代邏輯單元+ CPU的異構設計方式，在上壹代的基礎上重點突破了分辨率提升帶來的內存帶寬技術瓶頸和片上存儲資源技術瓶頸，概要設計圖如下：
系統采用DDR4作為存儲單元，提升了邏輯單元和外部存儲單元之間的數據交互效率，設計帶寬高達 16.5GB/s。同時系統各核心單元之間延續流水線設計，最大限度降低了計算產生的延遲，設計上滿足從數據輸入至數據輸出延遲小於 1 圖像幀時間。同時，系統也可支持各單元更細顆粒度的並行處理，對於實時性要求更高的場景可快速支持以空間換時間的設計，最大限度地降低了系統延遲。
第三代架構的詳細性能參數如下表所示：
最終，人加公司在Xilinx Zynq UltraScale+ ZCU102 Evaluation Board平臺上對該架構進行了完整實踐，資源消耗情況如下表所示：
在Xilinx工具集 Vivado 2018.3 的實踐如下圖所示：
為了突破分辨率大幅提升帶來的存儲資源和計算資源瓶頸，人加智能工程師做了壹系列創新設計，以其中三個重點為例，概要介紹如下：
（1）采用動態校正參數壓縮技術倍級優化內存帶寬資源。
雙目立體校正采用逆向映射和雙線性插值的方式，壹個目標像素的產生需對應壹組二維坐標值和雙線性插值所用比例值。以分辨率4608x2560@20fps設計為例，壹個像素所需 4.5 字節的信息，所需 DDR 讀速率達 1GB/s，對於兩幅圖像的同時校正，整體帶寬速率占用高達 2GB/s。人加智能根據校正所需數據的分布特征，提出了壹種面向校正數據的壓縮與解壓縮方式，其中壓縮是在 CPU 下離線完成，解壓縮部分為邏輯資源實時計算。最終采用的壓縮方式可達到 2:1 的壓縮比，同時解壓縮單元占用的資源僅 200 余個 LUT、0.5 個 BRAM，詳情如下：
（2）采用動態分片校正技術將片上內存使用空間縮減至 1/3。
橫向分辨率的增加帶來了行緩存寬度的增加，因此對於實時計算緩存圖像數據的存儲空間需求增加了近4倍（相對於上壹代），為了應對片上 Block RAM 資源緊張的問題，人加智能設計了壹種可動態分片校正的框架，典型設定可將圖像橫向分為 3 塊，可將片上存儲的空間需求縮減到 1/3，同時在 BRAM 資源更緊張的場景下，也支持更多分片或分區的設定，以滿足場景對於 BRAM 資源的需求。
（3）Block to Block 分塊立體匹配設計。
該架構中的立體匹配部分仍延用了上壹代SGM/BM的設計算法，在保證設計性能的基礎上，人加智能采用了分塊匹配的思想，將左右圖像分為可拆分的兩部分，分別獨立進行匹配，在設計上進壹步將 BRAM 資源使用量縮減至 1/2。
本次雙目立體視覺處理架構的升級是在當下場景應用對於雙目視覺系統提出更大視場角和更高精度的雙重要求下完成的，升級後將會給人加智能的實體消費行為分析應用帶來以下益處：
（1）單個雙目視覺系統所能覆蓋的範圍增大。
通過增大相機視場角至130°-150°（上壹代設計指標為 100°），單個雙目視覺系統的覆蓋面積可達百平米，可以減少相機使用數量，從而降低系統維護成本，增強系統穩定性。
（2）空間定位更精準。
更高的深度圖分辨率將帶來更高的測量精度，使得空間定位更加精準。
（3）圖像細節更豐富，識別更精準。
通過本次升級，人加智能雙目視覺系統可提供高達1200萬像素的原始圖像，這將大大提高圖像識別等應用的精度。
（4）深度算法支持叠代升級優化，增大場景適應性。
第三代架構延用了FPGA SOC設計，實現了硬件加速級算法的可升級，可維護，可根據具體場景進行相應的配置和優化。
同時，本次升級也為市場帶來了雙目立體視覺技術應用的新的想象空間，當分辨率提升至1200萬像素時，系統可測距範圍便能提升至千米級，可以想象，對於壹些大範圍測量領域（例如自動駕駛、智能安防等領域）也將提供壹種全新方案選擇。
人加智能( www.humanplus.ai )是壹家以智能視覺傳感與人體行為識別為核心技術的人工智能公司，現專註於為零售品牌商與零售商提供實體消費行為分析服務（Customer Behavior Analytics），包括客流量分析、銷售轉化分析、客流動線分析、人貨互動分析等，助力品牌零售的決策、執行過程實現「數據驅動」與「人機協同」。
原文鏈接： /s/VFp5tZC0dTRIsot4UtTm2A