通俗地說，智能視覺技術，就是通過計算機自動對攝像頭采集的視頻信息進行分析處理，從視頻序列中捕捉存在的感興趣區域及目標，并進一步獲取目標的出現時間、運動軌跡、顏色等諸多信息，通過對各個目標的上述信息的分析。

　　智能視覺技術核心是運動目標檢測、分類、跟蹤與識別技術等。運動目標檢測是將視頻圖像序列中的感興趣目標(如車輛或人)檢測出來，以備后續步驟的使用;目標檢測的目的就是準確地從通過運動檢測得到的運動區域中提取出與目標相對應的團點。

　　研究人員已經開發了多種運動目標檢測的方法，包括幀間差分法，光流法和背景減除算法。根據實際應用需求的不同，不同的檢測算法都是在可靠性、實時性和準確性之間折衷得到的。目標分類的目的是從檢測到的運動區域中將對應于人的運動區域提取出來.不同的運動區域可能對應于不同的運動目標，比如交通道路上監控攝像機所捕捉的序列圖像中可能包含行人、車輛及其它諸如飛鳥、流云、搖動的樹枝等運動物體，為了便于進一步對行人進行跟蹤和行為分析，運動目標的正確分類是完全必要的.注意，這個步驟在一些情況下可能是不必要的(比如已經知道場景中僅僅存在人的運動時)。運動目標跟蹤是在需要監控的環境里，如何能夠判斷出進入特定區域的目標，并且能夠跟蹤目標的軌跡。

　　具體可分為兩種情況：一是靜態背景下的目標跟蹤;二是動態背景下的目標跟蹤。靜態背景下的目標跟蹤方法具體可分為單目標跟蹤與多目標跟蹤。單目標的靜態背景下的目標跟蹤指的是攝像頭是固定在某一方位，其所觀察的視野也是靜止的。多目標跟蹤是指在靜態環境下的多目標跟蹤，需要確定每個目標的特征，位置，運動方向，速度等信息。動態背景下的目標跟蹤指的是攝像頭在云臺控制下旋轉，會使得他所采集的圖像時可在變化，所以，對于整個目標跟蹤過程來說，背景是變化，目標也是在整個過程中運動的，所以跟蹤起來較有難度。人的行為理解與描述是越來越被廣泛關注的研究熱點，它是指對人的運動模式進行分析和識別，并用自然語言等加以描述.行為理解可以簡單地認為是時變數據的分類問題，即將測試序列與預先標定的代表典型行為的參考序列進行匹配。

　　當前的智能視覺技術主要集中在基于RGB光學圖像的處理上，根據各種顏色空間、目標的紋理結構分析或者灰度特征、運動特征等來檢測與跟蹤目標，但由于RGB圖像無法獲取物體在三維空間中的距離信息，相關的算法受到周圍環境、光照變化、背景等因素的影響，在目標檢測與跟蹤上魯棒性較差，難以實現復雜場景下的任意目標檢測和在線跟蹤，應用受到很大的限制。

　　因為彩色攝像頭獲取的圖像只保留了空間的二維信息，所以這些方法都是二維空間上進行處理，只能獲得目標的二維運動信息。真實世界中的目標是在三維空間運動的，如果只獲取二維運動信息將難以達到實際應用的魯棒性要求。因此，越來越多的研究者開始利用深度圖像來進行目標的檢測、跟蹤與識別。目前通過圖像感應器獲取三維信息主要有兩種方式。其中一種原理與人眼視覺系統類似，采用兩個彩色攝像頭同時拍攝同一場景，通過兩個攝像頭的視差推導出場景中像素離攝像機的遠近，即深度(Depth)。這種方式通常稱為雙目立體視覺(BinocularStereoVision)。利用雙目圖像推導深度信息需要先計算兩幅圖像像素之間的對應關系，即左邊圖像的像素與右邊圖像的哪個像素是描述的空間中的同一個點。根據投影關系，距離較遠的點投射到兩個圖像平面的坐標偏差較小。利用這一原理可以通過坐標偏差推導出深度。