近紅外光譜區是 Herschel 在 1800 年進行太陽光譜可見區紅外部分能量測量中發現的,為了紀念 Herschel 的歷史性發現人們將近紅外譜區中介於 780~1100nm 的波段稱為Herschel 譜區。
紅外光譜分析技術作為壹種有效的分析手段在二十世紀三十年代就得到了認可,當時紅外儀器主要用於分子結構理論的研究。近紅外區的光譜吸收帶是有機物質中能量較高的化學鍵(主要是 CH、OH、NH)在中紅外光譜區基頻吸收的倍頻、合頻和差頻吸收帶疊加而成的。由於近紅外譜區光譜的嚴重重疊性和不連續性,物質近紅外光譜中的與成份含量相關的信息很難直接提取出來並給予合理的光譜解析。而有機物在中紅外譜區的吸收帶較多、譜帶窄、吸收強度大及有顯著的特征吸收性,傳統的光譜學家和化學分析家習慣於在中紅外基頻吸收波段進行光譜解析,所以近紅外譜區在很長壹段時間內是被人忽視和遺忘的譜區。
隨著紅外儀器技術的發展,更加穩定的電源、信號放大器、更靈敏的光子探測器、微型計算機等的發展使得近紅外光譜區作為壹段獨立的且有獨特信息特征的譜區得到了重視和發展。Karl Norris 作為近紅外光譜分析技術發展的奠基人,於二十世紀五十年代在美國農業部的支持下開始進行近紅外光譜分析技術用於農產品(包括谷物、飼料、水果、蔬菜等)成份快速定量檢測的探討研究。Norris 的早期工作主要是探求合理的近紅外光譜分析方法用於研究物質在近紅外光照射下所體現出的光譜吸收特性和散射特性,他首先提出了多元線性回歸(MLR)算法在物質成份近紅外光譜定標模型建立和光譜信息提取解析方面所體現出的優勢,這為後來系統的近紅外光譜技術理論體系的形成起到了很重要的作用。二十世紀六十年代,Norris 領導的課題組進行了大量的光譜學方法論證,其中包括可見和近紅外波段透射、反射及透反射等測量方法比較,在這壹階段的工作中最大的成果莫過於得到了植物葉子和谷物的反射吸收光譜,這為近紅外光譜技術的發展提供了更大的優勢和方便。與此同時,Norris 研制出世界上第壹臺近紅外掃描光譜儀,這臺光譜儀是在 Cary 14 單色儀的基礎上改進得到的,擁有與微型計算機進行數據傳輸的功能,也就是在這臺掃描光譜儀上,多元線性回歸分析方法在提取與成份相關的光譜信息方面的優勢得到了演示,這臺儀器就成為了後來近紅外光譜分析儀器發展的雛形。
谷物水份近紅外分析儀的研制成功及大範圍的推廣使用是近紅外分析技術發展的壹個裏程碑。水份在任何生物中都存在且有較大的比重,而且水份的近紅外吸收光譜有很強的特征性、吸收強度很高,其倍頻、合頻吸收帶相互分離、光譜分辨率高,所以近紅外水份分析儀的分析性能較為穩定且精度很高,在近紅外光譜分析儀器家族中最早得到了農業和工業界的認可。但是事物總有兩面性,水份中 OH 的強吸收特征對於物質中其它成份的光譜分析及含量測定則形成了很強的幹擾,如何排除水份吸收對各成份及其它各成份之間的相互幹擾就成為近紅外光譜分析技術中的壹個關鍵問題被提了出來,相關光譜定標分析方法的提出有效地解決了這壹問題。Shenk 、Hoove、McClure、Hamid在 Norris的領導下在七十年代設計完成了可以用於草料和煙草成份定量分析的近紅外光譜分析儀器。
基於前人所總結的近紅外光譜分析技術經驗積累以及儀器研制技術的成熟,多家公司(如 Dickie-John、Bran Leubbe、Technicon)加入了近紅外分析儀器商業化的隊伍,其中Dickie-John 公司生產了世界上第壹臺商用濾光片型近紅外光譜儀,Bran Leubbe 生產了世界上第壹臺商用光柵掃描型近紅外光譜儀,1971全世界第壹臺商用近紅外Neotec公司Grain Quality Analyzer進入市場,在整個農業領域的各個應用方面進行近紅外分析技術的推廣使用,使得該技術在農業應用領域進入了成熟期。1975Canadian Grain Commission 加拿大糧食委員會接受近紅外方法作為測定小麥蛋白的官方方法.1984 美國公職分析家學會(AOAC) #989.03:NIR成為分析飼料中蛋白,酸性洗滌纖維,中性洗滌纖維的標準方法.近紅外儀器技術和定標技術的發展過程中,諸多的疑難問題被壹壹解決,其中包括儀器自身的工作穩定性、待測樣品的物理及化學特征對定標模型的影響、樣品制備影響、環境因素(如溫度、濕度、環境光照、振動等)等,這些問題通過大量的實驗和應用討論已經得到了比較滿意的解釋。1994定標新方法:人工神經網絡技術-解決非線性.1995NIRSystems推出基於數字信號控制的全息光柵DDS系統.
在二十世紀八十年代前,雖然近紅外分析儀器采用多元線性回歸技術建立定標模型在農業應用領域得到了較為滿意的結果,但是多回歸變量如何能夠在特定的組合下完成待測成分近紅外光譜吸光度數據與參考化學數據之間的相關計算、各個光譜變量與待測成分之間有如何的特征關系、樣品顆粒度及散射影響所導致的不穩定性等問題仍是急需得到合理解釋的。長期以來,雖然近紅外分析儀器的分析性能已經在農業領域得到了認可,對於研究者和用戶雙方都把近紅外分析技術作為壹個較為成型的“黑匣子”技術。直到多元統計變量方法(化學計量學)在八十年代得到了發展並將該方法引入到近紅外光譜解析及定標技術中來,近紅外分析技術才真正達到了定標理論與實踐的統壹,促進了該技術與化學計量學的並肩發展,所以八十年代被稱為是“化學計量學的時代”。
在這壹時期掀起了壹個采用化學計量學用於數據預處理以實現近紅外光譜解析和定標模型優化的高潮,其主要針對問題是樣品顆粒度、裝填密度等因素所導致的散射問題。Ian Cowe和 Jim McNicol首先將主成份回歸分析方法用於近紅外光譜的數據降維壓縮處理以實現定標模型穩定,通過對回歸主因子的優選達到了排除非測量因素(如顆粒度尺寸及分布)和非線性因素影響的目的,達到了很好的效果。同時令他們驚奇的是,穩定的定標模型所采用的主因子與待測成份的主要近紅外光譜吸收帶有很強的對應關系,對定標模型合理性可以給出滿意的解釋。
Kawalski 和他的研究生們則首先將偏最小二乘回歸技術應用於光譜學技術中來,但直到最近幾年該技術才在近紅外分析技術中得到應用和推廣。經過理論與實踐的並行發展,化學計量學已經形成較為完整的體系,其中主要分為定性和定量分析兩個模塊,H.Mark 等對其進行了較為詳細地論述。化學計量學這壹時期在近紅外領域的應用和探討可以主要集中在以下幾個方面:
1)非線性回歸定標方法如人工神經網絡、局部權重回歸等用於多變量非線性定標模型的探討。
2) 最優定標樣品集的選定方法。
3) 基於小波變換數據壓縮技術的大定標樣品集探討。
4) 偏最小二乘回歸和其它因子回歸方法在最佳因子數選取原則比較的探討。
5) 定標波長通道的優選問題。
6) 同類型儀器的定標模型轉移問題。
伴隨著化學計量學技術在近紅外光譜分析領域的不斷發展,研究人員可以更加準確地掌握了近紅外光譜吸光度信息與物質化學成分信息之間的線性相關性,雖然化學計量學方法本身的改進並沒有在定量分析結果準確性方面有多大的改善。
近紅外光譜分析儀器的性能隨著光學技術、電子技術、硬件技術以及計算機和軟件技術的不斷進步也有了極大地改善,高信噪比的傅立葉變換型、光柵掃描型光譜分析儀研制成功並開始進入儀器市場,濾光片型近紅外分析儀的研制則進入了成熟期並成為了近紅外儀器中的主流產品。與此同時,近紅外光譜分析技術在除農業以外的其他領域(如紡織業、化工業、制藥業、造紙業等)也進入了實際應用階段,尤其是在工業現場分析、在線質量監控等方面該技術顯示了其獨有的優勢。進入九十年代,許多基於不同分光原理的新型近紅外分析儀器如二極管列陣型、聲光調制型、成像光譜型等出現了,這些儀器在快速現場實時測量方面有很好的發展潛力,是當代近紅外光譜分析儀器發展的典型代表。
近紅外光譜分析技術經過了近半個世紀的發展歷程現已經成為新世紀裏的最有應用前途的分析技術之壹,許多國家現已建立了專門的科研力量進行相關應用領域儀器設備的研發,降低儀器成本且保持足夠的分析性能成為當今近紅外儀器研制的主導方向。歐洲的許多發達國家已經在多個領域內將該技術作為行業產品質量評定的標準技術,幾乎完全替代了先前廣泛使用的化學分析方法,在生產效率和產品質量方面得到了很好的效果。
中國在近紅外光譜分析技術方面的研究起步較晚,八十年代後期長春光機與物理研究所承擔了國家糧食局下達“八五”科技攻關項目,研制成功濾光片型飼料近紅外分析儀,之後的十年裏又相繼開發出可以分析玉米、小麥、大豆等糧食作物的濾光片型近紅外分析儀器,現階段正在從事人參、人體血糖、煤炭、蜂蜜、茶葉等方面的研究和儀器開發工作。
與此同時,中國在石油化工領域開發出了光柵掃描型近紅外分析儀用於石油成份的快速定量檢測,取得了喜的成果。中國近紅外光譜分析技術的研究也已經相對成熟,估計在未來幾年內即可完成近紅外分析儀器在各個領域的應用推廣。