壹、系統概述
要理解網絡信息采集系統？首先我們要弄清楚什麽是“信息采集”信息采集是指利用計算機軟件技術，針對定制的目標數據源，實時進行信息采集、抽取、挖掘、處理，從而為各種信息服務系統提供數據輸入的整個過程。
要求從互聯網上對特定目標數據源或不特定目標數據源進行采集與監控，並對信息進行結構化抽取保存為本地結構化數據庫，然後按業務流程需求與其它模塊結合，導入與應用並服務於到電子行業平臺。
互聯網數據采集與挖掘技術是指利用計算機軟件技術，針對定制的目標數據源，實時進行信息采集、抽取、挖掘、處理，從而為各種信息服務系統提供數據輸入，並按業務所需，進行數據發布、分析的整個過程。
二、網絡信息采集系統流程
各種網絡信息采集系統的詳細流程可能不太壹樣，但是基本的思路是壹致的，下面以通用的樂思網絡信息采集系統為例子，介紹壹下基本的步驟
第壹步：確定采集任務。
第二步：針對不同的目標數據源，進行不同的采集配置，以確保能采集到數據。
第三步：調度采集任務，與目標站點同步更新，增量采集。
第四步：采集到數據結果，完成數據異構到同構的過程。
第五步：通過發布服務器，將數據發布到應用平臺。
三、 系統特點
本系統最大的特點是：采集方法的靈活性與采集數據的準確性
靈活性：任何復雜的查詢與頁面布局都可以靈活處理
準確性：結果數據高度準確(99%-100%)
對目標網站進行信息自動抓取，支持HTML頁面內各種數據的采集，如文本信息，URL，數字，日期，圖片等
用戶對每類信息自定義來源與分類
可以下載圖片與各類文件
支持用戶名與密碼自動登錄
支持命令行格式，可以Windows任務計劃器配合，定期抽取目標網站
支持記錄唯壹索引，避免相同信息重復入庫
支持智能替換功能，可以將內容中嵌入的所有的無關部分如廣告去除
支持多頁面文章內容自動抽取與合並
支持下壹頁自動瀏覽功能
支持直接提交表單
支持模擬提交表單
支持動作腳本
支持從壹個頁面中抽取多個數據表
支持數據的多種後期處理方式
數據直接進入數據庫而不是文件中，因此與利用這些數據的網站程序或者桌面程序之間 沒有任何耦合
支持數據庫表結構完全自定義，充分利用現有系統
支持多個欄目的信息采集可用同壹配置壹對多處理
保證信息的完整性與準確性，絕不會出現亂碼
支持所有主流數據庫：MS SQL Server, Oracle, DB2, MySQL, Sybase, Interbase, MS Access等