本文將介紹深入解讀利用Python語言解析XML文件的幾種方式,並以筆者推薦使用的ElementTree模塊為例,演示具體使用方法和場景。文中所使用的Python版本為2.7。
壹、什麽是XML?
XML是可擴展標記語言(Extensible Markup Language)的縮寫,其中的 標記(markup)是關鍵部分。您可以創建內容,然後使用限定標記標記它,從而使每個單詞、短語或塊成為可識別、可分類的信息。
標記語言從早期的私有公司和政府制定形式逐漸演變成標準通用標記語言(Standard Generalized Markup Language,SGML)、超文本標記語言(Hypertext Markup Language,HTML),並且最終演變成 XML。XML有以下幾個特點。
XML的設計宗旨是傳輸數據,而非顯示數據。
XML標簽沒有被預定義。您需要自行定義標簽。
XML被設計為具有自我描述性。
XML是W3C的推薦標準。
目前,XML在Web中起到的作用不會亞於壹直作為Web基石的HTML。 XML無所不在。XML是各種應用程序之間進行數據傳輸的最常用的工具,並且在信息存儲和描述領域變得越來越流行。因此,學會如何解析XML文件,對於Web開發來說是十分重要的。
二、有哪些可以解析XML的Python包?
Python的標準庫中,提供了6種可以用於處理XML的包。
xml.dom
xml.dom實現的是W3C制定的DOM API。如果妳習慣於使用DOM API或者有人要求這這樣做,可以使用這個包。不過要註意,在這個包中,還提供了幾個不同的模塊,各自的性能有所區別。
DOM解析器在任何處理開始之前,必須把基於XML文件生成的樹狀數據放在內存,所以DOM解析器的內存使用量完全根據輸入資料的大小。
xml.dom.minidom
xml.dom.minidom是DOM API的極簡化實現,比完整版的DOM要簡單的多,而且這個包也小的多。那些不熟悉DOM的朋友,應該考慮使用xml.etree.ElementTree模塊。據lxml的作者評價,這個模塊使用起來並不方便,效率也不高,而且還容易出現問題。
xml.dom.pulldom
與其他模塊不同,xml.dom.pulldom模塊提供的是壹個“pull解析器”,其背後的基本概念指的是從XML流中pull事件,然後進行處理。雖然與SAX壹樣采用事件驅動模型(event-driven processing model),但是不同的是,使用pull解析器時,使用者需要明確地從XML流中pull事件,並對這些事件遍歷處理,直到處理完成或者出現錯誤。
pull解析(pull parsing)是近來興起的壹種XML處理趨勢。此前諸如SAX和DOM這些流行的XML解析框架,都是push-based,也就是說對解析工作的控制權,掌握在解析器的手中。
xml.sax
xml.sax模塊實現的是SAX API,這個模塊犧牲了便捷性來換取速度和內存占用。SAX是Simple API for XML的縮寫,它並不是由W3C官方所提出的標準。它是事件驅動的,並不需要壹次性讀入整個文檔,而文檔的讀入過程也就是SAX的解析過程。所謂事件驅動,是指壹種基於回調(callback)機制的程序運行方法。
xml.parser.expat
xml.parser.expat提供了對C語言編寫的expat解析器的壹個直接的、底層API接口。expat接口與SAX類似,也是基於事件回調機制,但是這個接口並不是標準化的,只適用於expat庫。
expat是壹個面向流的解析器。您註冊的解析器回調(或handler)功能,然後開始搜索它的文檔。當解析器識別該文件的指定的位置,它會調用該部分相應的處理程序(如果您已經註冊的壹個)。該文件被輸送到解析器,會被分割成多個片斷,並分段裝到內存中。因此expat可以解析那些巨大的文件。
xml.etree.ElementTree(以下簡稱ET)
xml.etree.ElementTree模塊提供了壹個輕量級、Pythonic的API,同時還有壹個高效的C語言實現,即xml.etree.cElementTree。與DOM相比,ET的速度更快,API使用更直接、方便。與SAX相比,ET.iterparse函數同樣提供了按需解析的功能,不會壹次性在內存中讀入整個文檔。ET的性能與SAX模塊大致相仿,但是它的API更加高層次,用戶使用起來更加便捷。
筆者建議,在使用Python進行XML解析時,首選使用ET模塊,除非妳有其他特別的需求,可能需要另外的模塊來滿足。
解析XML的這幾種API並不是Python獨創的,Python也是通過借鑒其他語言或者直接從其他語言引入進來的。例如expat就是壹個用C語言開發的、用來解析XML文檔的開發庫。而SAX最初是由DavidMegginson采用java語言開發的,DOM可以以壹種獨立於平臺和語言的方式訪問和修改壹個文檔的內容和結構,可以應用於任何編程語言。
下面,我們以ElementTree模塊為例,介紹在Python中如何解析lxml。
三、利用ElementTree解析XML
Python標準庫中,提供了ET的兩種實現。壹個是純Python實現的xml.etree.ElementTree,另壹個是速度更快的C語言實現xml.etree.cElementTree。請記住始終使用C語言實現,因為它的速度要快很多,而且內存消耗也要少很多。如果妳所使用的Python版本中沒有cElementTree所需的加速模塊,妳可以這樣導入模塊:
try:
import xml.etree.cElementTree as ET
except ImportError:
import xml.etree.ElementTree as ET
如果某個API存在不同的實現,上面是常見的導入方式。當然,很可能妳直接導入第壹個模塊時,並不會出現問題。請註意,自Python 3.3之後,就不用采用上面的導入方法,因為ElemenTree模塊會自動優先使用C加速器,如果不存在C實現,則會使用Python實現。因此,使用Python 3.3+的朋友,只需要import xml.etree.ElementTree即可。
1、將XML文檔解析為樹(tree)
我們先從基礎講起。XML是壹種結構化、層級化的數據格式,最適合體現XML的數據結構就是樹。ET提供了兩個對象:ElementTree將整個XML文檔轉化為樹,Element則代表著樹上的單個節點。對整個XML文檔的交互(讀取,寫入,查找需要的元素),壹般是在ElementTree層面進行的。對單個XML元素及其子元素,則是在Element層面進行的。下面我們舉例介紹主要使用方法。
我們使用下面的XML文檔,作為演示數據:
text,source
xml,sgml
接下來,我們加載這個文檔,並進行解析:
>>> import xml.etree.ElementTree as ET
>>> tree = ET.ElementTree(file='doc1.xml')
然後,我們獲取根元素(root element):
>>> tree.getroot()
正如之前所講的,根元素(root)是壹個Element對象。我們看看根元素都有哪些屬性:
>>> root = tree.getroot()
>>> root.tag, root.attrib
('doc', {})
沒錯,根元素並沒有屬性。與其他Element對象壹樣,根元素也具備遍歷其直接子元素的接口:
>>> for child_of_root in root:
... print child_of_root.tag, child_of_root.attrib
...
branch {'hash': '1cdf045c', 'name': 'codingpy.com'}
branch {'hash': 'f200013e', 'name': 'release01'}
branch {'name': 'invalid'}
我們還可以通過索引值來訪問特定的子元素:
>>> root[0].tag, root[0].text
('branch', '
text,source
')
2、查找需要的元素
從上面的示例中,可以明顯發現我們能夠通過簡單的遞歸方法(對每壹個元素,遞歸式訪問其所有子元素)獲取樹中的所有元素。但是,由於這是十分常見的工作,ET提供了壹些簡便的實現方法。
Element對象有壹個iter方法,可以對某個元素對象之下所有的子元素進行深度優先遍歷(DFS)。ElementTree對象同樣也有這個方法。下面是查找XML文檔中所有元素的最簡單方法:
>>> for elem in tree.iter():
... print elem.tag, elem.attrib
...
doc {}
branch {'hash': '1cdf045c', 'name': 'codingpy.com'}
branch {'hash': 'f200013e', 'name': 'release01'}
sub-branch {'name': 'subrelease01'}
branch {'name': 'invalid'}
在此基礎上,我們可以對樹進行任意遍歷——遍歷所有元素,查找出自己感興趣的屬性。但是ET可以讓這個工作更加簡便、快捷。iter方法可以接受tag名稱,然後遍歷所有具備所提供tag的元素:
>>> for elem in tree.iter(tag='branch'):
... print elem.tag, elem.attrib
...
branch {'hash': '1cdf045c', 'name': 'codingpy.com'}
branch {'hash': 'f200013e', 'name': 'release01'}
branch {'name': 'invalid'}
3、支持通過XPath查找元素
使用XPath查找感興趣的元素,更加方便。Element對象中有壹些find方法可以接受Xpath路徑作為參數,find方法會返回第壹個匹配的子元素,findall以列表的形式返回所有匹配的子元素, iterfind則返回壹個所有匹配元素的叠代器(iterator)。ElementTree對象也具備這些方法,相應地它的查找是從根節點開始的。
下面是壹個使用XPath查找元素的示例:
>>> for elem in tree.iterfind('branch/sub-branch'):
... print elem.tag, elem.attrib
...
sub-branch {'name': 'subrelease01'}
上面的代碼返回了branch元素之下所有tag為sub-branch的元素。接下來查找所有具備某個name屬性的branch元素:
>>> for elem in tree.iterfind('branch[@name="release01"]'):
... print elem.tag, elem.attrib
...
branch {'hash': 'f200013e', 'name': 'release01'}
4、構建XML文檔
利用ET,很容易就可以完成XML文檔構建,並寫入保存為文件。ElementTree對象的write方法就可以實現這個需求。
壹般來說,有兩種主要使用場景。壹是妳先讀取壹個XML文檔,進行修改,然後再將修改寫入文檔,二是從頭創建壹個新XML文檔。
修改文檔的話,可以通過調整Element對象來實現。請看下面的例子:
>>> root = tree.getroot()
>>> del root[2]
>>> root[0].set('foo', 'bar')
>>> for subelem in root:
... print subelem.tag, subelem.attrib
...
branch {'foo': 'bar', 'hash': '1cdf045c', 'name': 'codingpy.com'}
branch {'hash': 'f200013e', 'name': 'release01'}
在上面的代碼中,我們刪除了root元素的第三個子元素,為第壹個子元素增加了新屬性。這個樹可以重新寫入至文件中。最終的XML文檔應該是下面這樣的:
>>> import sys
>>> tree.write(sys.stdout)
text,source
xml,sgml
請註意,文檔中元素的屬性順序與原文檔不同。這是因為ET是以字典的形式保存屬性的,而字典是壹個無序的數據結構。當然,XML也不關註屬性的順序。
從頭構建壹個完整的文檔也很容易。ET模塊提供了壹個SubElement工廠函數,讓創建元素的過程變得很簡單:
>>> a = ET.Element('elem')
>>> c = ET.SubElement(a, 'child1')
>>> c.text = "some text"
>>> d = ET.SubElement(a, 'child2')
>>> b = ET.Element('elem_b')
>>> root = ET.Element('root')
>>> root.extend((a, b))
>>> tree = ET.ElementTree(root)
>>> tree.write(sys.stdout)
some text
5、利用iterparse解析XML流
XML文檔通常都會比較大,如何直接將文檔讀入內存的話,那麽進行解析時就會出現問題。這也就是為什麽不建議使用DOM,而是SAX API的理由之壹。
我們上面談到,ET可以將XML文檔加載為保存在內存裏的樹(in-memory tree),然後再進行處理。但是在解析大文件時,這應該也會出現和DOM壹樣的內存消耗大的問題吧?沒錯,的確有這個問題。為了解決這個問題,ET提供了壹個類似SAX的特殊工具——iterparse,可以循序地解析XML。
接下來,筆者為大家展示如何使用iterparse,並與標準的樹解析方式進行對比。我們使用壹個自動生成的XML文檔,下面是該文檔的開頭部分:
United States
1
duteous nine eighteen
Creditcard
[...]
我們來統計壹下文檔中出現了多少個文本值為Zimbabwe的location元素。下面是使用ET.parse的標準方法:
tree = ET.parse(sys.argv[2])
count = 0
for elem in tree.iter(tag='location'):
if elem.text == 'Zimbabwe':
count += 1
print count
上面的代碼會將全部元素載入內存,逐壹解析。當解析壹個約100MB的XML文檔時,運行上面腳本的Python進程的內存使用峰值為約560MB,總運行時間問2.9秒。
請註意,我們其實不需要講整個樹加載到內存裏。只要檢測出文本為相應值得location元素即可。其他數據都可以廢棄。這時,我們就可以用上iterparse方法了:
count = 0
for event, elem in ET.iterparse(sys.argv[2]):
if event == 'end':
if elem.tag == 'location' and elem.text == 'Zimbabwe':
count += 1
elem.clear() # 將元素廢棄
print count
上面的for循環會遍歷iterparse事件,首先檢查事件是否為end,然後判斷元素的tag是否為location,以及其文本值是否符合目標值。另外,調用elem.clear()非常關鍵:因為iterparse仍然會生成壹個樹,只是循序生成的而已。廢棄掉不需要的元素,就相當於廢棄了整個樹,釋放出系統分配的內存。
當利用上面這個腳本解析同壹個文件時,內存使用峰值只有7MB,運行時間為2.5秒。速度提升的原因,是我們這裏只在樹被構建時,遍歷壹次。而使用parse的標準方法是先完成整個樹的構建後,才再次遍歷查找所需要的元素。
iterparse的性能與SAX相當,但是其API卻更加有用:iterparse會循序地構建樹;而利用SAX時,妳還得自己完成樹的構建工作。