多模態話語分析的四個層面：文化層面、語境層面、內容層面和表達層面。
文化層面是使多模態交際成為可能的關鍵層面。交際的傳統、交際的形式和技術都是由這個層面來決定的。沒有這個層面，情景語境就沒有解釋能力。這個層面包括由人的思維模式、處世哲學、生活習慣以及壹切社會的潛規則所組成的意識形態，和可以具體實現這種意識形態的交際程序或結構潛勢，稱為體裁。
在具體的語境中，交際要受到語境因素的制約，包括話語範圍、話語基調、話語方式所決定的語境因素。同時，這個過程還要實現所選擇的體裁，以壹定的交際模式進行。在話語意義層面，有由話語範圍、話語基調和話語方式所制約的概念意義、人際意義和謀篇意義。
在形式層面上，不同模態的形式特征相互關聯，***同體現話語意義。在這個層面上，每壹種模態都有自己的形式系統，如視覺語法、聽覺語法、觸覺語法等。探討這些不同的語法系統是比較難的研究課題，因為視覺語法、聽覺語法都不像語言的語法那樣確定。
而是具有相當大的主觀性，需要做長期的研究才能發現它們的內部運作規律。但更加重要和更難的是發現它們之間的協調、聯合、互補等關系。所以，目前多模態話語研究的重點還是不同模態的形式特征和它們之間的關系。