古詩詞大全網 - 成語用法 - 網易雲,網易20年,妳踩過哪些坑?

網易雲,網易20年,妳踩過哪些坑?

雲計算的核心和本質是什麽?網易杭州研究院雲計算平臺產品部主任、網易雲基礎服務(網易蜂巢)容器雲研發負責人陳偉講過壹個故事:網易雲基礎服務(網易蜂巢)的初始版本,從申請資源到虛擬機和容器的監控,大概需要兩分鐘半。陳偉覺得這個速度太慢,希望20秒內啟動集裝箱。

“大家都覺得這個事情太難了,幾乎不可能完成。所以,接下來,把階段性目標分解,先優化到1分鐘,再優化到40秒,再優化到20秒,讓大家看看自己的鏈接能挖掘出什麽潛力。最後,完成壹個容器的建立需要20秒左右的時間(不包括圖像傳輸的時間)。在雲計算的復雜體系中,做到這壹點其實並不容易。”

網易雲最終能在20秒內實現壹個容器上線的故事,道出了雲計算技術的核心和精髓:持續、長期的優化。2017 7月13日,網易雲將舉辦首屆雲創大會。會議主題“商業匠心與技術創新”點出了網易科技20年來的經驗:面對商業技術創新,只有耐得住寂寞的匠心,才能“磨”出精品。

雲計算不是神話

10年前,除了電子郵件、門戶網站、遊戲等傳統的互聯網服務,許多創新的互聯網商業形式開始出現,包括博客和在線相冊。當時,丁磊認為網易需要在原有業務板塊之外建立壹個獨立的創新業務孵化和探索機構,於是成立了網易杭州研究院。十年後,網易雲從網易杭州研究院孵化出來。從網易科技的發展可以看出,雲計算不是神話,而是互聯網技術演進的必然結果。

現任網易杭州研究院執行院長王元表示,網易杭州研究院的第壹個業務是博客,它代表了Web 2.0時代的誕生。在互聯網新業務的探索中發現,Web 2.0業務形態的技術要求在質的方面要優於Web 1.0,需要海量數據管理等基礎軟件的支持,網民帶來的數據量比以往的門戶網站至少高出兩個數量級。

陳鄂剛進網易的時候,Web 2.0的概念就爆發了,他的第壹個項目就是網易博客。陳鄂不僅要搞技術研發,還要做博客的技術運維,包括版本控制等等。“整個技術挑戰和技術方向突然和以前完全不壹樣了,重點變成了橫向擴展、高並發、大吞吐量。”陳夢回憶說,之前整個互聯網技術體系的發展是比較平坦的,在那個時間點突然跳起來,需要不同的運維手段。“好像做互聯網成了壹個運維,所以印象挺深的。”

如果說Web2.0是互聯網技術的壹次飛躍,雲計算就是互聯網技術的又壹次飛躍。“雲計算平臺對網易的互聯網業務有明顯的推動作用,因為當時我們的服務器管理和業務增長已經到了瓶頸,必須有這樣的雲才能實現新的突破。”作為網易杭州研究院的第壹批員工,陳夢回憶道。

“雲計算是壹個分布式系統。我覺得核心是要懂得選擇。由於分布式系統架構和實現的技術,近二十年來並沒有太大的突破,現有的理論已經存在很久了,下面的CAP原則(壹致性、可用性和分區容錯)只是歸納總結。所以最重要的是要知道取舍,比如系統復雜度和可操作性的選擇。功能很強大,但是操作維護很麻煩。”

今天的網易雲,來自於網易科技在運營網易UGC產品上的雲安全能力,來自於網易全線互聯網產品的雲計算基礎服務能力,來自於網易電商的雲客服,來自於網易多產品的大數據處理能力,來自於易信泡泡的通信和視頻技術等等。正是因為網易互聯網產品的大規模開發和運維經驗,網易雲在正式上線後短短壹年時間內,贏得了大量的客戶和開發者。

經歷過網易產品的長期優化,在談到網易這十年走過的技術之旅時,王元表示,技術體系總是需要不斷完善的,因為業務發展會不斷提出新的需求,在龐大的技術體系中也有很多可以優化的地方。

到目前為止,網易雲是壹個成功的技術體系,因為這個技術體系已經成為壹個統壹規範的平臺,承載了網易的各種互聯網產品和服務。自2012起,網易杭州研究院全面支持網易集團互聯網產品上雲,網易雲支持了網易內部95%以上的互聯網產品。

尤其是教育、音樂、信托、電商、金融、手遊等網易服務,最近三四年呈現爆發式增長。但無論互聯網服務的範圍和規模,網易雲技術體系都圓滿完成了使命。“當業務爆炸性增長時,它可以及時提供強有力的支持,並且沒有技術滯後,”王元強調。

以網絡為例,網易航研院從第壹個版本上線到現在的三年內,投入了大量的精力和資源在全網的架構和優化上。網易雲的網絡性能從最開始只能運行千兆網絡到近萬兆網絡,經歷了壹個漫長的優化過程。只有解決了網絡問題,才能更好地整合上述服務,因為雲計算虛擬化已經比較成熟,但是各個雲服務商對底層網絡的優化其實差別很大,有些雲解決方案甚至做不到千兆,尤其是部署SDN之後。

網易雲從2012的私有雲到後來的公有雲,走過了很多地方,其中壹條就是跟隨開源技術社區的自研和選路。2006-2007年,網易開始做海量數據管理的平臺,包括當時國內比較先進領先的五大核心系統。但後來,壹些平臺被更成熟的開源平臺所取代。比如2010,自主研發的並行計算系統被成熟的Hadoop取代。當然,2007年杭研開始自己研究的時候,Hadoop還不成熟。

“縱觀開源社區,如果只看到現狀,更容易掉坑。當時覺得開源項目存在很多問題,靠自研很容易做出更好的項目,但可能三五年後就被開源社區超越了。成熟的開源項目和開源社區的研發實力確實很大,不是壹個公司的投資能比的,除非是公司的戰略項目。”王元回憶說,過去十年,網易雲的很多產品都有類似的經歷。最後,他發現隨著開源技術社區的不斷成熟,跟隨開源社區的技術創新,做好場景的整體技術優化,是更好的產品路線。

如果回到十年前重新考慮,“應該有兩次調整。壹個是更積極地參與開源社區的項目,與開源社區壹起成長。另壹個是考慮更早的將航研科技商業化,對外提供更好的產品和服務。”

為什麽要早壹點商業化?“如果只支持網易的業務,在技術投入和綜合應用方面或多或少會有不足;如果全世界的人都在用,這個技術可以說是非常成熟可靠了。所以網易自己的應用只是壹個起點。”

接受內外部考驗,網易從2015開始陸續推出通信、視頻(網易雲信、視頻雲)、全智能雲客服(網易七魚)、雲計算基礎服務(網易蜂巢)、雲安全(網易易盾)等壹系列場景雲服務,以及壹站式大數據管理及應用開發平臺(網易猛獁)、企業級大數據可視化分析平臺(網易有數)等大數據平臺。

網易雲信是網易憑借17年的IM經驗打造的即時通訊雲PaaS服務。除了基本功能外,網易雲信還提供高級通訊功能,包括實時音視頻、互動直播、教學白板、專用電話、短信、私有雲等更多服務。截至2017年5月,已有35萬+開發者接入網易IM雲服務,覆蓋7億+用戶,教育、醫療、O2O、遊戲、社交等行業用戶眾多。

好未來雙師課堂是壹種全新的教學模式,由壹個老師升級為兩個老師負責學生的學習:壹個是授課老師,以直播的形式授課;壹個是家教,負責課堂管理和課後針對性學習輔導。未來雙師課堂將接入網易雲IM、互動白板、實時音視頻、短信功能等基礎功能,不僅降低了技術運維成本,也讓未來雙師課堂更專註於自身的核心課程開發和運營業務。

網易歷時20年研發的全智能雲客服系統(網易七魚),可以無縫整合多渠道在線客服、呼叫中心、客服機器人、工單系統,打造從外到內的高效客服體系。小牛在線是國內領先的互聯網金融平臺,累計線上交易額超過6543.8+00億。小牛在線接入全智能雲客服(網易七魚)實現了Web與微信微信官方賬號的壹體化溝通、跨部門工單、豐富的績效管理等功能。

小牛在線服務總監彭特表示:“全智能雲客服(網易七魚)提供的智能客服機器人智能化程度高,網易多年的技術積累和經驗值得信賴。接入全智能雲客服(網易七魚),大大提升了小牛的產品體驗。還有很重要的壹點,全智能雲客服(網易七魚)在安全性方面絕對是市場上的佼佼者,這對於小牛乃至整個互聯網金融行業都是至關重要的。”

網易雲音樂建立在網易雲基礎服務之上。面對海量數據請求,網易雲基礎服務提供了穩定、可擴展的容器集群環境、敏捷的開發模式和良好的運維支持。“作為網易多年開發的產品,基於雲的服務為我們項目的整體高效運行奠定了堅實的基礎,也為企業級應用提供了更加高效可靠的解決方案。”網易雲音樂CEO朱怡雯說。

自2015年6月上線以來,網易考拉的業務進入了高速發展期。第壹版電子商務系統的瓶頸逐漸凸顯,即叠代速度慢,僅提供基本的資源靈活性並不能解決問題。具體來說,隨著用戶數量的不斷增加、市場需求的不斷變化以及操作系統的不斷完善,網易考拉需要在功能模塊上做出越來越多的改變,不僅基礎資源的管理越來越復雜,腳本化應用層的部署和管理也已經遠遠落後於需求。

網易雲基礎服務(網易蜂巢)容器雲平臺的自動化能力解決了網易考拉的挑戰。網易雲基礎服務(網易蜂巢)采用Docker容器作為整個軟件部署和調度的基本單元,結合Kubernetes作為容器管理和編排服務框架。

網易雲基礎服務(網易蜂巢)還在原生Kubernetes的基礎上優化調度,利用多年運行IaaS層的調優經驗,優化容器間的網絡互操作和持久存儲。由此,網易雲基礎服務(網易蜂巢)將網易考拉的更新頻率上限從最初的每天2次提升至每天112次再提升至每天723次,並發訪問支持從每秒2600次提升至每秒16000次。

大數據方面,近年來隨著大數據和統計機器學習的進展,數據科學受到廣泛關註。網易杭州研究院還成立了數據科學中心,打造大數據、商業智能和機器學習平臺產品。今年,網易猛獁大數據平臺和網易數字敏捷BI平臺上線。此外,網易杭州研究院數據科學中心還在整合網易各大產品的數據,梳理網易的數據,讓網易的數據發揮更大的作用。已成功挖掘網易用戶畫像,並應用於廣告、金融風控等領域,取得顯著成效。

除了經過內部和外部用戶的嚴格測試,王元強調,網易雲的優勢之壹在於整體架構設計的壹致性,即上層PaaS服務可以完全基於IaaS層的能力來構建。“有些朋友的雲計算架構比較分散,上層數據庫等服務沒有設置在雲主機上,而是壹個獨立的系統。而網易雲計算的所有PaaS服務都是由更低壹級的IaaS統壹支持、調度和提供,相互協調性好,與設計良好的AWS(EC2+ECS)是壹個級別的。“當然,這樣的架構設計也是網易科技十年來不斷錘煉的結果。(文/寧川)