歷年雙11，引人矚目的是GMV、訂單量和支付筆數(shù)。但鮮為人知的是，支撐雙11順利運(yùn)轉(zhuǎn)的，不僅僅是交易鏈路和支付鏈路，還有一套至關(guān)重要的消息鏈路。

這條鏈路一方面連接著阿里、上千萬商家與數(shù)億消費(fèi)者，另一方面還承擔(dān)著雙11線上協(xié)同作戰(zhàn)的指揮鏈路，就像戰(zhàn)場上的通訊兵，不僅要保障指揮中心的“耳聰目明”，還要保障消息在每一個參戰(zhàn)單位之間的順暢流通。

這套系統(tǒng)有多高效？ “60.69萬條/秒”，這是2021年雙11當(dāng)天，淘寶、天貓、釘釘?shù)入p11核心APP的消息處理峰值。

這套系統(tǒng)，就叫作釘釘消息平臺，內(nèi)部名稱IM PaaS。

普通人或許對這個名字感到陌生，因?yàn)樗俺痢痹谝幌盗腥庋劭梢姷膽?yīng)用“下方”。不過，如果你打開手淘，點(diǎn)進(jìn)一個商品和商家討價還價兩句，那么你們敲下的每一個字和每一個表情，就都跑在這套“看不見”的底座之上。

幾乎沒有人知道，人們在淘寶內(nèi)發(fā)消息時的底層軟件從旺旺切換成了釘釘，但這并不是用戶不夠細(xì)心，而是釘釘刻意為之。

工程師們將這個為期三年的項目，比喻成“開著飛機(jī)換引擎”，他們希望飛機(jī)上的乘客不會感到一絲顛簸，同時也讓飛機(jī)運(yùn)轉(zhuǎn)效率有更大的提升。

在光明頂陪跑的一群人

雙11從2009年開始舉辦，第一年只是淘寶商城不太起眼的冬季運(yùn)營活動，參與活動的的人員一個會議室就能擠得下，交流基本靠吼。2013年，位于黃龍園區(qū)的支付寶加入雙11，需要和阿里西溪園區(qū)線上協(xié)作時，旺旺成為了首任內(nèi)部通訊平臺。

釘釘首次被邀請參加，是在誕生之初的2015年。如今成為釘釘IM技術(shù)負(fù)責(zé)人的達(dá)野至今還記得釘釘首次參戰(zhàn)雙11的場面。那一年，雙11歷經(jīng)六年時間，已經(jīng)成為阿里一年一度最大的盛典，能進(jìn)入阿里巴巴西溪園區(qū)核心作戰(zhàn)指揮室“光明頂”參與技術(shù)會戰(zhàn)的，無一不是阿里核心業(yè)務(wù)的精兵強(qiáng)將。

未滿周歲的釘釘，甚至還沒有成為阿里內(nèi)部通用的溝通的工具，卻在“光明頂”有了一席之地，這自然讓釘釘IM團(tuán)隊的成員們興奮不已。

但釘釘那時所承擔(dān)的角色，用一句不太好聽的話來說，是“備胎”。

每年雙11技術(shù)保障都需要建幾十甚至數(shù)百個內(nèi)部溝通群，2015年到2018年的三年時間里，這些群既有旺旺群，也有釘釘群，兩個通訊工具互為備胎，一旦其中一個掛了，就遷移到另外一個上。

說起來是和旺旺“互為備胎”，但釘釘?shù)墓こ處焹?nèi)心有數(shù)。當(dāng)時釘釘?shù)募夹g(shù)人員不多，保障雙11方面經(jīng)驗(yàn)更少，達(dá)野直白地承認(rèn)，對于釘釘受邀參加雙11，“一開始我們完全不敢相信。我們都很清楚，集團(tuán)是在借助這種方式照顧釘釘，表達(dá)對我們的重視。”

“備胎”一當(dāng)就是四年。雖然這四年中，釘釘在功能和技術(shù)上不斷創(chuàng)新，以肉眼可見的速度成熟起來，“已讀未讀”、“組織架構(gòu)可視化”、“群協(xié)作”等產(chǎn)品接連上線，也拿下了阿里內(nèi)部主要溝通工具的地位，但在雙11的舞臺上，還始終欠缺一個至關(guān)重要的機(jī)會。

一生一次的轉(zhuǎn)正機(jī)會

機(jī)會說來就來了。

2019年，阿里巴巴CTO線轟轟烈烈的開展了三大戰(zhàn)役：統(tǒng)一阿里小程序、阿里經(jīng)濟(jì)體全面上云和統(tǒng)一IM，最年輕的釘釘扛起了統(tǒng)一IM的重?fù)?dān)。

消息一出，釘釘很興奮。所有的技術(shù)人員都無比自豪：“統(tǒng)一IM的工作交給釘釘，這是對釘釘能力的肯定?！?/p>

他們接到的任務(wù)聽上去并不困難：在2019年的雙11中，承接淘寶5%的核心交易信息。

但現(xiàn)在釘釘IM PaaS的負(fù)責(zé)人聚望一聽，就知道這活兒不好干。因?yàn)檫@需要把釘釘?shù)南⑾到y(tǒng)和手淘集成打通，這件事他和達(dá)野從2017年左右就嘗試過，達(dá)野說：“當(dāng)時我們想把釘釘?shù)腎M系統(tǒng)集成到手淘中去，讓手淘的用戶跟釘釘?shù)挠脩艨梢粤钠饋?。?/p>

愿望豐滿，現(xiàn)實(shí)骨感，那次嘗試，他們鎩羽而歸。

這個代號叫作“天地匯”的項目旨在聯(lián)合釘釘和手淘，嘗試打通B端商家和C端消費(fèi)者之間的消息鏈路。在這個項目上馬之前，阿里的各個應(yīng)用幾乎都有自己的IM系統(tǒng)，光是手機(jī)淘寶就有兩套IM工具（手淘自己的IM、旺旺），再加上商家們很多在使用釘釘進(jìn)行辦公協(xié)同，這些IM工具像一個個重復(fù)的煙囪，彼此并不互通，重復(fù)建設(shè)和日常運(yùn)維也給運(yùn)轉(zhuǎn)效率帶來了不小的壓力。

“天地匯”成為一次打破兩個產(chǎn)品之間信息煙囪的創(chuàng)新，無論是釘釘還是手淘對此都很重視。但困難比重視更重。釘釘工程師將釘釘?shù)腟DK集成到了手淘當(dāng)中，加上手淘自己的SDK和旺旺的SDK，客戶端架構(gòu)不堪重負(fù)。2018年318，“天地匯”項目的成果上線，實(shí)踐了一段時間，這個項目逐漸停止。

2019年，統(tǒng)一IM的重任一來，釘釘?shù)墓こ處焸兙兔靼?，是時候重新發(fā)起與手淘集成的打通的攻堅戰(zhàn)了。

統(tǒng)一IM的項目命名為“巴拿馬”，顧名思義，就是要在阿里眾多應(yīng)用之間修建一條能讓消息流動起來的“運(yùn)河”，首先被打通的就是阿里的核心應(yīng)用手機(jī)淘寶、千牛，隨后阿里生態(tài)內(nèi)的其他應(yīng)用的消息能力也大都一一由釘釘IM PaaS承接。

“巴拿馬”項目的第一戰(zhàn)，就是“攻下”手淘。

選擇用戶數(shù)大、系統(tǒng)復(fù)雜的淘寶，是阿里技術(shù)人的傳承，“先搞定最大和最難的，后面的就不成問題”，釘釘?shù)谝荒甑哪繕?biāo)就是要承接2019年雙11淘寶5%的核心交易消息。

2019年4月項目正式啟動，9月就要開始接受雙11的壓測和驗(yàn)收，留給他們的時間并不多。巴拿馬項目的成員南星說：“這是最后的機(jī)會，如果再失敗，釘釘可能此生都沒有機(jī)會接入淘寶了?！?/p>

他們從5%看到了未來

前面提到的聚望，是巴拿馬項目的負(fù)責(zé)人之一。他原本屬于旺旺團(tuán)隊，整個團(tuán)隊一起并入釘釘IM，聯(lián)合釘釘和手淘大幾十人團(tuán)隊一起再次發(fā)起了攻堅戰(zhàn)。

還剩不到半年時間，兩大挑戰(zhàn)擺在聚望團(tuán)隊的面前。

挑戰(zhàn)一：到底要為手淘打造一個什么樣的IM平臺？

雖然第一戰(zhàn)要攻克的是手淘難題，但釘釘?shù)某踔圆粌H是打通淘寶，而是做整個阿里巴巴的消息技術(shù)平臺，所以他們既要滿足淘寶對IM的定制化需求，同時也要建立一套可以支撐所有阿里生態(tài)內(nèi)應(yīng)用的通用技術(shù)架構(gòu)。

搭建一套什么樣的架構(gòu)？實(shí)現(xiàn)哪些功能？哪些功能由淘寶自己的業(yè)務(wù)團(tuán)隊實(shí)現(xiàn)？這些問題像一重又一重的關(guān)卡擺在巴拿馬團(tuán)隊面前。

挑戰(zhàn)二由陽凱發(fā)起，陽凱從2010年就開始參與雙11的技術(shù)保障，2018年開始作為釘釘雙11技術(shù)風(fēng)險的負(fù)責(zé)人，同時也是雙11釘釘?shù)募夹g(shù)大隊長，他的核心職責(zé)就一個詞：保穩(wěn)定。

對陽凱而言，在雙11這種大考里換新系統(tǒng)，這就是最大的不穩(wěn)定因素?！耙粋€新系統(tǒng)要在雙11承擔(dān)5%的流量，還是核心交易消息，我是持懷疑態(tài)度和反對態(tài)度的?！标杽P說。人人都在興奮，但在這場“開著飛機(jī)換引擎”的戰(zhàn)爭里，總要有人扮演一個“演練失敗”的角色，讓風(fēng)險發(fā)生在事前，而不是雙11中掉鏈子。

因此他幾乎天天給聚望“潑冷水”，想方設(shè)法地提出可能出現(xiàn)失敗的情況。“預(yù)案充分嗎？新系統(tǒng)的性能承壓行不行？為什么一定要在雙11上，不能雙12嗎？”

壓力來到聚望帶領(lǐng)的巴拿馬團(tuán)隊身上。這一次，巴拿馬項目不再打算采用將釘釘集成到淘寶當(dāng)中的方案，而是用釘釘?shù)募夹g(shù)能力和創(chuàng)新能力搭建一套全新的技術(shù)系統(tǒng)IM PaaS平臺。

對做了多年旺旺消息技術(shù)的聚望來講，前一套方案是旺旺的升級版，但也僅僅只是升級版，要做就做大的。

聚望說：“我們希望為所有的業(yè)務(wù)提供一套高可用、高穩(wěn)定性的消息平臺，未來業(yè)務(wù)團(tuán)隊只考慮業(yè)務(wù)場景的創(chuàng)新，而不用擔(dān)心底層的技術(shù)?！?/p>

此時的他，心中也有一個沒有說出來的想法。從事IM平臺技術(shù)多年，聚望知道單從技術(shù)上看，IM系統(tǒng)的門檻不高，但一個獨(dú)立團(tuán)隊想做到優(yōu)秀，需要投入的人力、資源和時間，不亞于重做一套釘釘。如果這套消息平臺做到足夠成熟，未嘗不可能有一天從阿里走出去，成為業(yè)界的的一個通用IM平臺。

為阿里打造的消息技術(shù)中臺，釘釘拿出了全部本領(lǐng)，在高可用、高穩(wěn)定、高擴(kuò)展的基礎(chǔ)上，釘釘IM PaaS平臺和存儲團(tuán)隊合作開發(fā)，對存儲模型進(jìn)行優(yōu)化，支持讀寫擴(kuò)散、異地容災(zāi)、智能流量管理、同步平臺升級、消息隊列升級、SmartOps平臺等技術(shù)創(chuàng)新。

對消費(fèi)者而言，他們并不知道淘寶、千牛、旺旺甚至淘特底層采用同一套消息平臺。但不管是登錄哪一個應(yīng)用，釘釘?shù)腎M PaaS平臺都可以保障多端消息同步?！凹幢阒匦掳惭b，所有的數(shù)據(jù)都在?！本弁f。

2019年6月，巴拿馬項目各項功能開發(fā)完成，他們特意舉辦了一場showcase表演，南星導(dǎo)演，達(dá)野攝影，聚望策劃，整個項目組的人在會議室里都顯得十分興奮。

南星說：“那一天就像是一座大橋的左右兩邊合龍，對釘釘和淘寶而言，都是一個重要的里程碑。”

大橋合龍后，還要經(jīng)過無數(shù)次測試和真正的通行才能宣告成功。2019年雙11，盡管陽凱從9月開始就不斷的向他們發(fā)起挑戰(zhàn)，但釘釘IM PaaS非常堅決，他們一定要在這一年承接5%的核心交易消息流量。

這一天終于來了。雙11當(dāng)天，光明頂燈火通明，即便是經(jīng)驗(yàn)最豐富的陽凱也因?yàn)镮M PaaS的上線感到無比緊張。消息鏈路某種程度比支付和交易更需要穩(wěn)定，因?yàn)獒斸斶€擔(dān)負(fù)著故障應(yīng)急和內(nèi)部協(xié)調(diào)的責(zé)任，承接5%的核心交易消息聽起來并不多，但放在雙11這一天卻會影響上千萬人。

假如雙11當(dāng)天，消息系統(tǒng)出問題會怎么樣？聚望非常嚴(yán)肅地回答：“如果消息出問題，最壞的情況下，交易會下跌20%。”

2019年雙11的GMV是2684億，20%是多大的體量，無需贅言。

因此釘釘IM PaaS團(tuán)隊必須謹(jǐn)慎再謹(jǐn)慎，他們從5萬用戶規(guī)模、100萬用戶規(guī)模、1000萬用戶的規(guī)模，2000萬用戶規(guī)模，做了多次容災(zāi)演練，保障即便雙11真的出現(xiàn)問題，也能從容的從新系統(tǒng)切回老系統(tǒng)。

萬事俱備，但這一夜并不順利。零點(diǎn)之前，按照預(yù)案，聚望團(tuán)隊為了提高雙11系統(tǒng)的整體性能，撤掉了一些過度占用資源的防御性系統(tǒng)，但之后不久，意料之外的攻擊出現(xiàn)了，消息系統(tǒng)遭到了大量運(yùn)營類垃圾消息的沖擊，“系統(tǒng)很快就要撐不住了，我們的神經(jīng)更是如此。”

聚望立即組織團(tuán)隊現(xiàn)場寫腳本進(jìn)行攻防，將違規(guī)賬號從系統(tǒng)出提出進(jìn)行限制。直到熬過零點(diǎn)后的半小時，這激烈的消息系統(tǒng)保衛(wèi)戰(zhàn)才結(jié)束。戰(zhàn)斗結(jié)束后，雖然沒有人立即說話，但所有人都不約而同的松了口氣。

所有人都知道IM PaaS這一仗，釘釘打贏了。

追著飛機(jī)換引擎

這一場勝仗的附帶成果是，釘釘從“備胎”轉(zhuǎn)正了。2019年開始，參戰(zhàn)雙11的技術(shù)人員就不再建旺旺的備份群，因?yàn)獒斸斠呀?jīng)實(shí)現(xiàn)了異地多活的高可用性和高穩(wěn)定性。除了基礎(chǔ)溝通，雙11期間，所有故障的監(jiān)控預(yù)警、故障應(yīng)急協(xié)同、應(yīng)急快反全都依賴于釘釘，大部分的故障都可以依靠釘釘?shù)膮f(xié)同系統(tǒng)自動化處理，從發(fā)現(xiàn)到處理甚至能做到秒級。

2019之后的三年，釘釘悄無聲息地逐步接管了更多的消息流量。到2021年，釘釘徹底給包括手淘、天貓、千牛等三十多款應(yīng)用換上了新的消息底座，保障了千萬賣家和數(shù)億消費(fèi)者的買賣溝通。

這一切在大眾層面都難以感知，幾乎沒有人知道過去人們在淘寶內(nèi)發(fā)消息時的底層軟件從旺旺切換成了釘釘，但這并不是用戶不夠細(xì)心，而是釘釘刻意為之。

這是一群追著飛機(jī)換引擎的人。

參與巴拿馬項目的工程師們將這個為期三年的項目，比喻成“開著飛機(jī)換引擎”，他們希望飛機(jī)上的乘客不會感到一絲顛簸，同時也讓飛機(jī)運(yùn)轉(zhuǎn)效率有更大的提升。

今年11月11日，交易系統(tǒng)順利抗住流量洪峰，釘釘?shù)腎M PaaS也成功抗住了“60.69萬條/秒”的消息峰值，陽凱松了一口氣，悄悄掏出手機(jī)點(diǎn)擊購物車，給自己一早添加好的商品結(jié)賬。

參與雙11技術(shù)作戰(zhàn)超過10年，陽凱對阿里的技術(shù)保障系統(tǒng)越來越有信心“以前零點(diǎn)過后一個小時我們都不敢分心，但現(xiàn)在扛過前五分鐘，我們就比較有信心了?！?/p>

釘釘今年要負(fù)責(zé)承接雙11的全量消息，IM PaaS團(tuán)隊此前已經(jīng)進(jìn)行了60多次壓測、容災(zāi)演練，128個預(yù)案演練，通過了集團(tuán)總共4次全鏈路壓測驗(yàn)收。

雙11是阿里的技術(shù)大考，但已經(jīng)備戰(zhàn)三年的釘釘，早已底氣十足。

釘釘?shù)摹斑M(jìn)化論”

扛住雙11前5分鐘的洪峰沒有難倒釘釘，但釘釘?shù)摹耙靶摹辈粌H如此。甚至雙11的洪峰，也并不是釘釘面對過的最大挑戰(zhàn)。

2020年初疫情爆發(fā)，短時間內(nèi)暴增的線上辦公與上課，讓釘釘消息峰值一度超過每分鐘2億條，而且這一次沒有演練，也沒有壓測。所幸，經(jīng)過雙11的實(shí)戰(zhàn)，以及阿里云緊急調(diào)度的計算資源，平穩(wěn)度過。

（疫情防控期間，在線辦公、上課成為常態(tài)）

曾經(jīng)只是雙11大戰(zhàn)中最不起眼的配角，如今不僅抗住了雙11，還一次次地扛住了后疫情時代里，一次又一次的流量洪峰。

達(dá)野說，過去釘釘還小時，最緊張的是過年發(fā)紅包時的流量峰值。但在經(jīng)歷了疫情期間三天擴(kuò)容16倍，完不成就可能被全國人民罵上熱搜的驚心動魄，作為一個億級DAU的產(chǎn)品，釘釘見過了高處的風(fēng)景，也磨練出了應(yīng)對巨大挑戰(zhàn)的責(zé)任心和能力。

“現(xiàn)在幾乎隔一段時間就會經(jīng)歷一次雙11，比如最近寒潮，釘釘?shù)牧髁糠逯稻鸵宦凤j升?！?/p>

但不管是達(dá)野，還是聚望、陽凱，乃至釘釘?shù)拿恳晃还こ處?，都已?jīng)能夠快速的應(yīng)對這些挑戰(zhàn)，不再有第一年切換時的那種壓力。

他們在歷年的“征戰(zhàn)”之中成熟，釘釘也在歷年的打磨之中成長。

2021年雙11，釘釘已經(jīng)完成了雙11阿里消息平臺全面切換，內(nèi)部協(xié)同、小二與商家、商家內(nèi)部協(xié)同、商家與消費(fèi)者的消息，一天數(shù)百億條消息在釘釘打造的統(tǒng)一消息平臺上傳遞信息，創(chuàng)造價值。但釘釘不再滿足于只作為消息工具存在，以開放平臺為使命的釘釘，渴望和阿里的電商業(yè)務(wù)緊密結(jié)合。

事實(shí)上，巴拿馬項目立項不久后，釘釘IM的產(chǎn)品團(tuán)隊也同步接下了淘寶的另外一個難題，為其在應(yīng)用層定制了一套高效的溝通工具，實(shí)現(xiàn)了以200個小二服務(wù)400萬商家的效率，而且，這套產(chǎn)品能力沉淀下來，還可以在阿里其他業(yè)務(wù)中復(fù)用。

但釘釘并不會止步于此，他們的愿景是為每一家企業(yè)打造新生產(chǎn)力工具。IM PaaS在阿里內(nèi)部的實(shí)戰(zhàn)是一次內(nèi)部實(shí)踐，未來還會有更多的“巴拿馬”打通紅海、地中?；蛘咂渌Ｓ?，幫助不同的企業(yè)完成數(shù)字化的進(jìn)階。

而且，這套支撐了阿里內(nèi)及阿里生態(tài)中100多款應(yīng)用的消息平臺，已經(jīng)演化為一套PaaS服務(wù)，向外界開放。也就是說，無論是客戶還是創(chuàng)業(yè)者，都可以即開即用獲取百萬級并發(fā)的即時通訊。陽凱說，前幾年的釘釘在技術(shù)上是一個吸收者，現(xiàn)在釘釘正在將類似IM，這些經(jīng)過雙11檢驗(yàn)的技術(shù)能力陸續(xù)開放出去，為用戶創(chuàng)造更多價值。

從PaaS層、應(yīng)用層到開放的技術(shù)平臺，釘釘?shù)墓こ處焸內(nèi)栽谔剿?，在?shù)字化浪潮里努力書寫屬于他們的故事。