數據中心光互聯技術發展及400G光模塊測試

一、數據中心的網絡結構

??隨著云計算和大數據的普遍應用，數據中心作為云計算的核心基礎設置，其計算能力和內部數據交換能力也呈現出指數級的發展。

??對于數據中心來說，其內部服務器以及交換機間普遍采用光模塊或AOC電纜進行互聯?，F代新一代的數據中心為了應對數據流量的增長以及兼顧更靈活的擴容升級和冗余備份能力，普遍開始采用以Facebook公司倡導的Spine-Leaf的網絡架構，數據中心內部的數據交換和吞吐能力更強，同時網絡結構也更加扁平化和密集。

??因此，現代大規模數據中心對于光模塊的需求量及光纖資源的需求量非常大，光互聯的成本占了網絡成本的很大比例，如何選擇合適的技術同時兼顧技術發展和建設及運維成本是巨大的挑戰。

從技術需求來說，數據中心的光模塊選擇主要考慮的是傳輸距離、速率、密度和功耗。

??從傳輸距離來說，其應用場景主要分為以下幾個方面：

??<20m，主要用于機柜內部的服務器和TOR交換機互聯，目前數據速率以10G、25G為主，正在向50G或100G過渡。實現方式以DAC(直接連接的銅線電纜)或AOC(有源光纜)電纜為主。

??<500m，主要用于數據中心同一機房內Leaf到Spine交換機的互聯。目前數據速率以40G、100G為主，正在向400G過渡。其中100m以下的短距離主要以850nm的多模(MM)光纖為主;100m～500m距離多采用1310nm波長的單模(SM)光纖，出于成本考慮主要采用并行單模(PSM)技術。

??<10km，主要用于數據中心樓宇間交換機或路由器的互聯。目前數據速率以100G為主，正在向400G過渡。這個距離上光纖的成本占比已經較大，因此多采用波分復用技術在單根光纖上傳輸更多路信號，以1310nm波長的粗波分復用(CWDM)技術為主，部分短距離(500m~2km)場合仍可以使用PSM技術。

??>10km，主要用于多個數據中心間的互聯(DCI)。目前實現方式以100G+DWDM(密集波分復用為主)，未來80km以上主要采用400G相干通信+DWDM，80km以下也有采用PAM4+DWDM的實現方式。傳輸波長以1550nm波長為主，通過DWDM方式在單根光纖上實現40～80個波長的復用來達到4T～32T的傳輸速率。部分短距離(10km~40km)、速率要求不高的場合仍可以使用1550nm波長的CWDM技術。

??二、400G光模塊的分類

??光模塊是實現數據中心內部光網絡互聯的關鍵硬件設備，隨著端口數和密度的提升，光模塊的成本會占到數據中心光網絡成本的接近一半。目前各大互聯網公司新建的數據中心已經普遍采用100G的互聯技術，并會在未來2～3年內大規模商用400G的互聯技術。因此，400G光模塊的實現技術成為業界關注的重點。

?? 從光波長上區分，400G光模塊可以分為多模(MM)、單模(SM);從信號調制方式上，分為NRZ和PAM4調制(目前以PAM4為主);從傳輸距離上區分，400G光模塊可以分為SR、DR、FR、LR;從封裝形式上，400G光模塊可以分為CDFP、CFP8、OSFP、QSFP-DD等。下圖是400G光模塊的技術分類。

早期的400G光模塊使用的是16路*25Gbps NRZ的實現方式(如400G-SR16)，采用CDFP或CFP8的封裝。其優點是可以借用在100G光模塊上成熟的25G NRZ技術，但缺點是需要16路信號進行并行傳輸，功耗和體積都比較大，不太適合數據中心的應用。

??目前的400G光模塊中，在光口側主要是使用8路*53Gbps PAM4(400G-SR8,FR8,LR8)或者4路*106Gbps PAM4(400G-DR4,FR4,LR4)實現400G的信號傳輸，在電口側使用8路*53Gbps PAM4電信號，采用OSFP或QSFP-DD的封裝形式。OSFP和QSFP-DD封裝都可以提供8路電信號接口。相比較來說，QSFP-DD封裝尺寸更小(和傳統100G光模塊的QSFP28封裝類似)，更適合數據中心應用;OSFP封裝尺寸稍大一些，由于可以提供更多的功耗，所以更適合電信應用。

??下圖分別是400G-FR8/LR8以及400G-FR4的實現方式(Reference:OSFP MSA Specification for OSFP OCTAL SMALL FORM FACTOR PLUGGABLE MODULE)?？梢钥吹?，其電口側都是8路53Gbps PAM4信號。

??光口側情況稍微復雜一些，對于400G-SR8/FR8/LR8等模塊來說，光模塊內部只是做CDR(時鐘恢復)以及電/光或光/電轉換，因此光口側與電口測一樣，也是8路53Gbps PAM4信號;對于400G-DR4/FR4/LR4等模塊來說，光模塊內部還有Gearbox(變速箱)芯片把兩路電口輸入復用成一路信號再調制到光上，因此光口側的速率是電口側速率的2倍，即4路106Gbps PAM4信號。

另外，由于多模光纖在短距離傳輸上的成本優勢，所以IEEE也在2018年3月份成立了802.3cm工作組，把之前在業界討論的用8路(SR8)甚至4路(SR4.2)多模光纖實現400G傳輸的技術納入規范討論中。

??從未來來說，出于成本的考慮，用4路光信號實現400G傳輸的方式可能會成為主流;同時光模塊的電接口也可能會逐漸升級到4路*106Gbps PAM4的形式，以省去Gearbox芯片從而節省功耗和成本。在超遠距離(>80km)傳輸上，以OIF組織正在制定的400G-ZR規范為例，會采用相干通信+DWDM方式實現。

??三、400G光模塊主要測試項目

??從前一章的介紹可以看到，400G的光模塊普遍采用了PAM4(4-level Pulse Amplitude Modulation：4電平脈沖幅度調制)的信號調制技術，即采用4個不同的信號電平來進行信號傳輸，每個符號周期可以表示2個bit的邏輯信息(0、1、2、3)。

??因此，要實現同樣的信號傳輸能力，PAM4信號的符號速率只需要達到NRZ信號的一半即可，傳輸通道對其造成的損耗大大減小，但付出的代價是信噪比會比NRZ信號惡化很多，測量方法也會有比較大的差異。下圖是典型的NRZ信號的波形、眼圖與PAM4信號的對比。

對于400G光模塊來說，其主要的高速接口包含電輸入接口、光輸出接口、光輸入接口、電輸出接口，以及其它的電源和低速管理接口。

??因此，對于400G光模塊的電氣性能驗證來說，其主要測試項目分為光口發射機指標、光口接收機容限、電口發射機指標、電口接收機容限、系統測試。

??3.1 發射機測試

??光發射機、電發射機電氣特性測試環境如下。

發射機的測量項目又分為光發射機的測量項目和電發射機的測量項目，主要用于驗證光口及電口輸出信號的質量。

??3.1.1 光發射機測試方法

??主要用于驗證被測光模塊發出光信號的質量。測試方法如下：被測光模塊插在MCB夾具上，上電并配置正常工作;誤碼儀產生PAM4電激勵信號送給光模塊一路電輸入端，使得被測光模塊輸出SSPRQ的光信號，模塊的相鄰電通道上輸入PAM4的串擾信號。輸出光信號經時鐘恢復進采樣示波器進行光發射機參數測試。更換其它通道依次測量所有通道光發射機指標。

??TDECQ (Transmitter and dispersion eye closure for PAM4)即發射機色散眼圖閉合代價，是衡量光發射機經過一個典型的光通道后PAM4信號功率裕量的損失。正常用于光信號傳輸的激光器都有一定的譜線寬度，經過一段距離傳輸后，色散效應就會造成信號中不同波長成分的傳輸時延的變化。這些不同傳輸時延的信號在接收端疊加在一起就會造成信號質量的惡化，從而導致接收端的靈敏度下降。

??在10G以太網IEEE 802.3ae標準里，這個指標定義為TDP (Transmitter and Dispersion Penalty) ;在100G以太網IEEE 802.3bm標準里，這個指標定義為TDEC(Transmitter and Dispersion Eye Closure) ;而在針對200G/400G以太網IEEE 802.3bs標準里，這個指標就是TDECQ(Transmitter and dispersion eye closure for PAM4)。

??TDECQ通常用dB表示，對于PAM4信號來說，TDECQ值越小，表示這個信號相對于理想信號的功率裕量損失越小，或者說能在光纖里傳輸更遠的距離。根據802.3bs里的定義，TDECQ的參考測試方法如下圖所示：

在測試中，被測件產生SSPRQ碼型的光信號，然后經過測試光纖進行傳輸。被測信號經光纖傳輸后進入測量用的采樣示波器，采樣示波器一方面通過符合規范的CRU(Clock Data Recovery)電路進行時鐘恢復，另一方面把被測光信號經過參考濾波器后進行采樣。采樣后的波形要進行5階FFE的信號均衡，然后以CRU恢復時鐘為基準形成PAM4信號眼圖。

??眼圖形成以后，再根據信號眼圖的光調制幅度(OMA)、信號幅度噪聲(R)、以及和誤碼率要求對應的外推系數(Qt)根據公式計算TDECQ的值。

??下圖是在采樣示波器里對均衡后光信號的參數進行OMA、ER、TDECQ等參數測試的例子。我們可以看到，盡管很多測量參數的定義非常繁瑣，但基于示波器里的PAM4測量選件，使用者不需要繁瑣的操作，就可以快速得到需要的測量結果。

3.1.2 電發射機測試方法

??主要用于驗證被測光模塊電口輸出的質量。測試方法如下：被測光模塊插在MCB夾具上，上電并配置正常工作;誤碼儀產生PAM4電激勵信號送給光模塊一路電輸入端，光模塊相鄰電通道上輸入PAM4的串擾信號。輸出光信號環回到光接收機，并測試其電通道輸出的PRBS13Q信號參數。

??眼高(Eye Height)和眼寬(Eye Width)是400G光模塊電信號質量測試的重要參數。在IEEE 802.3bs規范中，定義眼圖測試時使用PRBS13Q的PAM4碼型。被測點輸出的信號經過參考均衡器和時鐘恢復后疊加形成眼圖。因此，合適帶寬的示波器、正確的均衡器以及可靠的時鐘恢復對于PAM4信號的眼圖測試至關重要。而對于Module輸出端的測試來說，還需要模擬出信號經過Host內部走線損耗對于信號的影響，所以測試中示波器還需要在捕獲到的信號上疊加上約6.4dB的傳輸通道損耗。

??由于PAM4信號會形成3層眼圖，所以對每層眼圖要分別測量。在IEEE 802.3bs規范里，定義以中間層眼圖的中心位置為參考點計算眼高和眼寬。在測試過程中要更換不同的均衡器的值，并根據信號的噪聲和抖動概率分布來計算等效的眼高和眼寬，這是一個非常復雜的計算過程，這里不做具體論述。

3.2 接收機及誤碼率測試

??發射機的測試項目主要用于保證光模塊的光口和電口輸出信號的質量。嚴格來說，還需要驗證光模塊的光口和電口接收信號的能力。

??光模塊接收到的光信號通常經過很長距離的光纖傳輸，接收到的光信號上可能疊加了各種抖動和噪聲，所以光接收機測試可以用于驗證被測光模塊對于惡劣光信號的容忍能力。

??同時，光模塊需要從電口接收交換機或服務器發送過來的電信號并轉成光信號發出去。由于電信號經PCB、連接器傳輸會產生較大的損耗和發射，所以電接收機測試項目可以驗證被測光模塊對于惡劣電信號的容忍能力。

??3.2.1 光接收機測試方法

??IEEE 802.3bs規范中對于光接收機的壓力容限測試方法描述如下：通過參考的PAM4信號源與抖動、噪聲、碼間干擾注入源，以及參考的光發射機產生所需的光壓力信號。

??對光壓力信號由外圍消光比OER，外光調制幅度OOMA和壓力眼圖閉合代價SECQ來表征。PAM4光壓力信號首先由一個參考光接收機進行校準，以確保其參數符合規范要求。這個接收機包含符合規范要求的理想4階貝塞爾-湯姆遜低通濾波器，規范要求的FIR均衡器以及時鐘恢復功能。

??校準后的光壓力信號輸入被測接收機的一個通道，被測接收機其余通道輸入正常通信的光信號。最后由被測光模塊環回電信號到誤碼儀的誤碼檢測口，或通過接收機內部的誤碼統計功能進行誤碼和壓力靈敏度等測試。下圖是400G-DR4光模塊的光壓力眼圖測試框圖，以及各部分對應的測試儀表。

3.2.2 電接收機測試方法

??IEEE 802.3bs規范中對于光模塊的電輸入口的壓力容限測試方法描述如下：通過參考電發射機(通常是碼型發生器)以及抖動注入源、碼間干擾源和串擾源，將壓力電信號輸入MCB夾具。之后將參考接收機(通常是示波器)通過HCB夾具與MCB夾具連接在一起，對壓力電信號進行校準。

??參考接收機包含符合規范要求的理想4階貝塞爾-湯姆遜濾波器，規范要求的CTLE均衡器以及時鐘恢復功能。PAM4電壓力信號由眼圖對稱模板寬度ESMW，眼寬EW，眼高EH和附加正弦抖動SJ的頻率和幅度來表征。經過校準的電壓力信號接入被測模塊電輸入口被測通道，并由模塊內的FEC誤碼檢測功能進行誤碼與接收容限測試，或將信號環回輸出至外部的誤碼分析儀進行分析。

下圖是測試中用到的實際測試儀器。

3.3 系統測試

??系統測試的主要目的是驗證被測光模塊配合交換機工作時，在真實的業務流量情況下的誤碼率以及錯誤容忍能力。400G的光模塊普遍采用了PAM4(4電平調制)技術，雖然減少了高速信號傳輸需要的帶寬，但由于信噪比的惡化，使得其原始誤碼率很難達到傳統2電平調制時1e-12的水平，所以其原始誤碼率的要求比較低，比如IEEE 802.3bs中對于光口誤碼率的要求僅僅為2.4e-4。

??很多通信過程在這么高的誤碼率情況下是無法正常工作的，所以FEC(前向糾錯)技術被普遍采用。FEC是通過在數據塊里插入一些冗余的校驗bit，可以對隨機產生的錯誤bit進行修正，從而保證最終數據包的丟包率在可以接受的范圍之內(<6.2e-11)。

??因此，系統測試中需要對光模塊的原始誤碼率以及經過FEC修正后的丟包率都進行測試，并驗證在出現已定隨機錯誤符號或者頻率偏差時系統性能是否受到影響。典型的系統測試環境如下：

其測試方法如下：在數據流量測試儀上發送64字節長度連續數據幀，FEC修正前的BER值應小于2.4e-4;在流量測試儀上運行以太網流量測試軟件，并發送64字節長度、100%線速率的數據幀，累積至少1e+12個數據幀后，讀取端口的Frame Loss Ratio值應小于6.2e-11;在流量測試儀上進行FEC后單個或多個(<15個)的誤碼注入，并驗證經FEC后的誤包率滿足802.3bs的規范要求;在流量測試儀上對速率進行100ppm的調整，并驗證誤碼率和誤包率滿足802.3bs的規范要求。

??下圖是進行FEC修正前的誤碼率及FEC修正后的丟包率測試的例子。

四、測試儀器

??4.1 高性能采樣示波器(光/電眼圖儀)及時鐘恢復

??高速采樣示波器主要用于光發射機的光眼圖測試、光模塊以及AOC的電眼圖測試等，也可以用于未來電接收機以及光接收機容限測試中的信號校準。眼圖儀的測試需要和信號同步的工作時鐘，當被測件無法提供同步參考時鐘時，需要光/電時鐘恢復模塊從被測件恢復時鐘才能進行測試。

Keysight N1000A系列是在原86100D基礎之上再續經典的采樣示波器系列，它可向下兼容原有86100D平臺上的模塊，與高帶寬并內置CDR, PTB功能的N1060A模塊組合使用是研發階段的調試利器。N1092系列光/電采樣示波器和N1077A/N1078A光/電時鐘恢復模塊是市面上集成度最高、功能最靈活的高速光/電眼圖測試儀器。其主要指標及特性如下：

??單模/多模光口測試：工作波長范圍830 至 1600 nm

??光通道速率：支持25G/28Gbps NRZ、53G/56Gbps PAM4、106G/112Gbps PAM4光信號測試

??靈敏度：-11dbm @850nm;-12.5dbm@1310nm

??差分電口測試：集成差分50GHz帶寬電口，支持32Gbps NRZ和64Gbps PAM4的電眼圖測試

??固有抖動：≤200fs rms

??時鐘恢復：支持32Gbps NRZ和64Gbps PAM4的光/電時鐘恢復

??多通道擴展：通過電腦USB口控制，可連接多個模塊;測試軟件支持最多8個測量模塊、共32個光或電通道的并行眼圖測試。

??軟件功能強大：支持100GE 802.3 發射機各種參數的測試，包括抖動TJ, DJ, RJ, PJ, DDJ, ISI, BUJ, J1~J9, UJ, F/2, TI, DI, RI, OMA, Q值及 RIN, RIN&OMA 等測試，還包括802.3bm標準中對多模信號的TDEC測試，以及400G PAM4 信號波形參數的測試以及TDECQ測試等。

??和Keysight 誤碼儀以及其他光學儀表配合，可以測試100G或400G光接收機的壓力容限，是業界唯一可以提供所有壓力容限測試方案的廠家，保證了未來測試系統的平滑升級。

??4.2 高速PAM4誤碼儀

??高速誤碼儀主要用于光發射機(光眼圖)測試中產生高質量的電信號激勵以及誤碼率測試，也可以用于電接收機以及光接收機容限測試中產生帶抖動和壓力的電信號驗證接收容限。如果僅僅進行光眼圖或電眼圖測試，可以用經過驗證的高質量的流量測試儀產生電信號激勵。

Keysight M8040A誤碼儀是市面上性能最高、最靈活、連接最簡單的NRZ及PAM4誤碼儀，其主要特性和指標如下：

??高速電信號產生：單機箱內可以產生1～2路32Gbps的NRZ信號產生，可以升級64Gbps的PAM4信號或128Gbps的PAM4信號功能用于400G模塊測試。

??高速電信號誤碼檢測：單機箱內可以支持1～2路32Gbps的NRZ信號誤碼率檢測，可以升級64Gbps的PAM4信號或128Gbps的PAM4誤碼率檢測功能用于400G模塊測試。

??光壓力眼測試：可以升級100G、400G光模塊的光壓力眼測試及自動校準功能。

??預加重：可選內置4階NRZ/PAM4信號預加重。

??抖動注入：可選內置NRZ/PAM4信號的PJ、RJ、BUJ等抖動注入

??線性度調整：對PAM4信號3個眼高可獨立調整。

??接收機均衡：內置可調CTLE均衡器，用于優化誤碼接收。

??自動抖動容限測試：可根據事先設定參數自動調整注入到信號上的抖動頻率和大小，并根據誤碼率變化自動掃描出抖動容限曲線。

??PRBS碼類型：2n-1, n=7, 10, 11, 13, 15, 23, 31等。

??自定義碼型長度(每通道)：2Gbit(NRZ)或1G 符號(PAM4) 。

??4.3 數據流量測試儀

Keysight公司的數據測試儀表通過測試儀機框插入測試業務板卡的方式完成組裝，并根據插入的不同測試業務板卡提供不同的測試能力。

??Novus測試業務板卡提供QSFP28接口，K400測試業務卡提供QSFP_DD測試接口。

??QSFP28測試業務板卡支持根據IEEE協議，提供扇出(即FAN-OUT) 能力，每個QSFP28接口支持扇出成4個25GE速率SFP28接口，相關協議標準為IEEE 802.3 100GBASE-R、IEEE P802.3bj、IEEE P802.3bm、IEEE P802.3by。

??K400測試業務板卡支持400G、200G、100G PAM4速率轉換?；赒SFP_DD支持前向糾錯(FEC)端口統計，具體的包括: Total Bit Errors, Max Symbol Errors, Corrected Codewords, Total Codewords, Uncorrectable Codewords, Frame Loss Ratio, Pre-FEC Bit Error Rate, and Codeword error distribution analysis;協議以為KP4 RS-544。

??支持對400G前向糾錯(FEC)注入差錯。

??支持L1 BERT測試。

??五、總結

??綜上可見，數據中心的光互聯網絡正面臨從100G到400G的過渡，針對不同應用場景的技術也在彼此競爭。400G光模塊作為未來數據中心內部光網絡互聯的關鍵硬件設備，也面臨速率、功耗、體積、成本等方面的挑戰。同時，PAM4、FEC技術的廣泛采用也使得400G光模塊的測試和評估方法與傳統的100G光模塊有比較大的區別。為了保證其在有限成本和功耗下的性能，需要對其光口、電口的輸出質量、接收容限，以及承載真實業務數據下的誤碼率等表現進行詳細的測試，以保證設備間良好的互聯互通及可靠數據傳輸。