▓极速赛车直播记录官网▓赔率最高,提款速度最快。极速赛车直播记录专注彩票经营10余年,信誉口碑业界驰名;在我们极速赛车直播记录聊天室玩家每天可领取现金红包!我们[极速赛车直播记录]将给您提供一个安全/稳定/秒速的彩票平台!...

【第二期】如何通過網絡遙測(Network Telemetry)技術實現精細化網絡運維?
發布時間: 2018-04-03

基于AI、大數據的互聯網應用推動了互聯網數據中心產品、技術的快速升級。

首先,接入帶寬從傳統的10Gbps升級到25Gbps/100Gbps,需要基礎網絡提供高轉發能力保障業務的高可用极速赛车直播记录。

其次,基于RDMA(Remote Direct Memory Access极速赛车直播记录,遠程直接內存訪問)無損以太網技術的普遍應用极速赛车直播记录,實現了計算節點到存儲節點的微秒級延時极速赛车直播记录,大大優化端到端的業務轉發性能,而這也意味著對網絡運維提出了更高的挑戰——如何在大規模、復雜的HPC(High Performance Computing)網絡中實現更加精細的流量可視、可控极速赛车直播记录?如何面向業務實現端到端的秒級故障定位极速赛车直播记录,并為網絡的持續優化提供精準的數據支撐?

本文將通過介紹基于交換機硬件芯片的Network Telemetry技術方案(INT+gRPC),實現整網的流量可視化极速赛车直播记录,為實現真正的可視化運維提供新的思路极速赛车直播记录。

 

網絡運維新挑戰

為了確保業務的高可靠极速赛车直播记录,基于Scale out方式實現的分布式計算和存儲應用(Hadoop/ Map reduce/HDFS)得到了大規模使用极速赛车直播记录,不僅擺脫了單服務器的計算、存儲性能的限制极速赛车直播记录,同時可提供更靈活的擴展性,能夠快速響應業務需求變化极速赛车直播记录,提高系統的可靠性、可用性和存取效率。

然而業務本身在網絡中分布是不可控的极速赛车直播记录,因此在實際網絡流量模型中不可避免會出現多對一的通信模式,即 Incast模型。下圖即典型的Incast通信模型:

 

▲ TCP Incast通信模型示意圖

 

例如,當一臺Master節點向一組Slave節點發起一個計算任務請求時,所有Slave節點幾乎會同時返回計算結果數據,對于Master節點來說就產生了一個“微突發流”极速赛车直播记录。對于合理的“微突發流”,可以依靠接入交換機設備內部的報文緩存機制解決微突發丟包問題。

目前,主流交換芯片的片上緩存比較小极速赛车直播记录,一般以Mbyte為單位。下圖是對應1G、10G和25G交換機常用芯片的緩存容量。

 

接口速率

芯片型號

緩存容量

1000Mbps

Heliex 4

4MB

10Gbps

Triden 2+

16MB

25Gbps

Trident 3

32MB

▲ 帶寬提升與緩存提升對比說明

 

從表中不難看出,網絡接口速率從1Gbps發展到25Gbps,服務器的吞吐能力增加25倍,而交換機芯片的緩存容量同比僅增加8倍,同時可用緩存時間反而下降65%(按照交換機全端口公平使用緩存為例)极速赛车直播记录。

因此极速赛车直播记录,25G網絡架構的TCP Incast現象比10G網絡更加明顯,瞬時的多打一導致出接口報文擁塞,出接口緩存用完后會基于尾部丟棄機制進行丟包,應用監測到丟包后發起TCP重傳极速赛车直播记录,造成數據端到端延時的進一步惡化,嚴重影響業務體驗。

針對網絡丟包引起的業務故障,需要網絡監控系統快速定位網絡中哪臺交換機的哪個端口因緩存不足導致了丟包。同時,重要業務端到端時延超出預期時极速赛车直播记录,也需要定位流量轉發路徑上每個節點的轉發時延。

總結起來极速赛车直播记录,需要網絡監控系統實現如下能力:

●快速定位哪臺交換機的哪個端口發生丟包;

●實時監控每臺交換機的Buffer使用情況;

●端到端時延可以定位到具體設備和鏈路极速赛车直播记录。

 

運維可視化技術實現

憑借傳統的網絡監控手段無法解決“看不見”的問題,如時延、轉發路徑、緩存和丟包。例如,由外部應用發起的請求獲取網絡狀態信息的SNMP協議,就無法實時反映網絡的狀態极速赛车直播记录。

為了解決此類難題,業界廣泛引入Network Telemetry(網絡遙測)這一理念,相比于SNMP,Telemetry實現了網絡設備主動推送狀態信息的能力,具有更強的時效性。

事實上,Telemetry并不是新發明,NetFlow和sFlow早已實現了網絡流量的采樣和推送,但NetFlow、sFlow推送的是原始的數據采樣信息,數據以IP報文格式呈現給分析工具,而非用戶期望的規范化數據模型,再優異的分析工具其擴展性能也難以承擔整個數據中心網絡的監控分析,只能在某一分析任務中發揮作用。

另一方面极速赛车直播记录,數據流量并非網絡狀態的全部,網絡設備的 CPU、內存、網絡擁塞信息、網絡事件的日志信息等也無法通過NetFlow或者sFlow實時傳遞出來。

 

gRPC(Google Remote Procedure Calls ,谷歌遠程過程調用)是Google公司開源的一個高性能、跨語言的RPC框架,使用HTTP/2協議并使用Proto Buffer作為序列化和反序列化的工具。通過在交換機中集成gRPC應用,定義靈活的數據格式以及數據推送的閾值來實現交換機自身狀態的主動推送能力,可以實現周期性推送交換機Buffer Usage、CPU、Memory等信息給監控服務器极速赛车直播记录。當發生Buffer不足導致丟包极速赛车直播记录,也會實時通知給監控服務器,實現網絡運行數據的可視化。

 

▲ gRPC交互機制

 

上圖展示了其中一種gRPC的交互機制:

●在交換機開啟gRPC功能后充當gRPC 客戶端角色极速赛车直播记录,監控服務器充當gRPC服務器角色极速赛车直播记录;

●交換機主動向監控服務器發起gRPC通道建連;

●交換機主動上報Buffer Usage、CPU、內存等信息給監控服務器,當Buffer發生丟包极速赛车直播记录,交換機會也會實時上報丟包事件給監控服務器极速赛车直播记录。

gRPC的出現很好的解決了實時數據無法有效傳給監控服務器的問題。

INT(In-band Network Telemetry)也是一種新型Telemetry協議极速赛车直播记录,由Barefoot、Arista极速赛车直播记录、Dell极速赛车直播记录、Intel和VMware共同提出极速赛车直播记录。INT的出現解決了轉發路徑和轉發時延不可見的問題极速赛车直播记录。

INT的整體處理流程如下圖所示:

 

▲  可視化網絡

 

●報文達到首節點,通過在交換機上設置的采樣方式匹配并鏡像出該報文,并在四層頭部后插入INT頭极速赛车直播记录,將報文入端口Port ID、出端口 Port ID、入端口時間、出端口時間、以及設備的DEVICE ID封裝成MetaData,將MD插入到INT頭部之后;

●報文轉發到中間節點,設備匹配到INT頭部后,在INT頭部后再插入一層MD;

●報文轉發到最后一跳,設備匹配INT頭部后,再插入一層MD,并在報文外部封裝一個IP頭(ERSPAN),外層IP為監控服務器地址,這樣INT報文便轉發到監控服務器极速赛车直播记录。

總結:針對面向HPC業務的下一代數據中心網絡,基于INT和gRPC的Network Telemetry技術可以實現業務端到端的網絡流量可視化,打破“網絡黑盒”,為精細化網絡運維提供整體的解決方案和必要的技術支撐极速赛车直播记录。

銳捷網絡新一代25G/100G網絡交換機產品均已實現Network Telemetry能力(gRPC和INT),如果您對網絡遙測感興趣,歡迎留言交流。

 

本文作者:陳冬林

銳捷網絡互聯網系統部行業咨詢

 

往期精彩回顧

【第一期】淺談物聯網技術之通信協議的紛爭

极速赛车直播记录 极速赛车直播记录最新官网 极速赛车彩票注册链接 极速赛车直播记录最新网址 极速赛车开奖结果预测最新官网 极速赛车计划注册链接 极速赛车直播记录最新网址 极速赛车计划网址 极速赛车彩票线路导航 极速赛车直播记录注册平台 极速赛车网址 极速赛车计划线路导航 极速赛车直播记录注册链接 极速赛车直播记录网址 极速赛车彩票最新网址 极速赛车计划线路导航 极速赛车彩票最新网址 极速赛车直播记录注册平台 极速赛车最新官网 极速赛车计划线路导航 极速赛车计划平台注册