北京2016年10月12日電 /美通社/ -- 七牛云于6 月底發布了一個針對視頻直播的實時流網絡LiveNet 和完整的直播云解決方案，很多開發者對這個網絡和解決方案的細節和使用場景非常感興趣。
七牛結合實時流網絡 LiveNet 和直播云解決方案的實踐，用八篇文章，更系統化地介紹當下大熱的視頻直播各環節的關鍵技術，幫助視頻直播創業者們更全面、深入地了解視頻直播技術，更好地技術選型。
本篇是《視頻直播技術詳解》系列的最后一篇。直播云SDK 性能測試模型，SDK 的性能對最終App 的影響非常大。SDK 版本迭代快速，每次發布前都要進行系統的測試，測試要有比較一致的行為，要有性能模型作為理論基礎，對SDK 的性能做量化評估。本文就是來探討影響SDK 性能的指標并建立相應的性能模型的。
影響視頻質量和大小的重要參數
在進行測試之前需要明確幾個對視頻的質量和大小影響最大的參數：幀率、碼率和分辨率。
1）如何制定幀率
一幀就是一副靜止的畫面，連續的幀就形成動畫，如電視圖象等。所謂幀數，簡單地說，就是在1 秒鐘時間里傳輸的圖片的數，也可以理解為圖形處理器每秒鐘能夠刷新幾次，通常用fps（Frames Per Second）表示。每一幀都是靜止的圖象，快速連續地顯示幀便形成了運動的假象。高的幀率可以得到更流暢、更逼真的動畫。每秒鐘幀數(fps) 愈多，所顯示的動作就會愈流暢。
2）如何制定碼率
首先看視頻編碼的目的，是為了在有限的帶寬中傳輸盡可能清晰的視頻。以每秒25 幀的圖像舉例，25 幀圖像中定義了GOP 組，目前主要是有I、B、P 幀三種幀格式。I 幀是關鍵幀，可以想象它就是一幅JPEG 壓縮圖像；B、P 幀是依靠I 幀存在的，如果丟失了I 幀，B、P 幀是看不到圖像的。B、P 幀描述的不是實際的圖像像素內容，而是每個相關像素的變化量，他們相對于I 幀信息量會很小。GOP 組是指一個關鍵幀I幀所在的組的長度，每個GOP 組只有1 個I 幀。
一組畫面的碼流大小跟什么有關？當視頻編碼的壓縮方式都一樣，清晰度要求都一樣的時候，GOP 組的長度格式決定了碼流的大小，例如：每秒25 幀畫面，GOP 組長度為5，那么幀格式為IBPBP，那么1 秒鐘有5 個I 幀、10 個B 幀、10 個P 幀；如果GOP 組長度為15，幀格式就是IBBPBBPBBPBBPBB，那么1 秒鐘內會有2 個I 幀和16 個B 幀和7 個P 幀，那么5 個I 幀比2 個I 幀占用的數據信息量大，所以GOP 組的長度格式也決定了碼流的大小。
3）如何指定分辨率
分辨率概念視頻分辨率是指視頻成像產品所成圖像的大小或尺寸。常見的視像分辨率有640×480、1088×720、1920×1088。在成像的兩組數字中，前者為圖片長度，后者為圖片的寬度，兩者相乘得出的是圖片的像素。
影響SDK 性能的指標
有了上述的前置知識，可以開始準備測試SDK 的性能了，首先分析一下都有哪些指標可以反映SDK 的性能，分成Android 和iOS 兩個平臺：
AndroidGC ：可以通過GC 日志記錄、Mirror GC 和Full GC 的頻次和時間，Full GC 會造成比較明顯的卡頓，需要評估UI Loop 就是VSync Loop ：反映SDK 對App 流暢度的影響，理論上60 fps 是最流暢的值Memory ：反映SDK 占用內存的大小CPU Usage ：反映SDK 占用計算資源的大小
iOSUI Loop ：反映SDK 對App 流暢度的影響，理論上60 fps 是最流暢的值Memory ：反映SDK 占用內存的大小CPU Usage ：反映SDK 占用計算資源的大小
除了上面的一些系統級別的指標外，下面是直播SDK 中特有的一些指標，這些指標可以反映出SDK 的核心競爭力和一些主要的差異，涉及到視頻的清晰度和流暢度，也是可以量化的。
1）影響視頻清晰度的指標
幀率碼率分辨率量化參數（壓縮比）
2）影響視頻流暢度的指標
碼率幀率
3）其他重要指標
直播是流量和性能的消耗大戶，有一些指標，直接影響了用戶的感受，也是我們需要重點關注的：
耗電量發熱（不好量化，大部分情況發熱和耗電量正比，可以使用耗電量暫時替代）
測試計劃
測試過程需要先固化一些測試條件，然后根據不同的測試條件得出測試結果，這里選擇了兩個現在最常見的條件，是七牛云通過回訪大量的客戶得出的一些統計數字，可以反映大部分直播應用所處的場景。主要從分辨率、視頻處理、碼率和網絡環境幾個維度進行限制。
最后分為幾個兩種測試指標：客觀和主觀指標，前者反映了SDK 對系統的消耗程度，但雖說是客觀指標并不是說對用戶沒有影響、只是說得出的結果用戶感受不明顯。主觀指標則會直接影響最終用戶體驗，但在傳統的測試中反而容易被忽略，因為不好量化，這里拍磚引玉的提出一些量化的方式，希望引起讀者的思考。
測試條件A
分辨率480p無水印，無美顏碼率1 M網絡保證在0.5 M ~ 2 M
這個條件，反映了大部分低速網絡情況下的使用場景，也反映了SDK 基本的性能情況，可以作為SDK 基本推流和拉流情況下的基準測試，不引入太多的測試依賴。
測試條件B分辨率720p無水印，有美顏碼率1 M網絡保證在0.5 M ~ 2 M
這個條件，反映了大部分客戶的使用場景，具有較高的分辨率和美顏視頻處理，可以作為SDK 競品分析的重要依據，測試結果非常接近真實場景。
1）客觀指標測試計劃
客觀影響App 穩定性和性能的指標：
Memory測試10 分鐘，內存曲線測試1 小時，TP99，TP95，TP90，需要歸檔測試1 小時，內存增量，考察是否有內存泄露，需要歸檔參考值：上次結果
CPU測試10 分鐘，CPU Usage 曲線測試10 分鐘，TP99，TP95，TP90，需要歸檔參考值：上次結果
碼率測試10 分鐘，TP99，TP95，TP90，重點說明，這里的碼率控制需要分開來看，如果網絡抖動造成碼率降低，這樣的點不計入進來，只測試SDK 碼率控制，需要歸檔參考值：1 M（大小都是偏差）耗電量測試一小時，記錄進程總耗電量、屏幕顯示耗電量、CPU 耗電量，需要歸檔參考值：上次結果
2）主觀指標測試計劃
主觀影響App 使用者的指標：
UI Loop App 本身可以達到的最大幀率，不同于視頻幀率，統計他的原因是我們的SDK 可能會影響整個App 的流暢度，需要跟蹤測試10 分鐘，UI Loop 曲線測試10 分鐘，UI Loop TP99，TP95，TP90，需要歸檔反復比較參考值：60 fps
Android GC測試1 小時，記錄Mirror GC 和Full GC 的頻次，記錄GC 時長的TP99，TP95，TP90，需要歸檔反復比較參考值：上次結果幀率（fps）測試10 分鐘，TP99，TP95，TP90，需要歸檔反復比較參考值：30 fps
PSNR 比較視頻清晰度的指標測試10 分鐘，需要歸檔反復比較，這個指標可以使用固定視頻作為輸入參考值：上次結果
3）結果顯示
表格顯示具體指標曲線顯示原始數據和時間軸的數據熱圖顯示和參考值的偏差熱圖顯示距離上次歸檔值是改善了還是惡化了
通過這種反復迭代的自動化的、系統化的測試，七牛云以職人之心近乎偏執地反復打磨著SDK 的性能，只為給最終用戶帶來最好的直播體驗，幫助客戶通過次時代的媒體最大化自己的商業價值。
