Aspera速鉑高性能海量數據傳輸解決方案
來源:中廣互聯 作者:cofee 編輯:數字音視工程 2010-08-04 00:00:00 加入收藏 咨詢

所在單位: | * |
姓名: | * |
手機: | * |
職位: | |
郵箱: | * |
其他聯系方式: | |
咨詢內容: | |
驗證碼: |
|
概述
Aspera速鉑的核心技術faspTM是一種全新的軟件技術。它徹底克服了傳統數據傳輸軟件例如FTP, HTTP以及Windows CIFS中的固有瓶頸,實現了在各種共享和私有網絡環境中傳輸速度的最大化。這種技術可以獲得完美的傳輸效率,不為網絡延遲和丟包所限制。并且,用戶享有對傳輸速度以及不同傳輸流之間帶寬共享的無以倫比的控制。不管網絡距離和動態性能如何,即便是在最困難的網絡條件下(例如衛星,無線和洲際遠程鏈接),文件傳輸時間仍然可以得到保障。FASP具有內置的,完整的安全性,包括連接節點安全驗證,傳輸中數據加密以及數據完整性驗證。
高速文件傳輸的挑戰
和傳統的基于磁帶的郵件遞送相比,通過數字化網絡傳輸來實現海量數據的遞送具有經濟高效的特點。在理想情況下,數據文件可以通過現有應用程序例如FTP文件傳輸,HTTP網上遞送以及Windows CIFS拷貝實現在全世界IP網絡間快速經濟的傳輸。但是在實際網絡中,傳統的手段無一不陷入速度的瓶頸中,以至于無法利用已有網絡帶寬的一小部分。這是由于這些應用都基于同一種協議—傳輸控制協議(TCP)。
TCP有一個根本的速度瓶頸,這個瓶頸隨著傳輸延遲和網絡丟包率的增加而變得愈發明顯。速度瓶頸的形成和TCP控制數據流量速率的機制密切相關。TCP發送端需要得到數據接收端收到每個數據包的確認消息才向網絡中注入新的數據。但是由此產生的傳輸速率的增加卻隨傳輸延遲的增加而減小。當遇到丟包時,TCP簡單的認為所有丟包都是因為網絡擁塞造成的,而無法區分擁塞造成的丟包和信道本身差錯造成的丟包。在這種情況下,TCP就會迅速的減低自身的傳輸速率。簡而言之,TCP的傳輸速率在丟包時下降過多,而在正常情況時增加又太過緩慢,以至在高速廣域網上無法充分利用已有帶寬。對于所有基于TCP之上的應用而言,它們無一不受以下幾個方面的限制:
速率緩慢以及帶寬利用率低下
基于TCP的文件傳輸帶寬利用率極低。在局域和校園網這些延遲和丟包率都較小的環境中(10微秒/0.1%),TCP在千兆網上的最大吞吐率僅為50兆位/秒。當在廣域網上傳輸時,這個問題變得更加突出。在典型的洲際網絡或衛星鏈接上,傳輸吞吐率可能僅為已有帶寬的百分之0.1到1。
傳輸速率不穩定
如前所述,TCP采用一種基于丟包的速率控制機制。其依賴于丟包來實現減速,而在其他時候線性加速。當信道本身沒有丟包時,TCP只有短暫超出網絡帶寬以至產生丟包的情況下才能減速。這樣的設計決定了即使在最理想的情況下,TCP也只能在最優速率上下震蕩。當網絡加載負荷變化時,TCP的傳輸速率也隨之劇烈震蕩。
缺少安全性和可監控性
除了被TCP緩慢和不穩定的傳輸速率所限制以外,傳統的文件傳輸應用往往不具備現代商業所必需的安全性和可管理性。FTP沒有內置的安全機制,往往需要額外的機制來確保內容不被竊取和篡改。而且有關性能和傳輸的統計數據也常常無法得到。這對管理傳輸進程極為不利。
速鉑FASP解決方案
速鉑的文件傳輸產品線完全基于fasp高速傳輸協議。fasp是一種全新的應用層協議,特別為企業關鍵型文件傳輸所設計,可以滿足其所需的高速度,可預測性和百分之百的安全可靠性。fasp出眾的性能對所有的網絡傳輸媒體皆適用。
高速可靠
和TCP吞吐率的特性相比,fasp的傳輸速率完全不受網絡延遲的影響,并且對網絡丟包也有很好的魯棒性。如圖1所示,在OC-3(155Mbps)網絡鏈接上,fasp實現了傳輸速率的最大化,在某些情況下可以比TCP快千倍。而TCP的傳輸速率性能隨網絡延遲的增加和丟包率的增大而迅速減小。在典型的洲際網絡或衛星鏈接上,TCP的傳輸吞吐率可能僅為已有帶寬的百分之0.1到1。fasp的傳輸速率具有可預測性。在10%的丟包情況下,fasp的吞吐率可以達到網絡鏈接帶寬的90%。在極端情況下,fasp的吞吐率僅為終端系統的吞吐能力(通常是磁盤吞吐能力)所限制。
fasp是在用戶數據報協議(UDP)之上開發的應用層協議。和那些基于并行TCP的應用不同,fasp在單個數據流上實現了速度最大化。借助于革新性的文件流線化技術,fasp的傳輸速率在分發大批小文件時同樣可以得到保障。例如在從美國到新西蘭的OC-3鏈接上傳輸一千個2MB的小文件,傳輸速率同樣可以接近155Mbps(圖2)。所以fasp實現了在高速廣域網上傳輸海量數據(和文件大小無關)的傳輸速率最大化。相反,并行TCP技術往往在有丟包的環境下無法實現速率最大化,在傳輸大量小文件時速率也不穩定,而且需要耗費大量系統資源。
作為一種數據傳輸協議,fasp具有應用層傳輸的完全可靠性。fasp的可靠性設計是基于一種負反饋的機制:接收端檢測到丟包并把需要重傳的信息反饋給發送端。通過理論優化,fasp的重傳機制只針對真正的丟包,沒有冗余傳輸和帶寬浪費。其重傳效率接近百分之一百。
自適應速率控制
在理論上fasp沒有速率上限,可以完全利用任意速度網絡的帶寬。fasp采用和TCP完全不同的速率控制機制,從而實現帶寬利用的最大化以及和已有TCP數據流公平分享帶寬。
有效而公平的自動速率控制
和TCP不同,fasp的速率控制是基于網絡中的排隊延遲。當網絡沒有負荷(檢測不到排隊延遲或排隊延遲很小)時,fasp可以迅速提速以充分利用帶寬。當網絡擁塞時,fasp可以迅速減速以獲得應有的帶寬。fasp的這套速率控制機制還具有帶寬共享的公平性。當已有TCP數據流不能充分利用鏈路帶寬時(圖3),fasp可以自動提速占據余下的帶寬。當鏈路因為有多個數據流存在而變得擁擠時(圖4),fasp數據流可以實現和TCP數據流等量公平共享鏈路帶寬。
響應終端速度瓶頸
在超高速網絡環境例如千兆網中,速度瓶頸往往不在網絡鏈路本身而在終端系統,尤其是存儲設備的吞吐能力。fasp自適應速率控制不僅可以自動發現現有的網絡帶寬,而且也能對存儲設備動態吞吐率的作出理想的響應。當存儲設備成為瓶頸時,fasp可以自動減速以避免其超速運轉所造成的丟包。當檢測到存儲設備不再繁忙時,fasp自動提速以充分利用其數據吞吐能力。
可靈活設置的帶寬策略
用戶可以對每個fasp數據流獲取帶寬的能力進行設置。除了和其他數據流對等共享帶寬外,fasp還支持其他帶寬共享機制。比如用戶可以選定用固定速率傳輸,從而使傳輸速率不受網絡負荷的變化而變化。此外,用戶還可以選定后臺傳輸模式,以便在檢測到TCP數據流后減到最低速。
完整的安全機制
fasp提供完整的內置安全機制。fasp的安全模式完全基于開放標準的密碼體系,包括了:1)通過標準安全外殼(SSH)對傳輸終端進行驗證;2)對傳輸中數據加以128位強密碼(AES-128)加密;3)對每個數據塊進行完整性驗證以抵御象中間人以及匿名UDP之類的惡意攻擊。在不同系統間進行fasp傳輸不會改變文件本身的安全屬性。引進以上安全機制對傳輸性能并沒有削弱。在加密模式下,fasp可以在P4或單處理器工作站上實現100-150Mbps的傳輸,在雙核或雙處理器工作站上實現200-400Mbps的高速傳輸。
評論comment