대용량 파일 전송 솔루션 'Aspera' 기술백서 2탄

 

안녕하세요

아스파라를 알려주는 KNPEOPLE 입니다.

 

1탄에서는 간단하게 아스파라의

문제/설명/이점에 대해 설명해드렸습니다.

 

못보신 분들이있다면

http://knpeople2018-itstudio.tistory.com/2?category=673181

들어가셔서 확인해보세요.

 

 

간단하게 보러 오신분들은 조금 생소한 단어가 

많이 나올수있으니 유의해서 봐주시면 좋겠습니다 :)

 

 

 

 

소개

 

 

오늘날의 디지털 세계에서, 전 세계를 관통하는 거리에서 대용량의 디지털 데이터를 빠르고 안정적으로 이동시키는 것은 사실상 모든 업계에서 비즈니스 성공의 핵심적 요소가 되고있습니다. 그러나, 이러한 데이터 이동의 기존 엔진이었던 TCP ( Transmission Control Protocol )에는 성능에 있어서 내재적인 병목 현상이 있는데, 특히, 높은 RTT ( 왕복 시간) 와 패킷 손실이 있는 네트워크와, 고대역 폭 네트워크에서 병목현상이 가장 많이 나타났습니다. 이러한 내재적 '소프트' 병목 현상은 TCP 의 AIMD    ( Additive-Increase-Multiplicative-Decrease) 정체 방지 알고리즘으로 인해 발생하는 것으로 잘 알려져있는데, 이러한 알고리즘은 네트워크의 이용 가능 대역폭을 천천히 탐색하여 전송 속도를 증가시켰다가 패킷 손실을 감지하고 나서는 전송 속도를 기하급수적으로 감소시킵니다. 

 

하지만 네트워크 정체에 속하지 않는 물리적 네트워크 매체로 인인한 손실 등 다른 패킷 손실원이 마찬가지로 전송 속도를 줄인다는 점은 덜 알려져 있습니다. 사실, ACT AIMD 자체가 손실을 발생 시키며 병목현상에 동등하게 기여합니다. AIMD 는 손실이 발생할 때 까지 전송 속도를 증가시키면서, 내재적으로 이용 가능 대역폭을 초과하여 구동 시킵니다. 경우에 따라서는, 이 작자기 유도 손실이 실제로 다른 원인 ( ex) 물리적 매체 또는 교차 트래픽의 버스트 )으로 인한 손실을 능가하며, 무손실 통신 "채널"을 예측 할 수 없는 손실률을 가진 불안정한 " 채널"로 만듭니다.

 

TCP AIMD 에서의 손실 정체 통제는 처리량에 큰 악영향을 미칩니다. 즉, 패킷 손실이 발생할 때마다 재전송을 해야 하며, 재전송이 이루어질 때 까지 수신 애플리케이션의 데이터 전송을 지연시킵니다. 이는 네트워크 애플리케이션의 성능을 저하시킬 수 있지만, 근본적으로는, 파일 전송처럼 순차(바이트 스트림) 전송을 요구하지 않는 대규모 "대량"데이터의 안정적인 전송에 결함을 발생 시킵니다.

 

병렬 TCP 또는 UCP 블래스팅 기술은 확연하게 높은 처리량을 달성하는 대체 방법을 제공하지만 엄청난 대역폭 비용 지출을 요구합니다. 이러한 접근법에서는, 상당한 양의 데이터, 때로는 막대한 양의 불필요한 파일 데이터, 이미 이동 중이거나 이미 받은 쓸모 없는 데이터를 재전송하게 되며, 결국 파일 데이터 전송 시간이 필요 이상으로 많이 걸리고, 많은 대역폭 비용을 부담하게 됩니다. 특히 재전송 된 데이터 패킷을 제외한 유용한 비트 처리량, 즉 "유효처리율 (goodput) " 이 매우 저조합니다. 이러한 접근법은 네트워크 대역폭 활용도를 향상시키는 것 처럼 현혹시키지만, 쓰레기로 통신 파이프를 채움으로써 전송 시간은 여전히 느립니다!

 

네트워크 중심 프로토콜 처럼, TCP 최적화 또는 단순한 블래스터가 매우 "양호한 데이터" 처리량을 달성하는 협소한 네트워크 조건인 경우, 스토리지 시스템 내외부로 데이터 이동시 추가로 "소프트" 병목 현상을 겪게 됩니다.

 

최대 속도로 대량 데이터를 전송하기 위해서는, 이동 중이 아니거나 아직 수신하지 않은 "양호한 데이터"의 전송을 위해 데이터 소스부터 데이터 목적지까지 전체적인 전송 경로와 가용 대역폭을 충분분히 활용하는 엔드 투 엔드 ( end-to-end ) 방식의 접근법이 필요합니다. 오늘날 상용 인터넷 WAN 환경의 네트워크 왕복시간, 손실률, 대역폭 용량 등의 특성을 고려하는 목표를 달성히기 위해서는, 대량 데이터 이동에 대한 새롭고 혁신적인 접근법, 특히 안정성과 속도 통제력을 완전히 불리하는 접근법이 필요합니다. 안정성 ( 의존성 ) 이라는 메커니즘에서는 100% 양호한 데이터 처리를 위해, 실질적으로 필요한 데이터만 재전송해야 합니다. 속도 통제에 있어서는, 공유 인터넷 네트워크의 일반 배치의 경우, 대역폭 공정성 원칙과 다른 전송 및 기타 네트워크 트래픽 존재 시 정체 방지를 고수하는 동시에, 필요하면 높은 우선 순위의 전송을 위한 대역폭 전용 옵션을 제공해야 합니다.

 

 

Aspera mSP 는 공용 및 사설 IP 네트워크 상에서 파일을 전송하기 위해 기존 TCP기반 전송 기술에 대한 최적의 대안을 제공하도록 설계되었고, 이러한 핵심적 원칙에 따라 구축된 혁신적인 대량 데이터 전송 기기술입니다. 아스파라 표쇼요묘는 엔드포인트 애플리케이션 프로토콜로서 애플리케이션 계층에서 구현되어 표준 네트워킹에 대한 변화를 방지합니다. 표쇼요묘는 네트워크 지연 및 패킷 손실과는 별개로, 어떠한 IP 네트워크 상에서도 대량 데이터 이동에 대한 궁극적인 고성능 차세대 접근법을 제공합니다.

 

이 자료에서는 대역폭 활용도, 네트워크 효율성 및 전송 시간이라는 측면에서 상용 및 하학문적 분야의 파일 기반 전송 "가속화"에 대한 대체 접근법을 설명하며, 성능 및 Aspera FASP 에 들어가는 실제 대역폭 비용을 비교하였습니다.

 

 

 

 

 

제품문의는

 

E) info@knpeople.com

T) 02-6212-7882

 

이쪽으로 남겨주시면

친절하게 답변드리겠습니다.