[차세대 인터넷 그리드에 관한 연구]
1. 서 론
가장 대표적인 IT 비지니스 잡지로 Business 2.0이나 The Industry Standard 등과 같은 벤처 전문 메거진인 Red Herring은 2001년의 10대 트렌드 중의 1위를 분산컴퓨팅 (Distributed Computing)의 부상, 2위를 지적 소유권의 약화를 들었는데, 이 1, 2위의 동향 모두 P2P (Peer to Peer) 인터넷 기술과 직접적으로 연관되는 것이다. 이 P2P 인터넷 기술의 활용과 그 영향은 매우 초기단계에 있으며, 아직도 이 기술이 인터넷 산업과 기존 산업에 얼마만큼의 깊고 넓은 영향을 미칠 것인가를 가늠하기 상상하기 어려운 상황이다. 단지 우리가 주목해야 할 것은, 인터넷의 지난 역사를 주도했던 전문가와 인터넷을 매우 거시적으로 관찰, 분석하고 있는 사람들 중의 많은 수가 이러한 P2P 기술의 활용을 1980년대 말에 발명되어 1990년대 후반의 인터넷 혁명을 주도한 World Wide Web의 등장에 비견될 만한 것으로 간주한다는 점이다.
본 고에서는 이러한 P2P 기술을 이용한 차세대 인터넷 시스템인 GRID에 관한 전반적인 내용 소개와 앞으로 인터넷의 다음 세대로 어떻게 진행 될 것인가 고찰하고자 한다.
2. 그리드의 개념
2.1 그리드의 출현 배경
컴퓨터의 처리 속도와 대역폭은 무어의 법칙 이상으로 빠른 발전을 거듭하고 있지만, 최신 슈퍼컴퓨터로도 해결하기 어려운 연산 문제는 언제나 존재해 왔다.
그림 1. Network vs. computer performance(Computer speed doubles every 18 months Network speed doubles)
1986 to 2000 Computers: x 500 Networks: x 340,000
2001 to 2010 Computers: x 60 Networks: x 4000
이런 문제를 해결하기 위한 방법으로 분산된 자원을 연결해 하나의 시스템처럼 사용하고자하는 노력이 진행됐으며, 이를 메타 컴퓨팅, 또는 P2P 슈퍼컴퓨팅이나 그리드(GRID)라고 부른다. 그리드는 ‘격자(格子)’라는 말에서 유래한 것으로 피어끼리 서로 연결돼 마치 격자 모양을 이루는데서 이런 이름이 붙여졌다.
그림 2. 전세계 인터넷 이용자수
현재 인터넷 인구는 꾸준히 증가 추세에 있으며 이에 따른 통신망 대역폭은 기하 급수적으로 확장되고 있다. 그리고 최근의 PC성능이 CPU뿐 아니라 I/O성능, 디스크와 메모리의 용량 등 모든 면에서 예전 서버의 성능을 상회하고 있기 때문에 기본적인 컴퓨팅 처리 외에도 P2P환경에 필요한 별도의 서비스를 처리할 수 있는 여건이 마련됐다. 또한 여기에 PC보급률이 예전과는 비교할 수 없을 정도로 높아졌으며, 언제 어디서라도 인터넷에 연결할 수 있을 정도의 네트워크 인프라가 확산됐기 때문에 P2P 컴퓨팅을 위한 기반이 조성됐다고 평가할 수 있다.
지 역 | 2000년(Mbps) | 2001년(Mbps) | 성장율(%) |
아프리카 | 649.2 | 1230.8 | 89.6 |
아시아 | 22965.1 | 52661.9 | 129.3 |
유럽 | 232316.7 | 675637.3 | 190.8 |
남미 | 2785.2 | 16132.5 | 479.2 |
미국, 캐나다 | 112222.0 | 274184.9 | 144.3 |
표 1. 지역별 국제 인터넷 대역
2.2 그리드(GRID)와 월드 와이드 웹(WWW)
분산 컴퓨팅은 초기에는 클러스터링에 초점을 맞춘 연구를 중심으로 이뤄졌으며, 현재까지도 분산 처리의 대부분은 클러스터링을 의미하는 말로 알려져 있다. 하지만 인터넷 대역폭의 확장으로 인해 LAN이나 자체 인터페이스를 이용하는 클러스터링에서 벗어나 국가나 전세계를 포함하는 대형 분산시스템이 속속 등장하고 있다. 또한 여기에는 단순히 컴퓨터만 피어로 참여하는 것이 아니라 대용량 저장 장치, 다양한 고성능 연구 장비들이 포함되고 있는데, 이렇게 통합된 형태를 그리드라고 한다. 그리드는 네트워크 환경에서 연결된 컴퓨팅 자원을 사용자가 개인용 컴퓨터를 이용하듯이 사용할 수 있다는 개념에서 출발했다.
그림 3. 기존 인터넷과 P2P 방식
다시 말해 그리드는 네트워크로 연결된 가상의 슈퍼컴퓨터를 말하는 것이다. 그리드는 현재 협업 업무에서부터, 컴퓨터를 이용한 정밀 실험, 원격 데이터세트의 검색, 원격 소프트웨어의 사용, 데이터 중심의 컴퓨팅, 대형 시뮬레이션, 무수한 변수가 사용되는 연구 등에 사용할 수 있을 것으로 기대되고 있으며, 이미 많은 프로젝트가 시작된 상태다.
그리드는 지역적으로 떨어져 있는 사람들 끼리 협력해서 작업을 수행할 뿐 아니라 이러한 네트워크를 기반으로 대용량 멀티미디어의 이동, 더욱 활발해진 커뮤니케이션 실현, 정보의 구조화로 자원낭비를 막는 등 인터넷의 수동적이고 조금 폐쇄적인 개념을 벗어나 더욱더 효율적이고 강력한 네트워크가 될 것이다.기존 인터넷과 그리드의 차이점을 이해하기 쉽게 다음과 같이 표 2.에 정리하였다.
구 분 | WWW | GRID |
개발자 | Tim Bemers외 다수(영국) | Ian Foster외 다수(미국) |
개발연도(상용화) | 1989년(1994년) | 1998년(2004년 예정) |
최초 사용자 그룹 | 버클리대, MIT 연구소 | 시카고대 연구소 |
상용화 효과 | 인터넷 이용 확산, | 인터넷 이용 심화(NES 강화) |
전송 구조 | Server to Client 중심 | Peer to Peer 중심 |
전송 속도 | Kbps ~ Mbps | Gbps ~ Tbps |
브라우저 | Mosaic, Netscape, Explorer | TENT(독), JACO3(프), CACTUS(미) : 개발중 |
미들웨어 | 어플리케이션에서 제공 | Globps, Legion, Condor 등 |
표 2. WWW와 GRID의 비교
한 번에 한 곳에만 연결할 수 있는 WWW과 달리 신경조직처럼 작동하는 정보 통신 서비스망이 바로 그리드이다. 뇌가 신경을 통해 몸 속 각 장기들의 정보를 모으고 다시 각 장기들에 명령을 내리듯, 그리드는 컴퓨터에 특정 소프트웨어를 설치해 세계 곳곳의 컴퓨터, 데이터베이스(DB), 첨단 장비 등을 서로 연결해 개인 컴퓨터로 원격 조정할 수 있게 해 준다.
연결 방식 또한 다르다. 현재 인터넷 구조는 모든 정보를 담고 있는 서버(Server)에서 인터넷 이용자들이 필요한 정보를 받아보는 수직 구조이다. 이 사이트에서 저 사이트로 바로 바로 옮겨다니며 여러 정보를 수집할 수는 있지만, 동시에 여러 곳과 연결해 정보를 주고받는 것은 불가능하다. 반면에 그리드는 인터넷 이용자가 다른 이용자들과 수평적으로 직접 연결하는 방식을 취하고 있다. 최대 장점이 바로 동시에 여러 곳에 연결할 수 있다는 것이다. 인근 지역의 동료와 연결한 어느 인터넷 이용자가 동시에 지구 반대쪽 컴퓨터의 DB에 연결하여 연구를 수행할 수 있는 것이나, 데이터베이스에서 찾은 정보를 여러 사람이 동시에 보면서 한 사람의 설명을 듣거나, 함께 설계도면을 그리는 것 등도 가능해 진다. 화상회의와 비슷한 식이다. 한 컴퓨터가 곳곳에 흩어져 있는 컴퓨터들을 원격으로 조정해 복잡한 계산을 쪼개서 시킨 뒤에 다시 합쳐 결과를 만들어 내는 것도 가능하다.
그림 4. 기존의 연구 환경 그림 5. GRID에서의 연구 환경
일례로 그리드가 상용화하면 서울대학교 물리학과 교수가 자신의 연구실에 앉아 PC로 포항공대의 광입자가속기를 동작해 얻은 방대한 양의 각종 수치를 대덕단지의 슈퍼컴퓨터로 보낸 다음 슈퍼컴퓨터는 각종 수치를 저장하고 데이터베이스를 분류하여 그리드 분산 처리시스템에 연결, 분배하여 순식간에 얻어진 방대한 양의 연산 결과를 다시 집결하여 그 종합 결과를 다시 PC로 받아보며 연구 할 수 있다.
2.3 현재 그리드 진행 상황
전세계적으로 그리드 개발을 위해 많은 프로젝트들이 진행되고 있다. 주로 미국과 유럽이 주축이 되고 있는데, 그 중에서도 활발한 활동을 보이고 있는 곳은 컴퓨팅 포털(www.comp utingportals.org), 글로벌 그리드 포럼(ww w.gridforum.org), 유러피안 그리드 포럼(www.egrid.org)등이다.이들 중 글로벌 그리드 포럼은 ANL과 미국의 NCSA등 슈퍼컴퓨팅 관련 연구를 진행하고 있는 국가 단체를 중심으로 한 그리드 포럼이 주축이 돼 구축한 포럼이지만, 현재 유러피안 그리드 포럼과 일본을 중심으로 추진하고 있는 APGrid가 추가되어 범세계적인 그리드 포럼으로 운영되고 있다.
그림 6. 유럽 TEN-155 기반의 European Data GRID, Euro GRID
대표적인 그리드 프로젝트 중 하나인 유러피안 데이터 그리드는 스위스의 CERN과 이론 물리학자들이 중심이 된 그리드로 일본의 TACC와 공동 연구중이며 고성능 컴퓨팅, 병렬 컴퓨팅, 분산 컴퓨팅, 스토리지 등의 분야를 집중적으로 연구하고 있다. 스위스, 이태리, 영국, 일본 등 10개 국가에서 참여하고 있는 이 프로젝트는 특히 국제적인 테스트베드 인프라로 활용할 계획이다.
독일의 CACTUS 그리드 컴퓨팅은 애플리케이션이 가능한 미들웨어로 현재 NCSA에서 개발해 웹 기반의 실시간 Visualization이 가능한 기술이다. 이미 몇 곳에서 사용한 적이 있으며, 원격 Visualization과 스티어링이 가능하다. 독일은 이를 발전시켜 과학자들이 인터넷에서 협업 연구가 가능한 새로운 코드를 개발해 그리드 컴퓨팅을 구축할 예정이며 DFN 기가비트 프로젝트에 적용할 예정이다.
NASA의 IPG는 다중 컴포넌트 시뮬레이션을 위한 프로젝트로 그리드 커먼 서비스를 제공할 예정이며, 미국내 항공기 개발과 관련된 사이트가 Globus 기반의 그리드 컴퓨팅 환경으로 구축될 예정이다. 현재 ARC, CM, IaRC가 IPG/NERN QoS 테스트베드로 구축돼 있다. 차기 Globus 아키텍처와 기술을 개발할 예정이며, 그리드 기반의 대용량 분산 애플리케이션 응용이 가능한 기술을 개발할 예정이다.
ASCI그리드 프로젝트는 SNL, LANL, LLNL을 중심으로 ASCI프로젝트를 성공적으로 수행하기 위하여 구축된 프로젝트로 3개 연구실에서 분산된 슈퍼컴퓨팅 자원을 이용할 수 있도록 메타 컴퓨팅 시스템을 구축하는 것으로 2010년까지 개발할 예정이다.
그림 7. 일본 Asia-Pacific Grid Implementation Project (III)
일본이 중심이 돼 구축하고 있는 ApGrid 프로젝트는 APAN 프로젝트를 중심으로 Globus 기반의 분산 컴퓨팅, 디지털 라이브러러리, 원격 교육 등을 구축하기 위해 추진중인 프로젝트다.
이 같은 학술적인 그리드 외에 상업적인 이용을 위한 그리드의 개발도 진행 중이다. 특히 대학과 연구기관을 중심으로 혜성의 진로 예측, 외계인 생명체 찾기, 소수 찾기, 암이나 에이즈 정복, 인간 유전자 해독, 단백질 구조 분석, 신약 개발, 주가 추이 분석, 투자 위험 관리 등의 용도로 사용하고 있다.
미국 암 협회와 국립 암 연구재단, 영국 옥스퍼드 대학, 인텔 등은 백혈병 치료제를 개발하기 위한 프로젝트를 진행하고 있으며, 미국 암 연구 센터도 파라본과 함께 암 치료제 개발에 사용할 그리드를 구축했다.
또한 미국의 JP모건은 주가 추이를 예측하고, 투자 위험을 관리하기 위한 소규모의 그리드를 이용하고 있다. 테이터시냅스가 구축한 이 솔루션은 회사 내의 100여대 컴퓨터를 사용해 사용하고 있으며, 향후 정확도를 높이기 위해 컴퓨터의 수를 늘릴 계획이다.한편 NASA는 그리드를 이용해 외계의 생명체를 찾고 있다. SETI@home이라고 알려진 이 프로젝트는 전파망원경으로 수집된 데이터를 인터넷을 통해 분석하는 방식으로 이뤄진다.현재 미국에는 엔트로피아, 데이터시냅스, 패러본컴퓨테이션, 유나이티드디바이스 등 10여개 업체가 슈퍼컴퓨팅 ASP 사업을 펴고 있다. 또한 국내에서도 글로벌인터넷비즈니스(GIB)가 이같은 사업에 뛰어들 계획이라고 밝히고 있다.
3. SETI@home
여기서는 대표적인 그리드 결과물로 첨단 전문 장비와 세계 각지에 흩어진 PC를 이용하여 실험적인 실례가 된 SETI@home 프로젝트를 고찰함으로써 앞으로 오게 될 그리드의 성능과 현실 가능성을 알아보자.
3.1 SETI@home의 소개
외계 지적 생명체 탐사(SETI, Search for Extraterrestrial Intelligence)의 약자로 일반적으로 SETI로 많이 알려진 연구분야가 있다. SETI는 물리학 연구 분야로서 지구 바깥에 존재하는 지능 있는 생명을 찾는 것이 목표이다. 좁은 주파수 대역폭을 가진 전파 신호가 우주의 어딘 가로부터 잡힌다면 외계 생명체의 존재 증거가 될 것이므로 이를 조사하는 것이다. 1960년대부터 여러 가지 기술들이 굉장히 많이 발전했다. 특히 라디오 SETI의 핵심인 디지털 기술 분야의 발전은 놀라운데 이 전파 신호를 분석하는 시스템은 고속 푸리에 변환(FFT, Fast Fourier Transform) 알고리즘을 이용하여 신호를 각 주파수 별로 분리하는 것이다. 대부분의 SETI 프로젝트는 FFT분석을 위해 슈퍼컴퓨터를 만들었지만 그것은 단순한 분석으로 제한되어 있었다.
SETI의 라디오 주파수 대역은 2.5MHz로 결정되었는데 이 주파수 대역을 1비트 샘플링하면 5Mbps의 전송률이 나오며 35GB의 디지털 선형 테이프(DLT)를 이용하면 16시간 정도를 기록 할 수 있다. 이렇게 일부의 주파수 대역을 기록하는 데에도 방대한 용량의 데이터가 생성되므로 이 기록을 아주 미약하고 종류가 다양한 신호들을 찾을 수 있으려면 아주 강력한 처리능력을 필요로 한다. 이런 시스템을 인터넷을 통해 분산 처리함으로서 가능하게 하자는 의도에서 시작된 것이다.
3.2 SETI@home의 작동 방식
전파 망원경으로부터 행성 사이의 빈 공간을 채우고 있는 수소 분자들이 1.42GHz에서 전파 신호를 만들어 내는 것을 염두에 두고 이를 관찰, 주파수 대역의 중심이 되도록 하여 SETI@ home의 관측 주파수 대역은1418.75 MHz에서1421.25MHz까지 이다. 2.5MHz 주파수 대역을 저장하여 클라이언트 프로그램에서 분석하기 위하여 '작업 단위(work-unit)'로 나누어진다. 이 데이터는 시간과 주파수 수치로 나누어져 있다. 작업단위의 크기가 약 0.3MB로 결정된다. 이 크기 정도라면 컴퓨터를 어느 정도 바쁘게 움직이게 하면서 28.8Kbps 모뎀에서도 단 몇 분내에 전달할 수 있다. 각 작업 단위에 여러 번 빔 주기가 포함되기 위해 데이터를 각각 10KHz씩 256개의 주파수 대역으로 분할된다. 그리고 나서 각각의 대역을 256000개의 샘플 길이로 나누는데 이는 약 107초의 녹음 시간이다. 결국 각 대역의 작업 단위는 20초 간격으로 서로 겹치고 최소 한 번 이상의 빔주기가 작업 단위에 포함된다. 각각의 작업 단위로 분할하는 작업은 그 주파수 대역을 기록한 DLT 드라이브를 가진 6개의 워크스테이션 그룹을 24시간 운영하여 분할 프로그램을 실행시키고 있다. 작업 단위들은 300GB의 하드디스크에 저장되어 있다.
그림 8. SETI@home의 주파수 대역
SETI@home의 가장 두드러진 구성 요소는 클라이언트 프로그램이다. 윈도우 사용자와 매킨토시 사용자로 이뤄진 SETI@home 프로젝트 참여자들이 사용하는 클라이언트 컴퓨터는 일반 PC의 화면보호기처럼 소유자들이 일상 업무에 사용되지 않을 때만 작동한다. 이 클라이언트는 SETI@home의 데이터 분배 서버(Data Distribution Server)에 인터넷을 통해 접속하여 작업 단위를 받은 후 접속을 끊는다. 그리고 컴퓨터의 속도에 따라 한 시간에서 몇 일까지걸려서데이터를 분석한다. 분석이 끝나면 클라이언트는 서버에 다시 접속하여 결과를 돌려주고 다시 새로운 작업 단위를 받는다. 사용자가 컴퓨터 전원을 갑자기 끈 경우를 대비해 몇 분마다 '검사점'파일을 작성한다.
그림 9.SETI@home의 클라이언트 프로그램
SETI@home의 데이터 분배 서버는 클라이언트로부터 연결을 받고 계산 결과를 수집하며 새로운 데이터를 클라이언트에게 전달한다. 이 서버는 새로운 작업 단위를 보낼 수도 있다. 매 초마다 많은 클라이언트들이 접속하며 모뎀 사용자들의 경우 요청을 처리하는 데 몇 분이 걸릴 수도 있다.행성의 공전과 자전으로 상대적인 움직임이 있기 때문에 고정된 주파수가 다시 돌아 올 때는 주파수가 올라갈 수도 있다. SETI@home은 이런 변화 신호를 탐지하기 위하여 ‘간섭성 적분(coherent integration)' 이라는 기법을 사용하여 -50Hz/sec에서 +50Hz/sec 사이의 범위에서 약 1초당 5만번의 주파수 변화를 검사한다. 각각의 주파수 변화에 대하여 클라이언트 프로그램이 주파수의 변화를 제거하고 고정적인 주파수를 가진 신호를 찾는다. 이런 방법을 이용하면 변화한 신호를 직접 찾는 것보다 약 10배 이상 더 세밀하게 찾을 수 있다.주파수 변화율에 대해 클라이언트 프로그램은 15개의 다른 FFT 길이를 사용하거나 다른 주파수 해상도를 사용한다. 하이젠베르크(Heisenberg)의 ‘불확정성 원리(Uncertainty Principle)'라 불리는 수학 원리에 의하면 높은 주파수 해상도 또는 높은 시간 해상도 중 하나를 이용해 신호를 검사할 수 있지만 둘 다 이용할 수는 없다. 외계인이 보내는 신호가 어떤 특성을 가질지 예측할 수 없으므로 모든 범위를 다 탐사하는 것이다.
주파수 변화율과 FFT폭을 위하여 시간의 변화에 따른 신호의 파워 스펙트럼을 분석한다. 이 작업을 통해 신호는 시간과 주파수의 변화에 따른 파워 값을 보여주는 배열을 구한다. SETI@home의 그래픽은 이 배열을 삼차원 그래프로 구성하여 보여준다. 이 파워 배열은 여러 종류의 신호를 찾기 위하여 다시 분석된다.
외계인의 신호가 감지된다면 그 결과는 버클리의 컴퓨터에 제일 먼저 나타날 것이고 머지 않아 SETI@home 프로젝트가 완료될 것이다. 하지만 데이터베이스는 이 신호를 분석한 사용자의 PC에 관한 기록을 모두 가지고 있기 때문에 성과를 함께 나눌 것이다.
이 프로젝트에서는 SETI@home의 웹사이트가 중요한 역할을 담당한다. 사용자들은 이 웹사이트를 통해 클라이언트를 다운로드하고 SETI@home과 라디오 SETI에 대해 배울 수 있으며 지원팀을 만들거나 그 팀에 참여할 수도있다. 또한 여러 통계 자료와 완료된 작업 단위를 기준으로 사용자들과 팀의 목록을 정리한 ‘leader boards'를 볼 수도 있다. 이 페이지는 데이터베이스에서 가장 최근 자료를 얻은 프로그램이 자동으로 갱신한다.
그림 10. SETI@home의 주요 과정
3.3 SETI@home의 성능
1998년 초 SETI@home의 아이디어를 설명하고 참가자를 모으는 웹사이트를 열었다. 1997년 7월에 개봉된 ‘컨텍트(Contact)'라는 영화를 보고 감동을 받은 대중들은 SETI에 많은 관심을 보였고 그후 이 프로젝트가 나왔기에 참 좋은 시기에 시작한 것이다.
웹사이트에 등록한 참가자들은 40만 명이나 되었다. 상당 기간 동안 개발하고 실험하여 1999년 5월 17일에 첫 클라이언트 프로그램을 발표하였다. 발표한지 한 주만에 20만 명 이상의 사람들이 클라이언트를 다운로드해서 실행시켰으며 2000년 10월에는 그 수가 240만 명으로 늘어났다. 226개국에서 참여하였고 SETI@home에 참여한 사용자들 중 50%는 외국인이었다.
과학 분야에서 이루어지는 컴퓨터 계산은 종종 42.0 또는 3.14159와 같은 부동 소수점을 연산 단위로 하여 측정된다. 슈퍼컴퓨터 속도의 기본 단위는 1초당 1조 번 부동소수점 연산 또는 테라플롭스(TFLOPS)이다. 1.0TFLOPS의 벽은 작년에야 허물어졌다. 현재 가장 빠른 슈퍼컴퓨터는 IBM이 만든 아스키 화이트(ASCI White)인데, 이것은 지금 미국의 에너지부(Department of Energy)에서 사용되고 있다. 이 컴퓨터의 가격은 11억 달러이며 무게는 106톤이고 최고 성능은 12.3TFLOPS이다.
SETI@home은 아스키 화이트 가격의 1% 미만 가격이지만 아스키 화이트보다 더 빠르다. 하나의 작업 단위에 대한 FFT를 계산하려면 3.1TFLOPS가 필요하다. 평상시에 SETI@ home 클라이언트는 약 70만 개의 작업 단위를 처리하는데 이것은 20TFLOPS 이상으로 산출된다. SETI@home을 개발하고 1년간 운영하는 데 든 비용은 기증 받은 20만 달러 상당의 하드웨어와 50만 달러가 전부였다. 물론 SETI@home에 참여하는 수많은 사용자들의 PC 가격을 모두 합하면 아스키 화이트보다 더 비싸지만 이 PC들은 프로젝트에 참가하기 이전에 구입했던 것이고 SETI@home이 없더라도 존재했을 것이다.
2000년 8월까지 SETI@home은 2억 개의 결과를 받았는데 이것은 총 4×1020부동소수점 연산에 해당한다. 이것은 인간이 여태까지 컴퓨터로 처리했던 연산 중 가장 큰 연산이라고 생각한다. 과학 연구에 사용될 인터넷의 잠재력을 생각해볼 때 SETI@home은 빙산의 일각일 뿐이다. 2003년까지 10억대의 컴퓨터가 인터넷에 연결될 것으로 예상된다. 만일 이 중 10%가 분산 컴퓨팅 프로젝트에 참여한다면 SETI@home보다 100배 이상 더 큰 규모의 프로젝트를 처리할 만큼의 계산 능력이 생길 것이다.
Ⅳ. 그리드 프로젝트
그러나 SETI@home 프로젝트가 단순히 컴퓨터의 프로세싱 능력만 빌려쓰는 데에 비해 그리드 컴퓨팅은 컴퓨터에 내장된 마이크로 프로세서는 물론 초고속 통신망을 통해 각종 애플리케이션 프로그램과 데이터베이스까지 모두 공유한다는 개념이다.
그리드 컴퓨팅 기술은 현재 기상 예측이나 고(高)에너지 물리학, 유전공학, 지진 연구 등 수퍼 컴퓨터가 다루기에도 방대하고 복잡한 연구를 처리하는 데에 쓰인다. 미국은 국방부와 국립과학재단, NASA 등에서 그리드 컴퓨팅 기술을 지원하고 있고 영국도 그리드 컴퓨팅을 국책 사업으로 선정해 연간 1억달러의 투자를 하고 있다. 국내에서도 최근 과학기술원과 정보통신진흥원이 그리드 컴퓨팅에 대한 연구에 착수했다. IBM, 마이크로소프트, 썬, 에릭슨, 히타치, BMW 같은 세계 유수 기업들도 그리드 컴퓨팅 프로젝트에 참여하고 있다.
4.1 OtherGrid Project
1. NASA의 IPG(Information Power Grid)
- 항공기 통합 설계
- 나사의 고성능 컴퓨팅 그리드
- 분산처리 슈퍼 컴퓨터와 방대한 양의 데이터베이스, 고성능 계측 기기등을 연합하여 여러 군데 떨어져 있는 곳에서도 항공기 설계가 가능하며 각 부분을 분담하여 항공기 설계를 단시간에 해결하도록 한다.
-http://bluekim.hihome.com/subject/grid/www.ipg.nasa.gov
그림 11. IPG
2. Grid Physics Network (GriPhyN)
- 21세기 Petabyte-scale의 물리학 자료를 처리하기 위한 정보 처리 기술을 위해서 생겼으며 처음에는 4가지의 물리학 실험으로 시작되었다. 이 네가지 물리학 실험은 우주와 자연의 기본을 탐구하는 것
인데 CMS와 ATLAS실험, LIGO (Laser Interferometer Gravitational-wave Observatory), SDSS (Sloan Digital Sky Survey) 등이 있다.
그림 12. GriPhyN
3. NEESgrid for Earthquake Eng. Simulation
- 지진 공학자와 실험 장비, 관련 데이터 베이스, 컴퓨터 등을 연결.
- 관련 소프트웨어 개발 및 사용자 지원, 각종 데이터베이스 제공, 통합.
-http://bluekim.hihome.com/subject/grid/www.neesgrid.org
그림13. NEESgrid for Earthquake Eng. Simulation
4. Access Grid
- 협업 업무의 최적화를 위해 그리드 환경을 통한 대용량 멀티미디어 처리 및 전시, 프리젠데이션과 상호 의사 전달과 인터페이스로 구성되어 있다.
- 대규모의 분산 회의, 협력 사업, 세미나, 강의, 훈련에 적용 될 것이다.
- 최적으로 디자인 된 공간에서 고품질의 음향기기와 영상기기로 회의를 할 수 있는 장소제공.
-http://www-fp.mcs.anl.gov/fl/Accessgrid/
그림14. Accesss GRID
4.2 국가 그리드
선진 각국의 그리드 프로젝트 이외에 국내에서 진행되고 있는 그리드 프로젝트에 대해 정통부에서 제시하고있는 사항을 정리해 보았다.정통부에 따르면 그리드는 크게 4가지 요소로 구성된다. 정보통신자원을 고속 네트워크로 연동하여 상호 공유, 이용할 수 있도록 하는 정보통신 서비스(4As)로 소프트웨어를 탑재한 인터넷 기반의 고성능 정보 통신망인 '지능화된 네트워크, 그리드 네트워크(Advanced Network)', 고속연산 능력을 갖춘 '고성능 컴퓨터와 최첨단 장비(Advanced Computer & Equipment)',실제적인 산출물을 도출하는 '차세대 응용과제, GRID 응용 프로젝트(Advanced Application)', '과학기술인력, GRID 이용능력 보유자(Advanced Human)' 등이 바로 그것이다. 이들 요소를 적절히 결합해 최적의 인터넷 환경을 조성하는 게 그리드 계획의 목표라고 할 수 있다. 예를 들어 현재 우리나라에는 고성능 컴퓨터가 50여 대 설치되어 있다. 이들 컴퓨터의 중앙처리장치(CPU) 활용률은 40~80%에 지나지 않지만 그리드 네트워크 구성으로 CPU 활용률을 70~95%로 향상 시키면 연간 100억~300억 원을 절약하는 것으로 나타났다. 정통부는 그리드 계획 중 3차원 멀티미디어 데이터를 구현할 수 있는 브라우저의 개발을 집중 지원하겠다고 밝혔다.
그림 15. 그리드 추진 체계 | 그림 16. 국가 그리드 개념도 |
1. 세부추진사항
정책목표 : TGRID를 활용하여 연구개발 능력 증강 및 산업 경쟁력 강화, 그리고 이를 통하여 세계 5위의 지식정보 강국으로 도약.
가. GRID 네트워크 구성, 운영
GRID 네트워크 구성
- 국내 네트워크 : KOREN, KREONET2
- 국외 네트워크 : APII테스트베드, TEIN
※ 응용서비스에 따라 필요할 경우 국내 상용 ISP의 망도 활용
※ GRID NOC 운영, 지원(GRID포럼-코리아 사무국, KISTI)
- 네트워크 자원 할당 및 Policy서버 구축, 운영
- ACPU, DB장비 등의 자원 할당 및 배정
- 해외 GRID 네트워크와의 연동
- 정보통신자원 조사 및 교육, 세미나 개최 등
※ KOREN NOC 및 APII 테스트 베드, TEIN NOC는 [국가GRID] 네트워크가 원활히 서비스될 수 있도록 GRID NOC에 체계적으로 협조 및 지원
※ [국가GRID] 사용 원칙 마련
나. GRID 관련 연구개발 및 표준화
GRID 미들웨어 및 브라우징 기술 연구개발
- GRID 미들웨어는 컴퓨터, 실험장치 등을 연동시키는 S/W로써 소스코드가 공개된 Globus를 중심으로 연구 및 적용기술 개발
※ GRID 미들웨어 개발 전에는 Globus 및 현재 이용 가능한 미들웨어를 활용하여 [국가GRID]를 단계적으로 구축 추진
- 브라우징 기술은 멀티미디어 3차원 데이터를 표현하는 이용자 인터페이스 장치로써 S/W와 H/W장치가 연계되도록 연구개발
※ GRID 관련 표준화 지원
- GRID관련 표준은 세계적으로 초기단계에 있으므로 조기에 표준(안) 발굴 및 IETF 등의 국제 표준화 활동에 적극 참여
다. 고성능 컴퓨터 및 최첨단 기자재 연동․공동 활용 유도
지리적으로 분산되어 있고 국내 보유 수량이 적은 고성능 컴퓨터 및 고가의 실험, 계측 장비를 우선적으로 공동 활용할 수 있도록 유도
- 제 1단계 : KOREN 및 KREONET2에 접속된 기관에 대한 GRID네트워크 연동 및 정보통신자원 공유
- 제 2단계 : 국내외 유관기관에 대한 GRID네트워크 연동 및 정보통신자원 공유
라. GRID 응용프로젝트 발굴
네트워크 활용도를 제고하고 국내 연구력을 강화시킬 수 있는 GRID 응용프로젝트 발굴
※선도적 [SEED프로젝트] 사례 예시
- 바이오인포매틱GRID : 유전자, 단백질 상호작용분석, 항암보조제 등 약품개발
- 유체역학GRID : 자동차,선박,항공기 등의 유체마찰 감소, 선체 설계기술 개발
- 기후분석GRID : 수자원, 청정에너지원(태양,바람,조석 등), 생태계 변화 예측
분야 | 미래 도전 GRID 응용 프로젝트 내용 | 활용 분야 |
BT | 한국인 게놈 지도, 단백질 기능, 구조 분석 | 의료, 제약 등 |
ET | 지구 관측, 천문, 기상, 전국 4대강 수계 | 일기예보, 지질탐사 등 |
IT | 암호 알고리즘 설계, 무선 전자기장 분석, 몰입형 가상현실, 병렬 컴퓨팅 | 정보보호, 무선 인터넷, 원격 서비스 등 |
NT | 고분자 소재, 극세섬유, 초정밀기계 | 기계 설계, 정밀 화학 등 |
기존 산업 | 소음해석, 유체해석, 구조해석 | 자동차, 선박, 항공 등 |
마. [GRID포럼-Korea] 구성, 운영
효율적인 [국가GRID] 구축 및 GRID 활성화를 위하여 산, 학, 연의 전문가들로 포럼 구성
- 국제 GRID 포럼(GGF)에 대한 국내 Counterpart 역할 담당
- GGF, IETF 등 국제 관련 표준화 기구 참여 및 공동 대응
- GRID 네트워크 NOC기능 협의 및 업무협조
- 국내외 동향을 파악하여 GRID관련 정책방향 제시
- 국내 GRID 운용기술 전수 및 상호 교류
- GRID 관련 최신 기술정보의 수집 및 분석, 보급
- GRID 기반 응용기술 개발 지원 및 관련기술 제공
※사무국 : 한국과학기술정보연구원
2. 기대효과
[국가GRID 기본계획]을 통하여 미들웨어 기술 및 브라우징 기술을 확보하고 동시에 인터넷망을 고도화함으로써 인터넷관련 신산업 육성 및 차세대인터넷 기반 조기 구축.
IT기술을 활용하여 기초과학기술, 산업기술의 연구개발 환경개선 및 활발한 국제 공동연구를 통한 연구개발의 세계화 도모한다.
미국은 2000년도에 가상공간의 공동연구를 통해 해석, 설계, 제조과정 통합함으로써 년 20억불 이상의 비용을 절감하고 있으며 이러한 시스템을 국내에 적용하였을 경우 년간 2,000억원의 비용 절감이 기대.
IT, BT, NT, ET 등 21세기 고부가가치 신산업의 경쟁력 조기 확보 및 자동차, 선박, 건설 등의 기존산업의 생산성 향상.
핵심기술에 대한 개발능력을 겸비하여 세계시장에서 전통산업(조선, 반도체, 자동차, 기계 등)의 수출역량 증가.
GRID개념의 인터넷 응용이 2004년경에 민간 상용으로 확산될 경우 또 다른 신산업의 창출과 디지털 경제의 심화 가능.
5. 결 론
1960년대 말에 고안된 인터넷은 근본적으로 P2P 시스템이었다. 알파네트(ARPNET) 역시 본래는 미국 내 컴퓨팅 자원을 공유할 목적이 컸다. 이 목적을 달성하기 위해 해야 할 일은 현존하는 여러 종류의 네트워크들을 통합하는 것만이 아니라 모든 호스트들이 하나의 기기에 적용할 수 있는 공동 네트워크를 갖게 되는 미래의 기술들도 통합하는 것이었다. 알파네트의 몇 몇 호스트들(UCLA, SRT, UCSB, University of Utah)은 초기에 이미 동등한 위치에 선 독립 사이트였다. 알파네트는 주종 관계나 클라이언트/서버 관계가 아니라 동등한 컴퓨팅 관계로 피어들을 서로 연결해주었다.
이처럼 본래 인터넷은 근본적으로 P2P시스템처럼 설계되었다. 하지만 시간이 지나면서 상대적으로 권리를 많이 부여받은 서버와 통신하는 클라이언트들이 늘어 점차 클라이언트/서버 구조로 바뀌었다.
현재 몇 몇의 P2P와 그리드 애플리케이션들은 인터넷을 본래의 의도대로 ‘각기 동등한 위치에서 자원을 공유하는 장치들 사이의 통신 매체’로 사용하고 있다. 이 P2P 네트워크 모델은 개념적인 측면보다는 그것의 규모와 기존 인터넷을 더 특별하게 활용할 수 있다는 측면에서 더 혁명적이기 때문에 이제 옛 것이 아니라 다음 세대로 지칭하게 된 것이다. 하지만 이제 다음 세대로 가기 위해서는 많은 어려움이 있기에 실험적으로 국가적인 차원과 비영리적인 차원에서 시작하고 있다.
그리드가 해결해야 할 문제점들 중 세가지를 들어 본다면, 먼저 여러 지역이 흩어져 있는 서로 다른 자원들은 다양한 형태로 존재하므로 컴퓨터의 하드웨어 플렛폼이 다르고, 운영체제 등이 상이한 상황에 대한 대비가 없다. 그리드에서 멀티플랫폼 지원은 필수라는 얘기다.
또한 수많은 피어가 그리드에 연결될 수 있으므로 로드밸런싱이 중요한 문제로 등장한다. 특히 그리드가 커질수록 로드밸런싱이나 네트워크의 문제로 성능이 저하될 수 있기 때문에 이에 대한 대비가 필요하다.
또한 그리드 환경에서는 연결된 피어들이 매우 많기 때문에 피어들 중 일부는 언제라도 중지될 수 있다. 이를 관리하기 위해 자원관리 서비스와 애플리케이션은 항상 동적으로 환경에 대처할 수 있는 유연성을 제공해야 한다.
지금 까지 본고를 준비하는 과정에서 지금 세계적으로 이루어지고 있는 그리드 프로젝트를 돌아보면서 이러한 문제점들을 해결하기 위한 여러 가지 대안을 내고 있다는 것을 확인하였다.
현재 네트워크 대역폭, 특히 WAN의 환경은 매우 혼잡한 상태에다 비용도 비싼 편인데 반해, 클라이언트 스토리지와 컴퓨팅 자원은 제대로 활용되지 못하는 것으로 파악되고 있다. 하지만 네트워크를 통한 지능형 컨텐츠 분배로 P2P를 활용하는 것만으로 WAN의 부하를 훨씬 줄일 수 있다. 즉 상당량의 WAN트래픽을 LAN 트래픽으로 바꿔주는 효과가 있다는 것이다.
앞에서 우리는 SETI@home의 성능을 가늠해 볼 수 있었지만 그 외에도 P2P 시스템을 이용한 여러 가지 실험치가 많이 발표되면서 P2P 시스템의 발전 가능성은 확인되고 있으며 앞으로 운영체제 차원에서 그리드 방식의 네트워킹을 지원할 것으로 보여진다.
초기 인터넷이 나왔을 당시 지금의 상황까지 인터넷이 발전하리라고는 생각하지 못했던 것이 모자이크나 넷스케이프, 익스플로러의 보급으로 폭발적으로 성장한 계기가 된 것처럼 앞으로 P2P 방식의 그리드 브라우저와 애플리케이션이 나온다면 인터넷은 아마 세대 교체를 할지 모른다.
참 고 문 헌
[1] 이영직, “특집 차세대 네트워크 컴퓨팅 패러다임 P2P - 인터넷 안의 또 다른 인터넷 그리드” 월간 on the NET 2001년 10월호
[2] 팀 오라일리 외 24인 저, 전현성 외 4인 역, “차세대 인터넷 P2P”, 한빛미디어사 2001. 9. 14
[3] Http://www.gridforumkorea.org
[4] Http://stat.nic.or.kr
[5] Http://setiathome.berkeley.edu/
[6] Http://www.ipg.nasa.gov
[7] Http://www.griphyn.org
[8] Http://www.neesgrid.org
[9] Http://www-fp.mcs.mcs.gov/fl/Accessgrid
[10] 김호석, 강동재, 정보홍, 김재홍, 배해영, “서버 처리 비용 분산을 위해 확장된 Peer-to-Peer 방식을 사용한 공간 데이터 관리기”, 2001년도 한국 정보과학회 봄 학술발표 논문집 Vol. 28. No.1 pp.28~30
'System > Grid' 카테고리의 다른 글
| [펌] 그리드 기술 연구 동향 (주간기술동향) (0) | 2005.03.22 |
|---|
