SSD(solid state DISK)

SSD 광장 2012. 2. 16. 10:53

1호기는 지금도 KBS에서 열심히 잘 돌고 있습니다. 2011년 11월 납품하여 3개월 정도 잘 처리 하고 있답니다.

사실 조금 급하게 납품이 되는 상황으로 세심한 부분까지 확인 하기엔 미흡 했었습니다.

 

이번 2호기는 일정보다 3주간 늦었지만, 그동안 여러 부분 테스트도 하고 CLOUD 환경에서의 병목이 있는지도 확인을 하고 등등

FW간 병목이 없는지도 확인을 할수 있었습니다.

 

가상화 SW는 VMWARE만을 현재 활용 하고 있지만, 시트릭스 젠서버와 MS의 하이퍼V도 현재 함께 검토를 하고 있습니다.

기술적인 내용으론 가상화 솔루션 즉 SW도 독점을 하기위한 내부 준비가 되어 있다는것에 매우 실망스럽고 꼭 비지니스 영역을 확보키 위한 독자적 프로토콜을 활용해야 하는지 안타까웠습니다.

 

가상화 프레임만을 일단 활용 하고 있습니다. 내부 인터페이스 부분을 가상화 솔루션에 묶기지 않도록 해야겠다는 생각을 많이 했습니다.

가상화 인터페이스 부분을 VMWare가 독점적으로 활용하면, 가성화 위에 돌아가는 모든 OS및 AP는 가상화 솔루션에 국한 되기에 실제 성능을 다 활용 못하는 현상을 보곤 합니다.

 

프레임만을 활용하고 각종 인터페이스는 Direct로 할수 있는 방법이나 디라이브를 새로 개발 해야 겠다는 판단입니다.

 

이번 2호기는 VMWare 프레임위에 OS및 각종 DRV는 VMWare에서 제공한 인터페이스 커널 컨넥션만을 활용하고 실제 TR되는 상황은

통신되는 노드나 메인 Data시스템과 direct TR을 하였습니다.

 

1호기보다 30%이상의 TR 효율이 있을 것으로 예상 합니다.

 

노드간 인터페이스도 10Gbps 중 9Gbps 통신 문제가 없었으며, Data 시스템과도 9Gbps수준으로 통신을 하였습니다.

각 노드내부 TEMP DISK IO는 8GB/sec 수준 처리 하였으며, 메인 Data서버 는 병렬 스토리지 연결로 최대 45GB/sec 까지 처리 하게 하였습니다.

 

실제 네트워크 통신인 경우는 1200MB/sec 이지만, 내부 TR을 통한 Data완성은 8GB~45GB까지 처리 할수 있는 결과 입니다.

 

납품 전 1개 노드 중 1개 가성화 OS에서 16core 랜더링 결과 HDD기반 workstation보다 2~4배 수준의 결과가 나왔습니다.

실제 테스크 해보는 고객과 협력사 엔지니어분들께서 놀라는 모습이 귀엽더군요^^ㅋㅋ

 

지금은 납품이 되어 전기공사및 셋업하여 실제 랜더링 준비를 하고 있더고 들었습니다.  좋은 결과로 잘 활용 되기를 기대 합니다.

 

아! 그리고 어제 서울대에서 수퍼컴을 개발 했다고 언론에 발표 되었다고 얘기를 들었습니다.^^ㅋㅋ

왠!  GPU ㅋㅋ GPU란? 그래픽 처리 장치 (Graphic Processing Unit)

그래픽 처리 장치는 부동 소수점 명령을 계산하는 그래픽 카드에 부착된 처리 장치이다. 그래픽 가속기는 그래픽 렌더링에 흔히 쓰이는 특별한 수학 명령을 포함하는 맞춤식 마이크로칩을 갖추고 있다. 이러한 마이크로칩이 효율적으로 동작하면 그래픽 가속기 또한 효율적으로 처리된다. 이들은 주로 3차원 게임이나 고사양 3차원 렌더링에 주로 쓰인다. 그래픽 처리 장치는 수많은 그래픽 기본 기하 명령을 담고 있어 호스트 CPU를 통해 화면에 표시하는 것보다 훨씬 더 빠르게 그리기를 처리할 수 있다.

초기 2차원 컴퓨터 그래픽스에 가장 흔히 쓰이는 명령들은 비트 블릿 명령, 또 RasterOp(블리터(blitter)라 불리는 특수한 하드웨어에 일반적으로 쓰임)를 사용하는 여러 개의 비트맵 패턴 혼합 명령이었는데, 이 명령들은 텍스처 매핑에 주로 사용되었다. 또한 사각형, 삼각형, 원형, 등의 도형을 그리는 명령도 포함하였다. 이후의 그래픽 처리 장치들은 3차원 컴퓨터 그래픽스의 처리를 지원하기 위해 도형의 회전, 평행이동, 좌표 변환 등의 기하학적 명령이 추가되었다.

최신 그래픽 처리 장치들은 픽셀 셰이더, 버텍스 셰이더, 수퍼샘플링, 색 공간 변환 등의 복잡하고 다양한 명령을 지원하며, 디지털 영상의 재생을 가속하는 기능도 포함하고 있다. 이 명령의 많은 부분은 개발자가 직접 다룰 수 있도록 프로그래밍 가능한 인터페이스를 가진다.

또한 그래픽 처리 장치는 대량의 행렬벡터를 다루는 데 뛰어난 성능을 발휘하므로, 이러한 연산을 많이 사용하는 응용 프로그램들은 그래픽 처리와 관련 없는 작업에도 그래픽 처리 하드웨어를 이용하기도 한다.

GPU를 활용 한 슈퍼컴퓨터라......ㅋㅋ 

예! 서울대에서 개발 했다는 GPU기반 슈퍼컴은 특수목적 업무인 주 목적이 과학 계산용 업무 에는 탁월한 수퍼컴 입니다.

 

자세히 말씀을 드리면, 노드 서버에 PCI_Express solt에 GPU 카드를 탑제하여 메인 CPU 부담을 덜어 주면서 과학계산 등 관련  업무를 빠르

게 처리 해 주는 수퍼컴 입니다.

각 노드내 서버에 GPU를 많이 탑재를 하면 만큼 성능을 많이 낼수 있습니다.

이럴 경우는 주어진 단위 부문에 즉 1대 서버에서 낼수 있는 CPU+GPU성능이 매우 높을수 있습니다.^^ㅋㅋ

이 성능을 합쳐서 세계 1등 GPU+CPU성능이라고 한다면, 뭐!!!!  그리 표현을 해도 무리는 없습니다.

 

위에서 언급 한것 처럼 GPU는 특정 업무에 유리한 그래픽코아를 활용한 계산업무에는 끝내 줄 것 같습니다.

다만, 일반업무까지 처리 하는 대중적인 슈퍼컴이라고 말 하긴 어렵습니다.

 

LSDTech 슈퍼컴은 어떤 업무에나 적용 할수 있는 대중적 슈퍼컴임을 말씀드립니다.

실제 그래픽에 국한된 3D랜더링 처리에 성능 비교를 하고 싶네요^^ㅋㅋ

 

많은 주주분및 LSDTEch를 사랑하시는 지인들께서 서울대 하고 LSDTech하고 차이가 무었이냐? 하고 엄청나게 질문이 많아서리,,,

블로그를 통하여 짧게 설명을 드렸습니다.

 

결론은 LSDTEch 수퍼컴은 상용화되어 리얼에 적용된 검증된 슈퍼컴이며, 어느 업무에나 적용 할수 있는 대중적인 수퍼컴입니다.

 

아! 그러나 서울대 슈퍼컴도 GPU기반 슈퍼컴으론 매우 성능이 뛰어난 슈퍼컴입니다. 절대 무시 하면 아니 됩니다. ^^ㅋㅋ

 

LSdTEch 대표 이기택

 

Ps 서울대 슈퍼컴 제작 관련자 분들께서 혹!!  제 의견이 미흡 할 경우 블로그에 의견 달아 주시면 감사 하겠습니다.

     아니면 메일 (ktlee1217@lsdtech.co.kr)   연락처 (010-8724-0575) 하셔도 됩니다.

   

쓰신 글을 뒤 늦게 보고, 글 드립니다.

설마 GPU 를 사용을 한다고 하셔서 그래픽 작업만 한다고 정말 생각 하시는 것은 아니신지요?

공학 해석 프로그램인 ANSYS 에서 14.x 부터는 GPU를 사용 하여 성능 개선을 하고 있습니다.(포스트, 프리가 아닌 솔빙에 사용)

그리고, 정말 공개 토론을 하실 의향이 있으신지요?

오해를 하실 가봐 한가지 더 말씀대로 Disk IO 도 중요한 요소이지만.... Disk IO 가 중요한 솔루션의 비율이 몇 프로정도 된다고 생각 하시는지요?

^^ GPU를 활용 한다고 그래픽 작업만 한다는 의견은 아닙니다. 범용성이 아직 어렵다는 것이지요?? GPU를 CPU core처럼 활용 하려면, 아직 요원하다는 의견 입니다. 1개 Card에 수백만원 하는 GPU를 활용 하는 방법과 CPU + SSD를 활용 하는것이 더 효율적이단 의견 입니다. 언제든지 공개 토론 하시죠??? 장소와 일정을 주시면 뵙겠습니다. 업무 성격에 따라 DISK IO가 많거나 적거나 그렇습니다. DISK IO를 활용한 업무 처리는 AP나 프로세스 처리가 매우 간단 합니다. 쉽고 간단하게 모든 업무를 효과적으로 처리 하자는것이 슈퍼컴의 대중화 라고 저는 판단 합니다. 댓글 감사 합니다. ㅋㅋ
답변 감사합니다.

위에 쓰신 글과 답변이 달라 당황....

그래픽 작업 밖에 못하고 글에는 비양(?) 거린신 것 같은데....

사실... 님이 쓰신글 중 몇가지 실제 슈퍼컴에서 사용하는 단위, 내용과 달라 댓글 단것입니다.

내부 CPU 처리 속도가 8GB/sec..... ?

무슨 단위를 말하는 것인지요...

참 궁금증을 유발하게 만드네요....






제 글이 편견되게 표현을 했나? 다시 읽어 보았습니다. GPU기반 슈퍼컴은 그래픽 관련 업무라는 표현이 오해 소지가 있긴 한것 같습니다. 그래픽 관련업무란 표현을 GPU 관련 업무로 표현을 했어야 오해가 없었을것 같습니다. GPU core를 범용적인 업무적용에 생각보다 까다롭더군요^^ 근본적으로 시스템 SW에서 core function을 CPU core function 에 맞게 SDK지원에 아직 문제가 많아 일부 function과 특정 업무에만 현재는 적용 가능하다는 의견을 받았구요,,, 향후 GPU가 시대흐름에 대세인 경우는 core function genernator가 나올것으로 추측은 해봅니다. 비양(?)이 아니고 범용적이지 못하다라는 직언 입니다. CPU, Memoey, DISK 등 측정 할수 있는 범용 수치가 필요 하여 일반 CPU가 메인보드에서 처리 할수 있는 성능 수치를 Bendwidth로 표현 할때 일반서버는 표준으로 2Gbps/sec 이구요. 저희는 8Gbps/sec 이라는 표현 입니다. BPS표현이 그러해서 8GB/sec으로 표현 했습니다. 실제는 8Gbps = 9.6GB/sec 수준 입니다. 제 사무실이 가산동에 있습니다. 가산동 60-25 ㅔ이스하이앤드 6차 1904호 입니다. 놀러 오시죠??ㅋㅋ
빠른 답변 감사합니다.

계속 말꼬리 잡고 늘어지는 것 같아 죄송 할 따름입니다.


우선 단위...

A gigabyte per second (GB/s or GBps) is a unit of data transfer rate equal to:
8,000,000,000 bits per second, or
1,000,000,000 bytes per second, or
1,000,000 kilobytes per second, or
1,000 megabytes per second, or
8 gigabits per second.


Gigabit per second
A gigabit per second (Gbit/s, Gb/s, or Gbps) is a unit of data transfer rate equal to:
1,000 megabits per second or
1,000,000 kilobits per second or
1,000,000,000 bits per second or
125,000,000 bytes per second


즉,말씀 하신 8Gbps 는 1GB/s


두번째..

일반 CPU 가 메인보드에서 처리 할 수 있는 성능 수치란 구체적으로 무엇을 말씀 하시는지요.?

세번째...
귀사의 슈퍼컴의 Linpack 또는 hpc challenge 자료 공개가 가능하신지요?


마지막으로... 초대 감사 합니다... 조만간 찾아 뵙죠...

여담..
말씀 하신 GPU 업무가 뭐가 있을까요? GPU 코딩 프로그램?

정말 마지막...

솔직히 타 슈퍼컴 만드신 분... 비꼬며 내가 만든 것이 최고다 라며.... 이야기를 하고... 또, 저 처럼 말꼬리 잡는 소모전... 보다는

정말 대중적인 슈퍼컴이 되기 위한 요소 기술에 대하여 논의 하는 것이 더욱 좋을 것 같습니다.

10Gbps = 1280GB/sec 입니다. 그럼 전부 이해 되시죠?? 리얼에서는 10Gbps = 1200MB/sec 입니다.
CPU가 처리 되는 장소가 어디인지요??? 메인보드 BUS내에서 처리 되는거 아시죠?? 귀하께서는 쇠덩어리내부 구조 관리는 좀더 Study가 필요 합니다. 내부 공개 못 할것도 없지요?? 다만, 모든 부품만을 외부 공수 하셨으면, HW는 조립 수준이며 구성 조합된 HW를 관리 할수 있는 SW는 개발 하시거나, Linux 공개 SW를 보안 하셨겠네요... 저희 슈퍼컴 구조는 최소한 보드내 BIOS 관리는 LSDTech에서 직접 하고 있으며, DMA, PIO(BUS), TOE 도 직접 CTL 하고 있습니다. 생각을 깊이해보시죠?? 처리하는 영역은 다르지만, 처리되는 수준이 비슷할 경우 즉 CPU, Memory, DISK가 유사하게 처리 한다면, 이것을 활용한 모든 SW들이 마춘다면, 큰 변화가 있을 것으로 저는 판단 합니다. 방법론 중 GPU를 활용하여 처리 하는것도 특정 영역업무는 매우 효과적일것입니다. 150000core 슈퍼컴 제작 한다고 발표도 했지만, 이 슈퍼컴은 일부 로드는 GPU를 탑재한 로드로 구성 할 계획입니다. GPU 512core 수준에 한로드에 8개 탑재하면, 4096core에 CPU 160core면 1개로드애 4256 GPU+CPU이니 8개 로드면 4256 * 8 = 34048core GPU기반 로드가 되겠네요.ㅋㅋ 이때는 도움을 청하도록 하겠습니다. 감사 합니다. 저도 질문 node간 10G기반인데, 귀대학은 인피니 기반인지요?? 몇십Gbps 인지요???
ㅋㅋ 제가 표현한 9.6GB 잘못 표현 했네요. 960MB/sec (1GB) 맞습니다. ㅋㅋ 1CPU당 1GB/sec * 8way = 8GB 입니다.
답변 진심으로 감사 드립니다.

말씀 하신대로 GPU를 하나의 노드에 8개를 사용을 한다면 말씀 하산 코어로 구성이 가능 하겠지요...

아니, 용어 선택 부터 고려가 되셔야 할 것입니다.

total core 34048 core accelerator core 32768core

이 경우 많은 부분이 고려가 되어야 할 것입니다.

보드상에서 지원 되는 슬롯 부터(GPU 크기로 인한 슬롯간 간섭) 이를 지원 하기 위한 파워 용량(태슬라를 사용을 한다면 이 경우 소비전력이 만만치 않다는 것은 아실 것입니다.)

말씀 하신 Bus 에 대하여서는 여전히 궁금합니다. CPU와 main board 어디간을 말씀 하시는지요?

아울러, DMA PIO 와의 관계는 무엇인지요? DMA는 PIO를 보완 하기위한 가능으로 알려져 있는데...

또, CTL이란 의미가 무엇을 말씀 하시고자 하시는지요?

말씀 하신 의미가 귀사가 모든 기능을 직접 컨트롤 할 수 있다는 것인지요?

또, BIOS 를 관리를 할 수 있다는 의미가 BIOS엔지니어가 있어 직접 코딩이 가능 하다는 의미이신지요?

정말, 보드내, BIOS를 컨트롤을 하신다면, 수정된 BIOS 사용시 일어나는 모든 장애에 대하여, 원 소스인 제조사로부터 AS에 대한 지원을 어떻게 받고자 하시는지요?

아니면, 귀사가 보드도 직접 설계를 하시는 것인지요?

혹, 이런 제반의 가술들이 귀사만의 특허 가술이라고 하시면, 특허 출원번호 및 현재 출원 상태이시면, 출원 명을 공개가 가능 하신지요? (귀사가 특허 가술이라고 한 것이 있다고 들었습니다,)


아울러, 질문의 하신 것에 대하여 답변 드립니다.

저희 연구소는 인피니벤(QDR)을 메인으로 하고 있으며, 챌시오 10G를 서브로 일부 구성이 되어 있습니다.
IO는 현재 Luster 를 사용 하고 있습니다.


마지막으로....

정말 슈퍼컴으로써 성능을 이야가를 하고자 하산다면, 최소한 HPCC test 값으로 타 시스팀과 비교 하여야 할 것입니다. 단순히 BUS 속도라... IO 속도라 하며, 문서상 수차 속도 또는 일부 강화돤 속도가 아니고요...



1. BIOS : OEM 공급이며, 소스 제너레이터 보유 하고 있습니다.
2. 동작되는 모든 부품은 보드위에서 작동을 합니다. 어떻게 작동을 하게 하느냐가 핵심입니다.
3. DMA, PIO, TOE 전부 오픈된 기술입니다. 이것들 조차 전부 보드내 BIOS상에서 컨트롤 받습니다.
4, 기존 DMA 기술은 SSD에 맞질 않습니다. 또한 보드 BUS에서 RX, TX 컨트롤을 하지 않으면, SSD를 쓰는 의미가 매우 적어집니다. TEO또한 현재 보드(현 네할램주고)내 구조와 상이한부분이 많아 실제 10Gbps 성능으로 susstaned하게 하는거 매우 어렵습니다. 단일서버(한개 Node)의 성능이 전제 성능에 영향이 있으면, 아주 구체적인 사항은 적용 SW에 따라 차이가 있습니다. 이 부분 떄문에 고민 스러운 부분이 있지요???^^!!!
5, 예전 ETRI와 기술 미팅때 한얘기인데요. HPCC Testing값 이 Testing 자체에 문제가 있다고 제언 하였습니다.
사실 슈퍼컴이 뭐 대단한 시스템 구조도 아니지 않습니다. 병렬처리기법이나, 관리하는 시스템SW가 중요 합니다. HW구조는 보드에 사용하는 부품이나 각종 CTL부품과 브릿지 연결구조에 병목이 없도록 해주고 랜더쪽은 CPU와 메모리에 병목 없이 멀티 TR 하도록 해주면 크게 문제가 없습니다. 여기에 DISK를 메인메모리이상의 속도로 받처주면,,,,,,,,,,
6, 중요한것은 SW입니다. Linux기반에서 로드단위 가상화 처리 방법이나, 가상화솔루션을 활용한 로드 VM단위 처리 방법이나 방법론 입니다. 저는 HW제작부분은 문제가 거이 없어요,,,,, 10Gbps LAN Card로 10Gbps 을 DISK IO를 통한 스트림으로 10Gbps 뽑아보세요,,, 어렵습니다. 그 누구도 현재는 못하고 있습니다. 만약 10Gbps 를 1200MB/sec 기준 네트웍으로 뽑아낸다면, 당사기술 전부 오픈 하겠습니다. 쉽지 않습니다... 아!! 쇠덩어리 구조는 부품을 포함하여 거이 현제 기술 파악이 되어 문제가 없습니다, 이제는 정합성이 맞는 SW가 중요 합니다. SW개발에 중점을 두어야 할 시기입니다. Tmax출신인데,,,,, 시스템 SW개발 해야죠?? ㅋㅋ 능력있는 중소기업 있으면 추천해주세요,,, 투자도 하려 합니다.
가능한한 SW분야도 국산화 하여 국산으로 도배 하려 합니다. 기술적으로 부품 관련 해서는 OEM이나, 인수 하려 합니다.
7. 아! 질문 QDR 인피니 성능 괜찬은지요???? 일정 수준 10G 중 9G넘어서면 CPU가 차는 현상 일반 10G에선 잡았았는데,,, 인피니는 별 관심이 없어서요,,,,, 일반 10G가 40G까지 나와서리 저희는 일반 40Gbps 카드 사용 하고 있습니다.
그런데, NODE간 TR이 40Gbps가 넘는지요????ㅋㅋ 이해가 않되서요,,,,ㅋㅋ
CPU + Memory + GPU 처리 업무에는 NODE간 TR이 1Gbps도 않넘을것 같은데,,,, 어떠하신지요?????
8. 저희는 가상화 기반 슈퍼컴이 주 목적이고, 클라우드기반 기반 입니다. 이 관련 시스템 SW는 국내외 회사와 협의 중에 있습니다.
9. 이 답변 하면서 말씀 인데요,,,, 1개 돔에 15,000core가 아닌 30,000core CPU로 제 디자인 마무리 했습니다.
E7 8way나 Opteron 16core (BEST)로 300,000core로 1차 마무리 하구요,,, 1,600,000core는 목표 슈퍼컴으로 죽기전에 만들어 보야죠????!!!!ㅋㅋ
9. 그리고 마지막 제 의견인데요,..... 귀하께서 고정관념을 바뀌시면, 정말 새로운 슈퍼컴을 개발 할수 있습니다.
DISK IO를 단순 DISK IO만으로 생각 하시는것이 귀하의 고정 관념입니다. DISK를 DISK IO에만 활용 합니까????
GPU를 활용하는 이유를 생각 해보시면, GPU역활을 DISK가 대신 할수 있다고 고민 해보세요,,,,,,,,
저는 DRAM기반, NAND기반 SSD controoler 개발자 입니다. TMAX에서 시스템 SW 개발 디자인 했구요. 테베로 DB 이름 작명가 입니다.^^ㅋㅋ 게코나 별 얘기를 다하네요,,, 보드나 레이드나, 10G카드나, 각종 쓰이는 controller 요거 제가 아주 잘 입니다. 대부분 소스 갖고 있구요. 협력하는 회사 있구요,,, 현 보드 확바꾸고 싶습니다. PCI-E 이거 없애면 전 부붐 SWAP이 가능 한거 아시죠??????? 자! 이제 그만 합시다. 할일 많고 더 이상에 정보를 줄수 없습니다. 특허는
우선권 특허 등록이 되어 있으니, 특허로에서 검색해보세요,,,, 이기택 이나, LSD테크로요,,,, 진행 중인 특허는 꽤 많습니다. 다 오픈 할지는 고민 중 입니다. 저희 회사는 연구소가 아닙니다. 비지니스 회사 입니다. 이젠 끝...

아! 마지막 GPU 사실 아주 잘 입니다. 전력 그런것은 기본 입니다. Power 요,, 용량에 맞게 2800W 입니다. 4중 구조입니다. GPU core 512 * 8개 = 4096core 이거 한께번에 잘 활용 할 SW가 없어요,,,,, HW보다 더 중요 한것이 Network이며, 더 중요 한것이 SW 입니다. 향후 우리는 SW가지고 많은 협의가 필요하며, 이 부분에 큰 투자를 계획 하고 있습니다.
말씀, 질문 감사 했습니다. 저는 LSDTech 대표 이기택입니다. 누구신지 메일이나, 문자로 아려 주시면 감사 하겠습니다.
답변 감사합니다.

크게 웃어 보았습니다.

이사님이 지난 티맥스 시절 공공기업영업이사님으로 계셨던 것 알고 있습니다.

티맥스는 박대연 교수님 때 부터 잘 알고 있습니다. ㅎㅎㅎ

그리고,,, 티맥스가 티베로 바뀜에 가슴 아파 하는 한명입니다.

네... 말씀하신대로... SW가 중요 합니다.

제 연구분야는 High Performace Computing 이며 그 중 OS & device low latency 에 대한 연구 및 병렬 프로그램밍 기법입니다.단순 연구를 떠나, 이를 상품으로 개발, 판매를 하고 있기도 합니다.

저, 한번도 Disk IO 를 단순 Disk IO로 생각한적 없습니다.



자, 그동안 감사했습니다. 크게 웃고 갑니다.



아참..특허 검색 잘 보았습니다. 전문 천천이 읽이 보겠습니다. ㅎㅎㅎ 너무 광범위한 분야로 확대가 되어 있군요...



서울대 천둥 슈퍼컴을 주관적인 관점에서 표현 한것이 지금 보니 잘못 된 것 같습니다. 일부 글을 수정 하였습니다.
서울대 이재진교수께 사과 의견 드립니다.ㅋㅋ 사실 이글을 제가 직접 써야 되는데,,, 서울대 슈퍼컴 개발자 모든 분들께 대신 사과 드립니다. 천둥 그넘 GPU 통합 알고리즘 SW 받아야 하는데,,,,,,, 이재진교수께서 언제 줄려나??