서울 슈퍼컴퓨팅 센터의 자원

Server

슈퍼컴퓨팅센터 서버 ( PC : 31대 + Storage RAID 서버 : 2대 )

• 재산은 슈퍼컴퓨팅센터 소속으로 잡혀있다. 즉, 센터의 소속이 자연과학연구소 소속에서 다른 부서로 이전될 경우 누락된다.
• 이중 20대는 PLSI연동 노드(t2c001~t2c020) 로 사용 중이며, 10대는 CMS의 병렬 작업노드(t2cpu0021~t2cpu0030)로 사용 중이다.
• 현재 t2c008번은 수리 중
• Raid 서버는 Lustre를 지원하기 위한 서버이다. 24베이 짜리인데, 현재는 Raid6로 모든 노드를 묶어서 사용되고 있다.

KCMS 서버 ( PC : 8대 )

• KCMS 서버들은 uosaf0001~uosaf0008 8대로 사용 중
• uosaf0001~uosaf0004 까지는 CMS유저들을 위한 로그인 및 작업 서버로 설정되어 있다.
  • 소프트웨어[CMSSW] 항목 참조
• uosaf0005~uosaf0008 까지는 EGEE의 그리드 컴퓨팅 사용을 위한 서버로 예비되어 있거나 사용 중이다.
  • uosaf0006은 site-BDII 서버로 사용 중이다.
  • uosaf0007은 glite-SE 서버로 사용 중이다.
  • uosaf0008은 glite-CE 서버로 사용 중이다.
  • uosaf0005는 VOBOX 혹은 예비 서버 로 사용될 예정이다.

PLSI 서버 ( PC : 1대 )

• 현재 구매 후 설치 예정 서버.
• PLSI 노드로 사용될 예정이다.

실험실 서버 ( PC : 1대 + 예비 128대)

• t2-lg01 서버는 PLSI의 로그인 서버 사용되는 서버이다.
• 예비 128대는 기존 lustre FS를 위해 사용되었던 노드들이다. 현재 수명이 다되어 새 서버들에 의해 하나씩 교체되고 있다.

Network

KREONET

• KREONET은 KISTI에서 제공하는 네트워크로 해외에 GLORIAD와 연동되는 초고속 통신망이다.
• 현재 홍릉 KISTI와 SSCC간은 10G 대역폭으로 연결되어 있다.
• 사용되는 IP대역은 210.219.52.0/24
• 공인아이피 대역이므로 외부에서 접속 가능한 서버들은 이 네트워크 대역을 사용해야 한다.
  • KCMS 서버들(uosaf0001~0008)

PLSI

• PLSI는 원격거리 내부망을 사용하여 네트워크 작업을 한다.
• 실제로 사용되는 통신망은 SSCC의 경우 KREONET을 사용한다.
• 사용되는 IP대역은 134.75.139.0/24
  • t2-lg01, t2c001~t2c020

내부네트워크

• 내부 네트워크 연결은 임의로 지정된 아이피 대역으로 이어져 있다.
• 사용되는 IP대역은 192.168.10.0/24
  • 모든 서버들

Software

Lustre

Lustre란?

• Lustre는 대용량 파일을 관리하기 위한 병렬 파일시스템이다.

Lustre의 특징

• 비슷한 프로그램들이 유저레벨에서의 통합을 추구하는 반면 Lustre는 반드시 커널컴파일 과정 혹은 모듈 설치 과정 을 거쳐 Lustre모듈을 설치해야 한다. 이러한 특징 때문에 파일시스템의 속도가 커널 수정이 필요 없는 프로그램들에 비해 빠른 편이다.

Lustre는 단일서버 에서 메타데이터 를 관리하는 구조이기 때문에 메타 데이터 서버의 손상에 매우 큰 영향을 받는다. 이러한 단점을 극복하기 위한 차세대 파일시스템이 개발되고 있다.

추후 Lustre에 중요한 정보를 저장한다면 메타데이터의 이중화를 반드시 강구할 것!

Lustre의 현재 상태

• Lustre 서버들은 192.168.10.50, 51, 52 아이피를 사용하고 있는 uossemaster/Lustre MDS 와 se01,se02/Lustre OSS 이다. 다음은 몇 가지 고려사항이다.
  • 각 서버들은 IP bonding 기술을 이용하여 대역폭을 2배로 늘려야 한다. 워낙에 데이터 이동량이 많기 때문이다.
  • 현재 Lustre OSS는 하나의 OST로 8TB 제한이 있다. 이는 추후 업그레이드가 될 예정이기는 하다. 따라서, 중요한 데이터를 다루기 이전에 lustre 업그레이드가 가능한지 확인을 해보자.
  • 각 서버들의 방화벽 설정을 반드시 확인해야 한다.

기본적으로 내부 네트워크로만 연결 되는 서버들끼리는 아무런 방화벽 설정이 없어도 된다.

Lustre와 Raid는 상성이 좋지 않다. 둘다 하려다가 잘 안되면 Raid를 포기하는 것이 낫다. Fail-over 설정을 하도록 하자.

Lustre 설치법

• Lustre MDS/OSS 설치법
  • Lustre MDS 서버를 설치할 서버와 디스크(OS설치 디스크 말고, 혹은 파티션을 나눠도 됨)를 지정한다.
  • MDS용 RPM 패키지를 다운 받는다. ( http://www.whamcloud.com/ )

        lustre-<version>
        kernel-lustre-<version>
        lustre-ldiskfs-<version>
        lustre-modules-<version>
        e2fsprogs-<version>      

  • RPM패키지를 설치한다.
  • 재부팅 한다.
  • Lustre 파일시스템으로 포맷한다.

     mkfs.lustre --fsname=<LABEL> --mdt --mgs /dev/hdX 

  • 마운트 한다.

     mount -t lustre /dev/hdX /lustre 

• Lustre Client 설치법
  • Lustre 커널로 변경해도 괜찮은 경우라면 MDS/OSS설치법과 같이 설치한 후에

    lustre-client-<version>, lustre-client-modules-<version> 

    만 추가 설치한다.

CMSSW

CMSSW란?

• CMSSW는 LHC 가속기의 CMS 검출기에서 측정한 데이터를 분석/전산모사 하기 위한 소프트웨어 이다.

CMSSW 설치 순서

-- GunmoRyu - 14 Dec 2011