MPI 환경설정 및 작업 제출 방법(2021.03)
슈퍼컴퓨팅인프라센터 2019. 4. 30. 09:52
Last updated
슈퍼컴퓨팅인프라센터 2019. 4. 30. 09:52
Last updated
뉴론 시스템에는 mvapich2와 openmpi가 설치되어 있습니다. 이 문서에서는 MPI 기반 작업들을 slurm 스케쥴러를 이용해 작업 제출하는 방법에 대해 기술하고 있습니다.
뉴론 시스템에 설치되어 있는 mvapich2를 활용하기 위해서는 아래와 같은 module 명령으로 사용가능한 모듈 목록 및 모듈 사용법을 확인합니다.
2019년 5월 현재 뉴론 시스템에는 mvapich2-2.3이 설치되어 있으며, 이것은 gcc-4.8.5, intel-18.0.2, pgi-19.1 컴파일러로 빌드한 버전들이 존재합니다. 이를 사용하기 위해서는 위에 언급된 바와 같이 다음과 같이 module 명령어를 사용합니다.
작업제출 방법(배치 작업용)은 다음과 같습니다.
[작업스크립트 예제]
인터랙티브 작업 제출 방법은 다음과 같습니다.
* 설명 : ivy_v100_2 파티션의 gpu 2노드(각각 2core, 2gpu)를 interactive 용도로 사용
※ Application별 SBATCH 옵션 이름표 참고
※ 2시간 이상 미사용시 타임아웃으로 작업이 종료되고 자원이 회수됨, 인터렉티브 작업의 walltime은 최대 12시간으로 고정됨
※ 2시간 이상 키보드 미입력시 타임아웃으로 작업이 종료되고 자원이 회수됨\ ※ 헤드 노드에 접속한 후에는 srun을 통한 작업 제출 불가능
※ Job ID는 squeue 명령으로 확인 가능
mvapich2와 마찬가지로 뉴론 시스템에 설치된 openmpi를 사용하기 위해서는 다음과 같은 module 명령을 이용해 사용가능한 목록 및 사용방법을 확인합니다.
2019년 5월 현재 뉴론 시스템에는 openmpi-3.1.0 가 설치되어 있으며, 이것은 gcc-4.8.5, intel-18.0.2, pgi-19.1 컴파일러로 빌드되어 있습니다. 이를 사용하기 위해서는 다음과 같은 module 명령어를 사용합니다.
작업제출 방법(배치 작업용)은 다음과 같습니다.
[작업스크립트 예제]
인터랙티브 작업 제출 방법은 다음과 같습니다.
* 설명 : ivy_v100_2 파티션의 gpu 2노드(각각 2core, 2gpu)를 interactive 용도로 사용
※ Application별 SBATCH 옵션 이름표 참고
※ 2시간 이상 미사용시 타임아웃으로 작업이 종료되고 자원이 회수됨, 인터렉티브 작업의 walltime은 최대 12시간으로 고정됨
※ 2시간 이상 키보드 미입력시 타임아웃으로 작업이 종료되고 자원이 회수됨\ ※ 헤드 노드에 접속한 후에는 srun을 통한 작업 제출 불가능
※ Job ID는 squeue 명령으로 확인 가능
#!/bin/sh
#SBATCH -J test
#SBATCH -p ivy_v100_2
#SBATCH -N 2
#SBATCH -n 2
#SBATCH -o test.o%j
#SBATCH -e test.e%j
#SBATCH --time 00:30:00
#SBATCH --gres=gpu
srun ./hello
# 작업 이름 # partition 이름 # 총 필요한 컴퓨팅 노드 수 # 총 필요한 프로세스 수 # stdout 파일 명 # stderr 파일 명 # 최대 작업 시간 (Wall Time Clock Limit)
# GPU를 사용하기 위한 옵션
# hello는 MPI기반 어플리케이션
#!/bin/sh
#SBATCH -J test
#SBATCH -p ivy_v100_2
#SBATCH -N 2
#SBATCH -n 2
#SBATCH -o test.o%j
#SBATCH -e test.e%j
#SBATCH --time 00:30:00
#SBATCH --gres=gpu
srun ./hello
# 작업 이름 # partition 이름 # 총 필요한 컴퓨팅 노드 수 # 총 필요한 프로세스 수 # stdout 파일 명 # stderr 파일 명 # 최대 작업 시간 (Wall Time Clock Limit)
# GPU를 사용하기 위한 옵션
# hello는 MPI기반 어플리케이션