사용자 프로그래밍 환경

가. 프로그래밍 도구 설치 현황

컴파일러 및 라이브러리 모듈
- Abaqus는 2023년 8월 9일로 서비스 재개되었음

구분

아키텍처

구분 모듈

∙ craype-mic-knl

∙ craype-x86-skylake

컴파일러

∙ intel/17.0.5

∙ intel/18.0.1

∙ intel/18.0.3

∙ intel/19.0.1

∙ intel/19.0.4

∙ intel/19.0.5 ∙ intel/19.1.2 ∙ intel/oneapi_21.2

∙ cce/8.6.3

∙ gcc/6.1.0

∙ gcc/7.2.0

∙ gcc/8.3.0

∙ pgi/18.10

∙ pgi/19.1

컴파일러 의존

라이브러리

∙ hdf4/4.2.13

∙ hdf5/1.10.2

∙ lapack/3.7.0

∙ ncl/6.7.0

∙ ncview/2.1.7

∙ NCO/4.7.4

∙ netcdf/4.6.1

MPI

∙ impi/17.0.5

∙ impi/18.0.1

∙ impi/18.0.3

∙ impi/19.0.1

∙ impi/19.0.4

∙ impi/19.0.5 ∙ impi/19.1.2 ∙ impi/oneapi_21.2

∙ mvapich2/2.3

∙ mvapich2/2.3.1

∙ openmpi/3.1.0

∙ mvapich-verbs/2.2.ddn1.4

∙ ime/mvapich-verbs/2.2.ddn1.4

MPI 의존

라이브러리

∙ fftw_mpi/2.1.5

∙ fftw_mpi/3.3.7

∙ hdf5-parallel/1.10.2

∙ netcdf-hdf5-parallel/4.6.1

∙ parallel-netcdf/1.10.0

∙ pio/2.3.1

상용 소프트웨어

∙ Abaqus/6.14-6

∙ Abaqus/2016

∙ Abaqus/2017

∙ Abaqus/2018

∙ Abaqus/2019

∙ Abaqus/2020

∙ Abaqus/2021

∙ Abaqus/2022

∙ Abaqus/2023

∙ gaussian/g16.a03

∙ gaussian/g16.a03.linda

∙ gaussian/g16.b01.linda

∙ gaussian/g16.c01.linda

∙ cfx/v145 ∙ cfx/v170 ∙ cfx/v181 ∙ cfx/v191 ∙ cfx/v192 ∙ cfx/v195 ∙ cfx/v201 ∙ cfx/v202

∙ cfx/v212 ∙ cfx/v221 ∙ cfx/v222 ∙ cfx/v231

∙ cfx/v232 ∙ fluent/v145 ∙ fluent/v170 ∙ fluent/v181 ∙ fluent/v191 ∙ fluent/v192 ∙ fluent/v195 ∙ fluent/v201 ∙ fluent/v202

∙ fluent/v212 ∙ fluent/v221 ∙ fluent/v222

∙ fluent/v231 ∙ fluent/v232

응용 소프트웨어

∙ cp2k/5.1.0

∙ cp2k/6.1.0

∙ ferret/7.4.3

∙ forge/18.1.2

∙ grads/2.2.0

∙ gromacs/2016.4

∙ gromacs/2018.6

∙ gromacs/2020.2

∙ gromacs/5.0.6

∙ lammps/12Dec18

∙ lammps/8Mar18 ∙ lammps/3Mar20

∙ namd/2.12

∙ namd/2.13

∙ PETSc/3.8.4

∙ python/2.7.15

∙ python/3.7

∙ python/3.9.5

∙ qe/6.1

∙ qe/6.4.1

∙ qe/6.6

∙ R/3.5.0

∙ R/4.2.1

∙ siesta/4.0.2

∙ siesta/4.1-b3

가상화 모듈

∙ singularity/3.6.4

∙ singularity/3.9.7

∙ conda/pytorch_1.0

∙ conda/tensorflow_1.13

∙ conda/intel_caffe_1.1.5

Intel

디버깅 모듈

∙ advisor/17.0.5

∙ advisor/18.0.1

∙ advisor/18.0.3

∙ advisor/18.0.3a

∙ vtune/17.0.5

∙ vtune/18.0.1

∙ vtune/18.0.2

∙ vtune/18.0.3

Cray 모듈

∙ cdt/17.10

∙ cray-ccdb/3.0.3

∙ cray-cti/1.0.6

∙ cray-fftw/3.3.6.2

∙ cray-fftw_impi/3.3.6.2

∙ cray-impi/1.1.4

∙ cray-lgdb/3.0.7

∙ cray-libsci/17.09.1

∙ craype/2.5.13

∙ craypkg-gen/1.3.5

∙ chklimit/1.0

∙ vapich2_cce/2.2rc1.0.3_noslurm

∙ vapich2_gnu/2.2rc1.0.3_noslurm

∙ papi/5.5.1.3

∙ perftools/6.5.2

∙ perftools-bas/6.5.2

∙ perftools-lite/6.5.2

∙ PrgEnv-cray/1.0.2

∙ libfabric/1.7.0

∙ pbs/trace

∙ pbs/tools

etc

∙ cmake/3.12.3

∙ cmake/3.17.4

∙ cmake/3.26.2

∙ common/memkind-1.9.0

∙ git/1.8.3.4

∙ git/2.35.1

∙ IGPROF/5.9.16

∙ ImageMagick/7.0.8-20

∙ perl/5.28.1

∙ qt/4.8.7

∙ qt/5.9.6

∙ subversion/1.7.19

∙ subversion/1.9.3

apps/Modules/modulefiles/test 은 test 모듈임
ANSYS 사용이 가능한 사용자 그룹은 대학교, 산업체(중소기업), 출연연구소에 한함.
- 사용 가능 사용자 그룹이 아니거나 사용 신청을 하지 않은 타 기관 사용자에 의한 ANSYS 사용은 ANSYS 사에 의해 법적 제재를 당할 수 있음에 유의하시기 바랍니다.
Abaqus 사용이 가능한 사용자 그룹은 대학교, 산업체(중소기업), 출연연구소에 한함
- 사용 가능 사용자 그룹이 아니거나 사용 신청을 하지 않은 타 기관 사용자에 의한 Abaqus 사용은 다쏘시스템코리아에 의해 법적 제재를 당할 수 있음에 유의하시기 바랍니다.
Gaussian은 helpdesk 계정담당자(account@ksc.re.kr)를 통해 사용권한 신청 후 사용 가능함
공통 라이브러리(예: cairo, expat, jasper, libpng, udunits 등) 설치 현황은 [별첨 5]을 참조

나. 컴파일러 사용법

1. 컴파일러 및 MPI 환경설정(modules)

1) 기본 필요 모듈

사용할 계산 노드에 해당되는 모듈 하나를 반드시 추가해야 한다.

사용할 계산 노드

KNL

SKL

모듈명

craype-mic-knl

craype-x86-skylake

$ module load craype-mic-knl
혹은
$ module load craype-x86-skylake

2) 모듈 관련 기본 명령어

사용 가능한 모듈 목록 출력
사용할 수 있는 컴파일러, 라이브러리 등의 모듈 목록을 확인할 수 있다.

$ module avail
혹은 
$ module av

사용할 모듈 추가
사용하고자 하는 컴파일러, 라이브러리 등의 모듈을 추가할 수 있다.
사용할 모듈들을 한번에 추가할 수 있다.

$ module load [module name] [module name] [module name] …
혹은
$ module add [module name] [module name] [module name] …

예)
$ module load intel/19.1.2 impi/19.1.2 python/3.7

사용 모듈 삭제
필요 없는 모듈을 제거한다. 이 때 한번에 여러 개의 모듈을 삭제할 수 있다.

$ module unload [module name] [module name] [module name] ...
혹은
$ module rm [module name] [module name] [module name] ...

사용 모듈 목록 출력
현재 설정된 모듈 목록을 확인할 수 있다.

$ module list
혹은
$module li

전체 사용 모듈 일괄 삭제

$ module purge

이 경우, 기본 필요 모듈도 일괄 삭제되므로, 모듈 재사용 시 기본 필요 모듈을 다시 추가해야 한다.

기타 module 활용 예시
- module help 명령 (도움말 보기)

$ module help [module name]

module show 명령 (설정 환경변수 확인)

$ module show [module name]

2. 순차 프로그램 컴파일

순 프로그램은 병렬 프로그램 환경을 고려하지 않은 프로그램을 말한다. 즉, OpenMP, MPI와 같은 병렬 프로그램 인터페이스를 사용하지 않는 프로그램으로써, 하나의 노드에서 하나의 프로세서만 사용해 실행되는 프로그램이다. 순차 프로그램 컴파일 시 사용되는 컴파일러별 옵션은 병렬 프로그램을 컴파일 할 때도 그대로 사용되므로, 순차 프로그램에 관심이 없다 하더라도 참조하는 것이 좋다.

1) Intel 컴파일러

Intel 컴파일러를 사용하기 위해서 필요한 버전의 Intel 컴파일러 모듈을 추가하여 사용한다. 사용 가능한 모듈은 module avail로 확인할 수 있다.

$ module load intel/18.0.3

※ 프로그래밍 도구 설치 현황 표를 참고하여 사용가능 버전 확인

컴파일러 종류

컴파일러

프로그램

소스 확장자

icc / icpc

C / C++

.C, .cc, .cpp, .cxx,.c++

ifort

F77/F90

.f, .for, .ftn, .f90, .fpp, .F, .FOR, .FTN, .FPP, .F90

컴파일러 옵션

컴파일러 옵션

설명

-O[1|2|3]

오브젝트 최적화. 숫자는 최적화 레벨

-ip, ipo

프로시저 간 최적화

-qopt_report=[0|1|2|3|4]

벡터 진단 정보의 양을 조절

-xCORE-AVX512 -xMIC-AVX512

512bits 레지스터를 가진 CPU를 지원 (SKL 노드 사용 계산의 경우) 512bits 레지스터를 가진 MIC를 지원 (KNL노드 사용 계산의 경우)

-fast

-O3 -ipo -no-prec-div -static, -fp-model fast=2 매크로

-static/-static-intel/ -i_static

공유 라이브러리를 링크하지 못하게 함

-shared/-shared-intel/ -i_dynamic

공유 라이브러리를 링크를 함

-g -fp

디버깅 정보를 생성

-qopenmp

OpenMP 기반의 multi-thread 코드 사용

-openmp_report=[0|1|2]

OpenMP 병렬화 진단 레벨 조절

-ax -axS

특정 프로세서에 최적화된 코드를 생성 SIMD Extensions4(SSE4) 벡터라이징 컴파일러와 미디어 가속 명령어들을 활용하는 특화된 코드를 생성

-tcheck

스레드 기반의 프로그램의 분석을 활성화 함

-pthread

멀티스레딩 지원을 받기 위해 pthread 라이브러리를 추가 함

-msse<3,4.1>,-msse3

Streaming SIMD Extensions 3 지원

-fPIC,fpic

PIC (Position Independent Code)가 되도록 컴파일

-p

프로파일링 정보를 생성(gmon.out)

-unroll

unroll활성화, 은 최대 횟수 (64비트만 지원)

-mcmodel medium

2GB이상의 memory allocation이 필요한 경우 사용

-help

옵션 목록 출력

Intel 컴파일러 사용 예제 다음은 KNL 계산노드에서 test 예제파일을 intel 컴파일러로 컴파일하여 실행파일 test.exe를 만드는 예시임

$ module load craype-mic-knl intel/18.0.3
$ icc –o test.exe –O3 –fPIC –xMIC-AVX512 test.c
혹은
$ ifort -o test.exe -O3 -fPIC -xMIC-AVX512 test.f90
$ ./test.exe

※ /apps/shell/home/job_examples 에서 작업제출 test 예제파일을 복사하여 사용 가능

권장 옵션

계산노드

권장옵션

SKL

-O3 –fPIC –xCORE-AVX512

KNL

-O3 -fPIC -xMIC-AVX512

SKL & KNL

-O3 –fPIC -xCOMMON-AVX512

2) GNU 컴파일러

GNU 컴파일러를 사용하기 위해서 필요한 버전의 GNU 컴파일러 모듈을 추가하여 사용한다. 사용 가능한 모듈은 module avail로 확인할 수 있다.

$ module load gcc/7.2.0

※ 프로그래밍 도구 설치 현황 표를 참고하여 사용가능 버전 확인

※ 반드시 "gcc/6.1.0" 이상 버전을 사용

컴파일러 종류

컴파일러

프로그램

소스 확장자

gcc / g++

C / C++

.C, .cc, .cpp, .cxx,.c++

gfortran

F77/F90

.f, .for, .ftn, .f90, .fpp, .F, .FOR, .FTN, .FPP, .F90

GNU 컴파일러 옵션

컴파일러 옵션

설명

-O[1|2|3]

오브젝트 최적화. 숫자는 최적화 레벨

-march=skylake-avx512 -march=knl

512bits 레지스터를 가진 CPU를 지원 (SKL 노드 사용 계산의 경우) 512bits 레지스터를 가진 MIC를 지원 (KNL 노드 사용 계산의 경우)

-Ofast

-O3 -ffast-math 매크로

-funroll-all-loops

모든 루프를 unrolling함

-ffast-math

fast floating point model 사용

-mline-all-stringops

더 많은 inlining 허용, memcpy, strlen, memsetdp 의존적인 코드의 성능을 향상 시킴

-fopenmp

OpenMP 기반의 multi-thread 코드 사용

-g

디버깅 정보를 생성

-pg

프로파일링 정보를 생성(gmont.out)

-fPIC

PIC(Position Independent Code)가 생성되도록 컴파일

-help

옵션 목록 출력

GNU 컴파일러 사용 예제

다음은 KNL 계산노드에서 test 예제파일을 GNU 컴파일러로 컴파일하여 실행파일 test.exe를 만드는 예시임

$ module load craype-mic-knl gcc/7.2.0
$ gcc –o test.exe -O3 -fPIC -march=knl test.c
혹은
$ gfortran –o test.exe -O3 -fPIC -march=knl test.f90
$ ./test.exe

※ /apps/shell/home/job_examples 에서 작업제출 test 예제파일을 복사하여 사용 가능

권장 옵션

계산노드

권장옵션

SKL

-O3 -fPIC -march=skylake-avx512

KNL

-O3 -fPIC -march=knl

SKL & KNL

-fPIC -mpku

3) PGI 컴파일러

PGI 컴파일러를 사용하기 위해서 필요한 버전의 PGI 컴파일러 모듈을 추가하여 사용한다. 사용 가능한 모듈은 module avail로 확인할 수 있다.

$ module load pgi/18.10

※ 프로그래밍 도구 설치 현황 표를 참고하여 사용가능 버전 확인

컴파일러 종류

컴파일러

프로그램

소스 확장자

pgcc / pgc++

C / C++

.C, .cc, .cpp, .cxx, .c++

pgfortran

F77/F90

.f, .for, .ftn, .f90, .fpp, .F, .FOR, .FTN, .FPP, .F90

PGI 컴파일러 옵션

컴파일러 옵션

설명

-O[1|2|3|4]

오브젝트 최적화. 숫자는 최적화 레벨

-Mipa=fast

프로시저 간 최적화

-fast

-O2 -Munroll=c:1 -Mnoframe -Mlre –Mautoinline 의 매크로

-fastsse

SSE, SSE2를 지원하는 최적화

-g, -gopt

디버깅 정보를 생성

-mp

OpenMP 기반의 multi-thread 코드 사용

-Minfo=mp, ipa

OpenMP관련 정보, 프로시저 간 최적화

-pg

프로파일링 정보를 생성(gmon.out)

-Mprof=time

-Mprof=func

-Mprof=lines

PGPROF output file 생성

- time에 기초한 명령어 단위의 프로파일링 정보를 생성, 많이 사용됨

- function 단위의 프로파일링 정보를 생성

- line 단위의 프로파일링 정보를 생성

(-Mprof=lines의 경우 overhead의 증가로 계산시간이 매우 느려질 수 있음)

-mcmodel medium

2GB이상의 memory allocation이 필요한 경우 사용

-tp=skylake

-tp=knl

Skylake 아키텍쳐 프로세서 전용 옵션

KNL 아키텍쳐 프로세서 전용 옵션

-fPIC

PIC(Position Independent Code)가 생성되도록 컴파일

-help

옵션 목록 출력

PGI 컴파일러 사용 예제

다음은 KNL 계산노드에서 test 예제파일을 PGI 컴파일러로 컴파일하여 실행파일 test.exe를 만드는 예시임

$ module load craype-mic-knl pgi/18.10
$ pgcc –o test.exe -fast –tp=knl test.c
혹은
$ pgfortran –o test.exe -fast –tp=knl test.f90
$ ./test.exe

※ /apps/shell/home/job_examples 에서 작업제출 test 예제파일을 복사하여 사용 가능

권장 옵션

계산노드

권장옵션

SKL

-fast –tp=skylake

KNL

-fast –tp=knl

SKL & KNL

-fast –tp=skylake,knl

4) Cray 컴파일러

Cray 컴파일러를 사용하기 위해서 필요한 버전의 Cray 컴파일러 모듈을 추가하여 사용한다. 사용 가능한 모듈은 module avail로 확인할 수 있다.

$ module load cce/8.6.3

※ 프로그래밍 도구 설치 현황 표를 참고하여 사용가능 버전 확인

컴파일러 종류

컴파일러

프로그램

소스 확장자

cc / CC

C / C++

.C, .cc, .cpp, .cxx,.c++

ftn

F77/F90

.f, .for, .ftn, .f90, .fpp, .F, .FOR, .FTN, .FPP, .F90

컴파일러 옵션

컴파일러 옵션

설명

-O[1|2|3]

오브젝트 최적화. 숫자는 최적화 레벨

-hcpu=mic-knl

512bits 레지스터를 가진 MIC를 지원

-Oipa[0

-hunroll[0|1|2]

Unrolling 옵션. Default 2인 경우모든 루프를 unrollinig

-hfp[0|1|2|3|4]

Floating_Point 최적화

-h omp(default)

OpenMP 기반의 multi-thread 코드 사용

-g | -G0

디버깅 정보를 생성

-h pic

2GB이상의 static memory가 필요한 경우 사용(-dynamic 함께 사용)

-dynamic

공유 라이브러리를 링크 함

Cray 컴파일러 사용 예제

다음은 KNL 계산노드에서 test 예제파일을 Cray 컴파일러로 컴파일하여 실행파일 test.exe를 만드는 예시임

$ module load craype-mic-knl cce/8.6.3 PrgEnv-cray/1.0.2
$ cc –o test.exe –hcpu=mic-knl test.c
혹은
$ ftn –o test.exe –hcpu=mic-knl test.f90
$ ./test.exe

※ /apps/shell/home/job_examples 에서 작업제출 test 예제파일을 복사하여 사용 가능

권장 옵션

계산노드

권장옵션

SKL

기본값

KNL

-hcpu=mic-knl

SKL & KNL

기본값

※ 테스트를 위한 test.c 및 test.f90등은 /apps/shell/home/job_examples 에서 확인 가능 (사용자 디렉토리로 복사하여 테스트)

※ KNL 최적화 옵션을 사용할 프로그램은 KNL debug 노드로 인터렉티브 작업 제출을 통해 접속한 후 컴파일하는 것을 권장(“스케줄러를 통한 작업실행 → 나. 작업제출 모니터링 → 2) 인터렉티브 작업제출” 참고)

3. 병렬 프로그램 컴파일

1) OpenMP 컴파일

OpenMP는 컴파일러 지시자만으로 멀티 스레드를 활용할 수 있도록 간단하게 개발된 기법으로 OpenMP를 사용한 병렬 프로그램 컴파일 시 사용되는 컴파일러는 순차프로그램과 동일하며, 컴파일러 옵션을 추가하여 병렬 컴파일을 할 수 있는데, 현재 대부분의 컴파일러가 OpenMP 지시자를 지원한다.

컴파일러 옵션

프로그램

옵션

icc / icpc / ifort

C / C++ / F77/F90

-qopenmp

gcc / g++ / gfortran

C / C++ / F77/F90

-fopenmp

cc / CC /ftn

C / C++ / F77/F90

-homp

pgcc / pgc++ / pgfortran

C / C++ / F77/F90

-mp

OpenMP 프로그램 컴파일 예시 (Intel 컴파일러)

다음은 KNL 계산노드에서 openMP를 사용하는 test_omp 예제파일을 intel 컴파일러로 컴파일하여 실행파일 test_omp.exe를 만드는 예시임

$ module load craype-mic-knl intel/18.0.3
$ icc -o test_omp.exe -qopenmp -O3 -fPIC –xMIC-AVX512 test_omp.c
혹은
$ ifort -o test_omp.exe -qopenmp -O3 -fPIC –xMIC-AVX512 test_omp.f90
$ ./test_omp.exe

OpenMP 프로그램 컴파일 예시 (GNU 컴파일러)

다음은 KNL 계산노드에서 openMP를 사용하는 test_omp 예제파일을 GNU 컴파일러로 컴파일하여 실행파일 test_omp.exe를 만드는 예시임

$ module load craype-mic-knl gcc/7.2.0
$ gcc -o test_omp.exe -fopenmp -O3 -fPIC -march=knl test_omp.c
혹은
$ gfortran -o test_omp.exe -fopenmp -O3 -fPIC -march=knl test_omp.f90
$ ./test_omp.exe

OpenMP 프로그램 컴파일 예시 (PGI 컴파일러)

다음은 KNL 계산노드에서 openMP를 사용하는 test_omp 예제파일을 PGI 컴파일러로 컴파일하여 실행파일 test_omp.exe를 만드는 예시임

$ module load craype-mic-knl pgi/18.10
$ pgcc –o test_omp.exe -mp -fast test_omp.c
혹은
$ pgfortran –o test_omp.exe -mp -fast test_omp.f90
$ ./test_omp.exe

OpenMP 프로그램 컴파일 예시 (Cray 컴파일러)

다음은 KNL 계산노드에서 openMP를 사용하는 test_omp 예제파일을 Cray 컴파일러로 컴파일하여 실행파일 test_omp.exe를 만드는 예시임

$ module load craype-mic-knl cce/8.6.3 PrgEnv-cray/1.0.2
$ cc -o test_omp.exe -homp -hcpu=mic-knl test_omp.c
혹은
$ ftn -o test_omp.exe -homp -hcpu=mic-knl test_omp.f90
$ ./test_omp.exe

2) MPI 컴파일

사용자는 다음 표의 MPI 명령을 실행할 수 있는데, 이 명령은 일종의 wrapper로써 .bashrc를 통해 지정된 컴파일러가 소스를 컴파일하게 된다.

구분

Intel

GNU

PGI

Cray

Fortran

ifort

gfortran

pgfortran

ftn

Fortran + MPI

mpiifort

mpif90

ftn

icc

gcc

pgcc

C + MPI

mpiicc

mpicc

C++

icpc

g++

pgc++

C++ + MPI

mpiicpc

mpicxx

mpicc로 컴파일을 하더라도, 옵션은 wrapping되는 본래의 컴파일러에 해당하는 옵션을 사용해야 한다.

MPI 프로그램 컴파일 예시 (Intel 컴파일러)

다음은 KNL 계산노드에서 MPI를 사용하는 test_mpi 예제파일을 Intel 컴파일러로 컴파일하여 실행파일 test_mpi.exe를 만드는 예시임

$ module load craype-mic-knl intel/18.0.3 impi/18.0.3
$ mpiicc -o test_mpi.exe -O3 -fPIC -xMIC-AVX512 test_mpi.c
혹은
$ mpiifort -o test_mpi.exe -O3 -fPIC -xMIC-AVX512 test_mpi.f90
$ mpirun -np 2 ./test_mpi.exe

MPI 프로그램 컴파일 예시 (GNU 컴파일러)

다음은 KNL 계산노드에서 MPI를 사용하는 test_mpi 예제파일을 GNU 컴파일러로 컴파일하여 실행파일 test_mpi.exe를 만드는 예시임

$ module load craype-mic-knl gcc/7.2.0 openmpi/3.1.0
$ mpicc -o test_mpi.exe -O3 -fPIC -march=knl test_mpi.c
혹은
$ mpif90 -o test_mpi.exe -O3 -fPIC -march=knl test_mpi.f90
$ mpirun -np 2 ./test_mpi.exe

MPI 프로그램 컴파일 예시 (PGI 컴파일러)

다음은 KNL 계산노드에서 MPI를 사용하는 test_mpi 예제파일을 PGI 컴파일러로 컴파일하여 실행파일 test_mpi.exe를 만드는 예시임

$ module load craype-mic-knl pgi/18.10 openmpi/3.1.0
$ mpicc -o test_mpi.exe -O3 -fPIC -tp=knl test_mpi.c
혹은
$ mpifort -o test_mpi.exe -O3 -fPIC -tp=knl test_mpi.f90
$ mpirun -np 2 ./test_mpi.exe

MPI 프로그램 컴파일 예시 (Cray 컴파일러)

다음은 KNL 계산노드에서 MPI를 사용하는 test_mpi 예제파일을 Cray 컴파일러로 컴파일하여 실행파일 test_mpi.exe를 만드는 예시임

$ module load craype-mic-knl cce/8.6.3 PrgEnv-cray/1.0.2
$ cc -o test_mpi.exe -hcpu=mic-knl test_mpi.c
혹은
$ ftn -o test_mpi.exe -hcpu=mic-knl test_mpi.f90
$ mpirun -np 2 ./test_mpi.exe

다. 디버거 및 프로파일러

5호기 누리온 시스템 베타서비스는 사용자의 프로그램 디버깅을 위하여 DDT를 제공한다. 또한 사용자의 프로그램 프로파일링을 위하여 Intel vtune와 CaryPat 두 가지의 프로파일러를 제공한다.

1. 디버거 DDT 사용예제

5호기 시스템에서 DDT를 사용하기 위하여 사용할 아키텍처, 컴파일러, MPI를 선택하고 DDT를 사용하기 위한 모듈까지 선택한다.

$ module load craype-mic-knl or craype-x86-skylake
$ module load intel/17.0.5 impi/17.0.5
$ module load forge/18.1.2

본 예제는 위와 같은 황경에서 테스트 되었다.
DDT를 사용하기 전 사전 준비로 컴파일 시 -g -O0 옵션을 넣어 실행파일을 선택한다.

$ mpiicc -o test.x -g -O0 test.c

사용자의 데스크탑에서 xming 실행 및 ssh X환경 설정 완료한 후 ddt 실행 명령을 실행 한다.

$ ddt &

명령을 실행하여 다음과 같은 팝업 실행 창을 확인한다.

위 명령 중 "RUN" 을 선택하여 다음과 같이 디버깅할 파일 선택한 후 다시 새로운 팝업 창의 "RUN" 선택한다.

다음과 같이 선택 된 실행 파일에 대한 디버깅 모드로 진입하여 디버깅을 진행할 수 있다.

2. 프로파일러 Intel vtune Amplifiler 사용예제

본 시스템에서 프로파일러인 vtune을 사용하기 위하여 아키텍처, 컴파일러, MPI를 선택한 후 vtune을 선택하면 프로파일러를 사용 할 수 있다.

$ module load craype-mic-knl or craype-x86-skylake
$ module load intel/17.0.5 impi/17.0.5
$ module load vtune/17.0.5

본 예제는 위와 같은 환경에서 진행되었다.

CLI 사용법
- Intel vtune Amplifier를 CLI 모드로 실행할 때 명령어는 아래와 같은 형식이다.
$ amplxe-cl 옵션 분석할 프로그램 실행

$ amplxe-cl -collect hotspots /home01/$USER/test/test.x

amplxe: Using result path '/home01/$USER/test/r000hs'
amplxe: Executing actions 75% Generating a report
Function CPUTime CPUTime:EffectiveTime CPUTime:EffectiveTime:Idle
CPUTime:EffectiveTime:Poor CPUTime:EffectiveTime:Ok CPUTime:EffectiveTime:Ideal
CPUTime:EffectiveTime:Over CPUTime:SpinTime CPUTime:OverheadTime Module Function(full)
SourceFile StartAddress
 
multiply1 21.568s 21.568s 0.176s 21.392s 0s 0s 0s 0s 0s martix.mic multiply1 multiply.c
0x401590
init_arr 0.020s 0.020s 0s 0.020s 0s 0s 0s 0s 0s matrix.mic init_arr matrix.c
0x402384
amplx: Executing actions 100% done

위와 같이 이미 컴파일 된 실행파일을 준비하여 명령어 형식에 맞게 실행 시 r000hs 디렉터리가 생성되는 것을 확인할 수 있다. 디렉터리가 생성된 것을 확인 후 리포트 생성을 위한 명령을 실행하면 아래와 같은 결과를 출력된다.

$ amplxe-cl -report hotspots /home01/$USER/debugger/test/r000hs
amplxe: Using result path `/home01/$USER/debugger/test/r000hs'
amplxe: Executing actions 75 % Generating a report Function CPU Time CPU Time:Effective Time CPU Time:Spin Time CPU Time:Overhead Time Module Function (Full) Source File Start Address
-------- -------- ----------------------- ------------------ ---------------------- ------ --------------- ----------- -------------
amplxe: Executing actions 100 % done

GUI 사용 결과 확인 방법
- Intel vtune Amplifier는 GUI 모드 역시 지원한다. 여기서는 GUI를 이용한 결과 확인 방법만 설명한다.
- 사용자의 데스크탑에서 xming 실행

$ amplxe-gui

아래의 화면에서 New Analysis 버튼을 클릭한다.

아래와 같은 화면이 나타나면 cpu수와 체크 확인 후 Start 버튼을 클릭하면 분석이 시작된다.

완료되면 다음과 같이 분석 결과가 여러 개의 탭으로 요약되어 나타난다.

3. 프로파일러 Cary-Pat 사용예제

본 시스템에서 프로파일러인 CaryPat을 사용하기 위하여 아래와 같이 아키텍처 등 환경을 설정한 후 예제를 진행하였다.

$ module load craype-mic-knl or craype-x86-skylake
$ module load perftools-base/6.5.2 perftools/6.5.2
$ module load PrgEnv-cray/1.0.2 cce/8.6.3

먼저 예제에 사용될 test.c 파일을 컴파일 한다.

$ cc test.c

위 실행 결과로 a.out 이라는 실행파일이 생성된다.
CaryPat으로 분석을 위하여 pat_build를 이용하여 새로운 실행 파일을 생성한다.

$ pat_build -0 apa a.out

위의 실행 결과로 a.out+pat 라는 파일이 생성된다.
생성된 실행파일은 MPI로 작성된 파일이므로 mpirun으로 실행한다.

$ mpirun -np 4 ./a.out+pat

실행을 완료하면 a.out+pat+378250-3s 디렉터리가 생성되고 디렉터리 안에 xf-files/002812.xf 파일이 생긴다.

$ pat_report a.out+pat+378250-3s

위와 같이 pat_report를 실행하면 a.out+pat+378250-3s 디렉터리 안에 .ap2 파일과 .apa 파일이 생성된다.

$ pat_build -0 a.out+pat+378250-3s/build-options.apa

.apa 파일을 이용하여 다시 실행파일을 생성하면 a.out+apa 이름의 파일이 생성된다.
이렇게 생성된 a.out+apa 파일을 실행하면

$ mpirun -np 4 ./a.out+apa

a.out+pat+378250-3t에 새로운 xf 파일이 생성된다.
pat_report를 다시 사용하여 새로운 데이터를 처리한다.

$ pat_report a.out+apa+378250-3t

위와 같이 실행하여 ap2 파일과 tracing 리포트를 생성한다.
위와 같이 수집된 데이터를 시각화 하는 방법으로 app2를 제공한다.

$ app2 a.out+apa+378250-3t

아래와 같이 시각화가 가능하다.

2023년 6월 30일에 마지막으로 업데이트되었습니다.

Previous사용자 환경 Next스케줄러(PBS)를 통한 작업 실행

Last updated 5 months ago