> For the complete documentation index, see [llms.txt](https://docs-ksc.gitbook.io/blog/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs-ksc.gitbook.io/blog/install/nurion/openfoam/openfoam-7-install-knl.md). # OpenFOAM-7 버전 설치 소개(KNL) 슈퍼컴퓨팅인프라센터 2019. 10. 25. 15:11 이 문서에서는 KNL 계산노드용 OpenFOAM-7 을 컴파일 하여 설치 하는 방법에 대해 예시로 소개합니다. ## **가. 설치 환경** | 구분 | 내용 | | ----------------------- | ---------------------- | | 대상 시스템 | 누리온 | | OS Version | 리눅스 / CentOS 7.9 | | CPU |

Intel Xeon Phi 7250 | |
Intel Xeon 6148

| | | 컴파일러 | Intel 2018.3 | | MPI | IntelMPI 2018.3 | | 기타 | | ## **나. 설치 전 환경 설정** OpenFOAM-v7 버전 설치에 필요한 gmp, mpfr, mpc, boost, CGAL 는 누리온 시스템에 미리 설치된 /apps/common 라이브러리들을 사용합니다. \ 만약 다른 버전의 gmp, mpfr, mpc, boost, CGAL 가 필요한 경우는 사용자의 홈 디렉터리(/home01/$USER)나 scratch 디렉터리(/scratch/$USER)에 설치 후 환경 설정을 해서 사용하시면 됩니다. **\[ 환경 설정 ]** 
$ module purge
$ module load cmake/3.12.3
$ module load intel/18.0.3 impi/18.0.3
## **다. OpenFOAM-v7 버전 설치 과정** 설치 과정 소개는 tar 를 이용한 압축 해제 방법과 설정 방법등 진행 절차를 위주로 설명하고, 소스 파일 다운로드 등은 생략합니다. 설치 소개 시 사용된 경로 /Install\_Path/KNL는 설치 안내를 위한 경로이므로, 설치하시고자 하는 경로를 입력하여 설치 진행해주시기 바랍니다. \[설치과정] ```shell-session $ cd /Install_Path/KNL $ tar xzvf OpenFOAM-7-20190902.tar.gz $ tar xzvf ThirdParty-7-version-7.tar.gz $ mv OpenFOAM-7-20190902/ OpenFOAM-7 $ mv ThirdParty-7-version-7/ ThirdParty-7 $ vi OpenFOAM-7/etc/config.sh/settings - - - [settings 수정 사항] 참고 - - - $ vi OpenFOAM-7/etc/bashrc - - - [bashrc 수정 사항] 참고 - - - $ vi ThirdParty-7/makeCGAL - - - [makeCGAL 수정 사항] 참고 - - - $ vi OpenFOAM-7/etc/config.sh/mpi - - - [mpi 수정 사항] 참고 - - - $ vi OpenFOAM-7/wmake/rules/linux64Icc/c++ - - - [c++ 수정 사항] 참고 - - - $ vi ThirdParty-7/scotch_6.0.6/src/Makefile.inc - - - [Makefile.inc 수정 사항] 참고 - - - $ sed -i -e 's/\(boost_version=\)boost-system/\1boost_1_68_0/' OpenFOAM-7/etc/config.sh/CGAL $ sed -i -e 's/\(cgal_version=\)cgal-system/\1CGAL-4.9.1/' OpenFOAM-7/etc/config.sh/CGAL $ source OpenFOAM-7/etc/bashrc $ mkdir -p $WM_THIRD_PARTY_DIR/platforms/$WM_ARCH$WM_COMPILER $ ln -s /apps/common/gmp/6.1.2 $WM_THIRD_PARTY_DIR/platforms/$WM_ARCH$WM_COMPILER/gmp-system $ ln -s /apps/common/mpfr/4.0.1 $WM_THIRD_PARTY_DIR/platforms/$WM_ARCH$WM_COMPILER/mpfr-system $ ln -s /apps/common/mpc/1.1.0 $WM_THIRD_PARTY_DIR/platforms/$WM_ARCH$WM_COMPILER/mpc-system $ ln -s /apps/common/boost/1.68.0 $WM_THIRD_PARTY_DIR/platforms/$WM_ARCH$WM_COMPILER/boost_1_68_0 $ ln -s /apps/common/CGAL/4.9.1 $WM_THIRD_PARTY_DIR/platforms/$WM_ARCH$WM_COMPILER/CGAL-4.9.1 $ ln -s /apps/applications/cmake/3.12.3 $WM_THIRD_PARTY_DIR/platforms/$WM_ARCH$WM_COMPILER/cmake-system $ cd ThirdParty-7 $ ./Allwmake $ cd $WM_PROJECT_DIR $ ./Allwmake ``` **\[settings 수정 사항]** | 수정 전 |

64)
WM\_ARCH=linux64
export WM\_COMPILER\_LIB\_ARCH=64
export WM\_CC='gcc'
export WM\_CXX='g++'
export WM\_CFLAGS='-m64 -fPIC'
export WM\_CXXFLAGS='-m64 -fPIC -std=c++0x'

export WM\_LDFLAGS='-m64'

| | ---- | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | | 수정 후 |

64)
WM\_ARCH=linux64
export WM\_COMPILER\_LIB\_ARCH=64
export WM\_CC='icc'
export WM\_CXX='icpc'
export WM\_CFLAGS='-m64 -fPIC -xMIC-AVX512'
export WM\_CXXFLAGS='-m64 -fPIC -xMIC-AVX512 -std=c++0x'
export WM\_LDFLAGS='-m64'

| ※ "-xMIC-AVX512" 옵션은 KNL CPU 타입 전용 옵션으로, SKL 계산노드와 KNL 계산노드 모두 실행을 희망하는 경우는 "-xCOMMON-AVX512" 로 변경 **\[bashrc 수정 사항]**
수정 전[ "$BASH" -o "$ZSH_NAME" ] && <br> export FOAM_INST_DIR=$(cd $(dirname $)/../.. && pwd -P) || <br> export FOAM_INST_DIR=$HOME/$WM_PROJECT

export WM_COMPILER=Gcc
export WM_MPLIB=SYSTEMOPENMPI
수정 후export FOAM_INST_DIR=/Install_Path/KNL

export WM_COMPILER=Icc (I는 대문자 cc는 소문자)
export WM_MPLIB=INTELMPI
※ 위 수정 예제에서 /Install\_Path/KNL 경로는 설치 시 사용된 경로이므로 변경 **\[makeCGAL] 수정 사항]** | 수정 전 |

cgalPACKAGE=${cgal\_version:-CGAL-4.10}
boostPACKAGE=${boost\_version:-boost-system}

| | ---- | -------------------------------------------------------------------------------------------------- | | 수정 후 |

cgalPACKAGE=${cgal\_version:-CGAL-4.9.1}
boostPACKAGE=${boost\_version:-boost\_1\_68\_0}

| **\[mpi 수정 사항]** | 수정 전 | libDir=\`mpicc --showme:link \| sed -e 's/.\*-L\\(\[^ ]\*\\).\*/\1/'\` | | ---- | ----------------------------------------------------------------------- | | 수정 후 | libDir=\`mpiicc --showme:link \| sed -e 's/.\*-L\\(\[^ ]\*\\).\*/\1/'\` | **\[c++ 수정 사항]** | 수정 전 | CC = icpc -std=c++11 -fp-trap=common -fp-model precise | | ---- | ---------------------------------------------------------------------------------------------------- | | 수정 후 | CC = icpc -std=c++11 -xMIC-AVX512 -fp-trap=common -fp-model precise | **\[Makefile.inc 수정 사항]** | 수정 전 |

AR = gcc
ARFLAGS = $(WM\_CFLAGS) -shared -o
CCS = gcc
CCP = mpicc
CCD = mpicc
CFLAGS = $(WM\_CFLAGS) -O3 -DCOMMON\_FILE\_COMPRESS\_GZ -DCOMMON\_RANDOM\_FIXED\_SEED - DSCOTCH\_RENAME -Drestrict=\_\_restrict
CLIBFLAGS = -shared

| | ---- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | | 수정 후 |

AR = icc
ARFLAGS = -m64 -fPIC -shared -o
CCS = icc
CCP = mpiicc
CCD = mpiicc
CFLAGS = -O3 -DCOMMON\_FILE\_COMPRESS\_GZ -DCOMMON\_RANDOM\_FIXED\_SEED - DSCOTCH\_RENAME -Drestrict=\_\_restrict -xCOMMON-AVX512

CLIBFLAGS = -shared -fPIC -xCOMMON-AVX512

| ## **라. 테스트** ```shell-session $ module purge $ module load intel/18.0.3 impi/18.0.3 $ source /Install_Path/KNL/OpenFOAM-7/etc/bashrc $ mkdir -p $FOAM_RUN $ run $ cp -r $FOAM_TUTORIALS/incompressible/simpleFoam/pitzDaily . $ cd pitzDaily $ blockMesh $ simpleFoam ``` ## **마. 기타** Intel 컴파일러를 이용하여 OpenFOAM 설치 시, KNL CPU 타입 전용 옵션인 "-xMIC-AVX512"를 사용하게 될 경우 KNL 계산노드에서 설치를 진행해야 오류가 발생하지 않습니다.\ "-xMIC-AVX512" 옵션을 사용할 경우 PBS 스케줄러의 Interactive 기능을 이용하여 KNL 계산노드로 접속하여 빌드를 진행해야 합니다.\ 아래는 누리온 KNL 계산노드(debug 큐) 로 접속하는 예제입니다. ```shell-session $ qsub -I -V -q debug -l select=1:ncpus=68:mpiprocs=68:ompthreads=1 -l walltime=12:00:00 -A openfoam ``` **※ qsub 명령 뒤 문자는 I(대문자 아이) 이고, select 와 walltime 앞에 문자는 l(소문자 엘) 입니다.**