Jupyter Notebook은 웹 기반의 오픈소스 어플리케이션으로 프로그래머들에게 문서 생성, 코드 생성 및 실행, 수학적 라이브러리를 사용한 데이터 시각화, 통계 모델링, 머신러닝/딥러닝 프로그래밍에 사용되고 있습니다.
이 문서에서는 뉴론 시스템에서 SSH Port Forwarding 을 통한 Jupyter Notebook 작업 실행 방법에 대해 안내 드립니다.
※ 작업 디렉터리 : /scratch/$USER(사용자 작업은 /scratch/$USER 및 하위 경로에서만 제출 가능)
가. 작업 스크립트 작성 및 제출
다음과 같이 작업 제출 스크립트 jupyter_run.sh 를 작성하여 sbatch 로 작업 제출합니다.
1. 작성 스크립트 작성
#!/bin/bash
#SBATCH --comment=pytorch
#SBATCH --partition=eme_h200nv_8
#SBATCH --time=12:00:00 # walltime
#SBATCH --nodes=1 # the number of nodes
#SBATCH --ntasks-per-node=1 # number of tasks per node
#SBATCH --gres=gpu:1 # number of gpus per node
#SBATCH --cpus-per-task=4 # number of cpus per task
#removing the old port forwading
if [ -e port_forwarding_command ]
then
rm port_forwarding_command
fi
#getting the port and node name
SERVER="`hostname`"
PORT_JU=$(($RANDOM + 10000 )) # some random number greaten than 10000
echo $SERVER
echo $PORT_JU
echo "ssh -L localhost:8888:${SERVER}:${PORT_JU} ${USER}@neuron.ksc.re.kr" > port_forwarding_command
echo "load module-environment"
module load gcc/10.2.0 cuda/12.3 # pre-load module needed
echo "execute jupyter"
source ~/.bashrc
conda activate notebook
cd /scratch/$USER
# the root/work directory of Jupyter lab/notebook
jupyter lab --ip=0.0.0.0 --port=${PORT_JU} --NotebookApp.token=${USER}
#jupyter token: your account ID
echo "end of the job"
