search
초보 사용자 가이드활용정보MyKSC 지침서

SSH Port Forwarding 을 통한 Jupyter 작업 실행

뉴론에서 작업 제출로 Jupyter 실행하는 방법

Jupyter Notebook은 웹 기반의 오픈소스 어플리케이션으로 프로그래머들에게 문서 생성, 코드 생성 및 실행, 수학적 라이브러리를 사용한 데이터 시각화, 통계 모델링, 머신러닝/딥러닝 프로그래밍에 사용되고 있습니다.

이 문서에서는 뉴론 시스템에서 SSH Port Forwarding 을 통한 Jupyter Notebook 작업 실행 방법에 대해 안내 드립니다.

※ 작업 디렉터리 : /scratch/$USER (사용자 작업은 /scratch/$USER 및 하위 경로에서만 제출 가능합니다.)

hashtag
가. 작업 스크립트 작성 및 제출

다음과 같이 작업 제출 스크립트 jupyter_run.sh 를 작성하여 sbatch 로 작업 제출합니다.

hashtag
1. 작성 스크립트 작성

#!/bin/bash
#SBATCH --comment=pytorch
#SBATCH --partition=eme_h200nv_8 
#SBATCH --time=12:00:00        # walltime
#SBATCH --nodes=1             # the number of nodes
#SBATCH --ntasks-per-node=1   # number of tasks per node
#SBATCH --gres=gpu:1          # number of gpus per node
#SBATCH --cpus-per-task=4     # number of cpus per task

#removing the old port forwading
if [ -e port_forwarding_command ]
then
  rm port_forwarding_command
fi

#getting the port and node name
SERVER="`hostname`"
PORT_JU=$(($RANDOM + 10000 )) # some random number greaten than 10000

echo $SERVER
echo $PORT_JU

echo "ssh -L localhost:8888:${SERVER}:${PORT_JU} ${USER}@neuron.ksc.re.kr" > port_forwarding_command

echo "load module-environment"
module load gcc/10.2.0 cuda/12.3  # pre-load module needed  

echo "execute jupyter"
source ~/.bashrc
conda activate notebook 
cd /scratch/$USER  
# the root/work directory of Jupyter lab/notebook
jupyter lab --ip=0.0.0.0 --port=${PORT_JU} --NotebookApp.token=${USER} 
#jupyter token: your account ID
echo "end of the job"

※ jupyter 파티션은 작업 제출이 불가합니다.

※ --gres, --cpus-per-task로 GPU, CPU 개수 설정 가능합니다.

※ conda 가상환경 notebook에 jupyter notebook, jupyterlab 등 설치되어 있어야 합니다. (기존 뉴론 Jupyter 사용자는 별도로 설치할 필요가 없습니다. 뉴론 Jupyter)

hashtag
2. 작업 스크립트 제출

hashtag
나. 작업 제출 디렉터리의 Port Forwarding Command 파일 확인

※ port_forwarding_command 파일의 gpu30:22782 는 실행할 때 마다 바뀌기 때문에 꼭 확인이 필요합니다.

hashtag
다. SSH Port Forwarding 설정

사용자 본인의 PC에서 새로운 SSH Client (e.g., Putty, MobaXterm, PowerShell, Command Prompt, etc)를 실행하여 다음과 같이 명령어를 복사하여 실행합니다. (뉴론 로그인 시 사용했던 OTP, 비밀번호를 입력합니다.)

hashtag
1. Windows OS일 경우 명령 프롬프트 예시

hashtag
2. Mac OS일 경우 터미널 예시

※ 로그인 성공 상태에서만 jupyter 접속이 가능하니 exit하여 빠져나올 경우 다시 로그인 해야 합니다.

hashtag
라. 웹 브라우저 접속

로그인 성공 후, 본인 PC 웹 브라우저에 localhost:8888 로 접속 (Password or token: 본인 아이디)

※ 비밀번호가 아닌 아이디입니다. (예: x0010a01)

※ 해당 작업은 인터렉티브 작업으로 실행이 되기 때문에 사용이 완료되면 scancel [job_id] 명령으로 작업을 삭제하시기 바랍니다. (MAX WALLTIME 은 24시간)

PreviousAI 멀티노드 활용NextNVIDIA GPU Profiling

Last updated