DL

model.train() v.s. model.eval() model.train() model.eval() Batch Normalization Batch statistics 이용 학습 때 사용된 statistics를 통해 결정된 running statistics 이용 Dropout Layer 주어진 확률에 따라 활성화 비활성화 torch.no_grad() Pytorch의 Autograd Engine 비활성화 # 데코레이터로 사용할 경우 @torch.no_grad() def func without_grad_tracking(): pass # validation 과정에서 사용할 경우 with torch.no_grad() : # Code related to inference torch.Tensor.require_..

device = torch.device('cuda:0' if torch.cuda.is_available() else 'cpu') torch.tensor([1,2], device=device) torch.tensor([1,2]).to(device) torch.tensor([1,2]).cuda() Argument에 따른 방식 import argparse import torch parser = argparse.ArgumentPasrser() parser.add_argument('--cpu', action='store_true', help='run in cpu') args = parser.parse_args() if args.cpu: device = torch.device('cpu') else: device =..

ABSTRACT Transformer 구조는 NLT에 있어서 사실상의 표준이 되었지만 비전 분야에서의 적용은 제한적 입니다. 본 논문은 CNN에 의존할 필요 없이 Transformer을 Sequence of Image Patches에 직접적으로 적용시켜도 이미지 분류 테스크에서 매우 우수한 성능을 보일 수 있다는 것을 보여줍니다. 대량의 데이터로 사전 학습한 이후, 여러 이미지 인식 벤치마크 (ImageNet, CIFAR-100, VTAB 등)에 전이 학습 시킨 결과 Vision Transformer 은 매우 적은 Computational Resource로 최첨단 CNN에 못지 않은 우수한 결과를 도출할 수 있었습니다. Intro 배경 Transformer 계산 효율성과 확장성 증대로 100억개 이상의 ..

모델 테스트 import os import numpy as np import matplotlib.pyplot as plt import torch import torch.nn as nn from torch.utils.data import DataLoader from torch.utils.tensorboard import SummaryWriter from torchvision import transforms, datasets ### Hyper Parameters lr = 1e-3 batch_size = 4 num_epoch = 100 data_dir = 'workspace/data' ckpt_dir = 'workspace/checkpoint' log_dir = 'workspace/log' result_dir..