전체 글

ABSTRACT Transformer 구조는 NLT에 있어서 사실상의 표준이 되었지만 비전 분야에서의 적용은 제한적 입니다. 본 논문은 CNN에 의존할 필요 없이 Transformer을 Sequence of Image Patches에 직접적으로 적용시켜도 이미지 분류 테스크에서 매우 우수한 성능을 보일 수 있다는 것을 보여줍니다. 대량의 데이터로 사전 학습한 이후, 여러 이미지 인식 벤치마크 (ImageNet, CIFAR-100, VTAB 등)에 전이 학습 시킨 결과 Vision Transformer 은 매우 적은 Computational Resource로 최첨단 CNN에 못지 않은 우수한 결과를 도출할 수 있었습니다. Intro 배경 Transformer 계산 효율성과 확장성 증대로 100억개 이상의 ..

모델 테스트 import os import numpy as np import matplotlib.pyplot as plt import torch import torch.nn as nn from torch.utils.data import DataLoader from torch.utils.tensorboard import SummaryWriter from torchvision import transforms, datasets ### Hyper Parameters lr = 1e-3 batch_size = 4 num_epoch = 100 data_dir = 'workspace/data' ckpt_dir = 'workspace/checkpoint' log_dir = 'workspace/log' result_dir..

모델 학습 ### Setting for Training # Data load transform = transforms.Compose([Normalization(),RandomFlip(),ToTensor()]) dataset_train = Dataset(data_dir=os.path.join(data_dir, 'train'), transform=transform) loader_train = DataLoader(dataset_train, batch_size=batch_size, shuffle=True, num_workers=8) dataset_val = Dataset(data_dir=os.path.join(data_dir, 'val'), transform=transform) loader_val = DataL..

U-Net 네트워크 구조 import os import numpy as np import matplotlib.pyplot as plt import torch import torch.nn as nn from torch.utils.data import DataLoader from torch.utils.tensorboard import SummaryWriter from torchvision import transforms, datasets ### Hyper Parameters lr = 1e-3 batch_size = 4 num_epoch = 100 data_dir = 'workspace/data' ckpt_dir = 'workspace/checkpoint' log_dir = 'workspace/log' dev..