Hook

Hook register_foward_pre_hook hook(module, input) register_foward_hook hook(module, input, output) register_full_backward_pre_hook register_full_backward_hook hook(module, grad_input, grad_output) 모델 불러오기 model.save() 학습 결과 저장 아키텍쳐와 파라메터 저장 중간 과정 저장을 통해 최선의 결과 모델을 선택 외부 연구자와 공유하여 학습 재연성 향상 print("Model's state_dict:") # state_dict : 모델의 파라미터 표시 for param_tensor in model.state_dict(): print(param..

Hook Hook 예시 def program_A(x): print('program A processing!') return x + 3 def program_B(x): print('program B processing!') return x - 3 class Package(object): """프로그램 A와 B를 묶어놓은 패키지 코드""" def __init__(self): self.programs = [program_A, program_B] # hooks self.pre_hooks = [] self.hooks = [] def __call__(self, x): for program in self.programs: # pre_hook : 프로그램 실행 전에 날리는 훅 if self.pre_hooks: for ..

torch.nn.modules.linear class Linear(nn.Module): def __init__(self, in_features, out_features): super().__init__() self.W = Parameter(torch.ones(out_features, in_features)) self.b = Parameter(torch.ones(out_features)) def forward(self, x): output = torch.addmm(self.b, x, self.W.T) return output x = torch.Tensor([[1, 2], [3, 4]]) linear = Linear(2, 3) linear(x) ''' torch.Tensor([[4, 4, 4], [8, 8,..