규비니의 발자취

8) Multi-GPU 학습 개념정리 Single vs Multi GPU vs Node Single Node SSingle GPU Single Node Multi GPU Multi Node Multi GPU Model parallel 다중 GPU에 학습을 분산하는 두가지 방법 모델을 나누기 / 데이터를 나누기 모델을 나누는 것은 생각보다 예전부터 썼음(alexnet) 모델의 병목, 파이프라인의 어려움 등으로 인해 모델 병렬화는 고난이도 과제 class ModelParallelResNet50(ResNet): def __init__(self, *args, **kwargs): super(ModelParallelResNet50, self).__init__(Bottleneck, [3,4,6,3], num_clas..

6)모델 불러오기 fine-tuning 형태로 모델을 만들자 model. Save() 학습의 결과를 저장하기 위한 함수 모델 형태(architecture)와 parameter를 저장 모델 학습 중간 과정의 저장을 통해 최선의 결과모델을 선택 만들어진 모델을 외부 연구자와 공유하여 학습 재연성 향상 print("Model's state_dict:") #파라미터 표시 for param_tensor in model.state_dict(): print(param_tensor, "\t", model.state_dict()[param_tensor].size()) #모델의 파라미터 저장 torch.save(model.state_dict(), os.path.join(MODEL_PATH, "model.pt")) ..

과제 day Pytorch Custom Modelling torch.Tensor.view #resize torch.gather #대각선 요소 가져오기 torch.nn.Linear #Linear transformation torch.nn.Module #기본 module 클래스 상속 torch.nn.Sequential #sequential module container torch.nn.ModuleList #List module container torch.nn.ModuleDict #Dictionary module container torch.nn.parameter.Parameter #parameter 설정 register_buffer #buffer 설정(parameter가 아닌 tensor 별도 저장) mo..

과제 Custom Model 제작 # 사용 클래스 및 메소드 4)AutoGrad & Optimizer 논문을 구현해보자 수많은 반복의 연속 Layer = Block torch.nn.Module 딥러닝을 구성하는 Layer의 base class Input, Output, Forward, Backward(autograd) 정의 학습의 대상이 되는 parameter(tensor, weight) 정의 nn.Parameter Tensor 객체의 상속 객체 nn.Module 내에 attribute가 될 때는 required_grad = True로 지정되어 학습 대상이 되는 Tensor 우리가 직접 지정할 일은 잘 없음 대부분의 layer에는 weights 값들이 지정되어 있음 low level 의 API Backw..

1) Introduction to Pytorch Pytorch 딥러닝 전 과정에서 쓰이는 가장 기본이 되는 프레임워크 Pytorch(facebook) vs Tensorflow(google) Keras wrapper(껍데기), High level API Tensorflow는 Static graph (Define and run) Pytorch는 Dynamic computation graph (자동미분시 실행 시점에서 그래프 정의) Computational Graph 연산의 과정을 그래프로 표현 Define and Run (Tensorflow) 그래프를 먼저 정의 -> 실행시점에 데이터 feed Define by Run (Pytorch) 실행을 하면서 그래프를 생성하는 방식 tensorflow Producti..