![]()
Vaswani, Ashish, et al. "Attention is all you need." Proceedings of the Advances in Neural Information Processing Systems. 2017. 소개 Seq2Seq 가 갖는 한계 순차적 계산, 병목 현상, 정보 손실 Idea 하나의 문맥 벡터가 시퀀스의 모든 정보를 가지고 있어야해서 성능이 저하된다면, 매번 모든 시퀀스에서의 출력 전부를 입력으로 받으면 어떨까? 그리고 행렬곱을 이용해 전체 시퀀스를 한번에 연산하면 되지 않을까? => Scaled-Dot Product Attention Abstract 배경 전통적으로 시퀀스 변환 모델은 인코더와 디코더로 구성된 복잡한 순환 신경망 또는 컨볼루션 신경망을 기반으로 하였다...
![]()
He, Kaiming, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. "Deep Residual Learning for Image Recognition." IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016. 선행 지식 ) CNN 모델에 대한 기본적인 개념 소개 깊은 네트워크를 학습시키기 위한 방법, 잔여 학습(Residual Learning)을 제안 아래의 그래프는 Train에 대한 Error, OverFitting 의 문제가 아님을 알 수 있다. 더 깊은 레이어가 더 좋은 성능을 보인다는 일반적인 양상을 유지할 수 있도록 보여주었다는 점이 본 논문이 기여하는 바 이다. * 일반적인 양상 Alex..
![]()
출처 : https://fehead.tistory.com/250 리눅스가 절전 모드로 들어가면 나오지 못하는 문제 절전 모드에서 나오지 못하고 강제 리부팅후에 /var/log/syslog 를 보니 아래의 로그가 있었다. pr 30 13:34:49 pc-linux systemd[1]: anacron.service: Succeeded. Apr 30 13:34:49 pc-linux systemd[1]: motd-news.service: Succeeded. Apr fehead.tistory.com usb 또한 절전모드로 들어가기 때문에 그렇다고 한다. nano /etc/defaults/grub grub에서 GRUB_CMDLINE_LINUX_DEFAULT 끝에 "usbcore.autosuspend=-1" 를 추가..
![]()
ubuntu 이미지를 깔아서 그 위에 텐서플로우를 설치하여도 되지만, 텐서플로우 공식 홈페이지에 쥬피터와 텐서플로우가 모두 깔려져 있는 이미지가 이미 존재하길래 해당 이미지를 사용해주었습니다. 출처 : https://www.tensorflow.org/install/docker?hl=ko#download_a_tensorflow_docker_image Docker | TensorFlow Google I/O를 시청해 주셔서 감사합니다. 모든 세션을 주문형으로 시청하세요.주문형 동영상 보기 Docker 컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요. Docker는 www.tensorflow.org 그냥 latest 태그를 깔게 되면 CPU만을 사용하는 텐서플로우를 깔게 됩니다. 저..
