모아 읽은 보따리12 L1 : Introductions and word vectors 들어가는 말 방학 기간을 이용해 NLP 기반을 다시금 복습하고자 cs224n 강의를 따라가며 리뷰하려 한다. 오늘은 그 첫 강의로 word vector에 대해 학습해본다. (모든 그림 및 단어는 cs224n 홈페이지의 슬라이드에서 참고한 것이다. 추가로 이해가 필요한 부분의 경우 강의 영상을 참고하였다.) Introductions 학습 내용 Word vectors, feed-forward networks, recurrent networks, attention, encoder-decoder models, transformers, etc. Early word vectors meaning 단어의 '의미'라는 뜻, 사실은 반대로 말하는게 맞는게, 의미를 전달/표현하기 위해 '단어'(혹은 절, 문장 등)라는 것을.. 2023. 1. 4. GNN GNN을 공부하면서 적는 정리. https://arxiv.org/pdf/1812.08434.pdf 대강 총집합해놓은 논문. 그 외 블로그 등을 참고하였음. Intro GNN이란 Graph Neural Network 의 준말로, 이에서 알 수 있듯 그래프 형태의 데이터(또는 Unstructured data)를 "직접적으로" 분석/학습하는데 쓰이는 네트워크이다. 최근에 GNN이 각광받는 이유는, 원래는 그래프 형태의 데이터를 해석하기 위해선 시퀀스를 또 분리하여, 연관관계 행렬을 따로 attention등으로 학습하는 등 기존의 Neural network로는 학습이 어려웠는데, GNN은 graph 형태의 input을 그대로 받아, 직접적으로 학습할 수 있어 node간의 관계를 보다 잘 학습할 것으로 관측되고,.. 2021. 3. 26. 1-stage Object Detection Model (Yolo ~ Yolov3) 1 stage Object Detection 모델 정리하는 곳. (~2018) (1) Yolo https://arxiv.org/pdf/1506.02640.pdf 1stage 모델의 시작, YOLO(You Only Look Once)다. 이전까지 R-CNN의 variation으로 진화되오던 OD는, 2 stage 모델이어서 속도가 느려 real-time에선 object detection에 한계가 있었다. YOLO는 이러한 2stage OD의 구조를 깨고, 하나의 stage만으로 task를 가능케 하였다. 어느정도의 정확도를 조금 포기하고, 대신 빠른 속도를 얻은 것이다. 최초의 YOLO의 구조는 다음과 같다. 기존의 2-stage 모델은 Region Proposal 단계, Classification/Reg.. 2021. 3. 10. 2-stage Object Detection Model (R-CNN ~ FrRCNN) 2-stage Object detection을 위해 나온 모델들을 정리하는 곳. 비교적 간단히만 요약할 듯. 오래된 모델이 많아서 (1) R-CNN https://arxiv.org/pdf/1311.2524.pdf 가장 처음에 제안된 R-CNN은 2-stage OD의 첫 모델이다. (1 stage) image로 부터 Selective Search 알고리즘을 통해 RoI(Region of Interest)를 뽑아내어 (수치론 2000개) (2 stage) ConvNet을 통해 각 RoI의 feature를 뽑아, reg/cls를 진행하는 모델이다. 여기서 Selective Search란, 기존 window sliding을 보완한 알고리즘인데, non-object segmentation(색깔, 크기 등)을 통해.. 2021. 3. 10. 이전 1 2 3 다음
