티스토리

hoon's note

검색하기

블로그 홈

hoon's note

hoonsnote.tistory.com/m

donghoon shin 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

[논문 리뷰] BART: Denoising Sequence-to-Sequence Pre-training for NaturalLanguage Generation, Translation, andComprehension (ACL 2020) • 저자 :M. Lewis, Y. Liu, N. Goyal, M. Ghazvininejad, A. Mohamed, O. Levy, V. Stoyanov, L. Zettlemoyer 1. Introduction Masked Language Model(MLM)을 통한 denoising autoencoder로 NLP 태스크에서 Self-supervised 방법들이 엄청난 성공을 거두게 되었다. 하지만 이러한 방법은 특정 태스크에 집중하여 적용할 수 있는 분야가 한정되는 단점이 존재한다. 본 논문에서는 Seq2Seq 구조의 denoising autoencoder 모델을 제안하여 적용 가능한 end task의 범위를 넓히고자 하였다. Encoder에서 bidirectional한 정보를 학습하고 decoder에서 .. 공감수 2 댓글수 0 2021. 10. 4.
[논문 리뷰] TRANS-BLSTM: Transformer with Bidirectional LSTM for LanguageUnderstanding 저자 : Zhiheng Huang, Peng Xu, Davis Liang, Ajay Mishra, Bing Xiang 논문 : https://arxiv.org/abs/2003.07000 - 본 논문은 Amazon AWS AI 에서 Transformer의 Encoder에 Bidirectional LSTM을 적용한 새로운 아키텍쳐를 제안한 논문이다. 2020년 게재되고 인용 수는 적지만 기존 Encoder 구조에 다른 모델을 적용한 점이 흥미로워 논문리뷰와 코드구현&실습까지 진행해 보았다. ❒ Introduction BERT 등장이전에는 BLSTM을 기반으로 한 machine translation과 speech recognition 모델이 sota를 기록해왔다. 또한 다양한 선행연구에서 BERT의 hidde.. 공감수 0 댓글수 0 2021. 8. 14.
Graph Convolutional Networks Graph Neural Networks Knowledge graph, Molecular graph, Social graph 등 graph 구조를 통해서만 표현될 수 있는 데이터들을 활용하기 위해 Graph Neural Networks(GNN)의 사용이 점점 증가하고 있는 추세이다. Graph 데이터를 활용하는 태스크들은 아래와 같다. Node classification : 주어진 노드의 타입을 예측 Link Prediction : 특정 노드들이 연결될지 예측 Community detection : 노드의 군집이 densely 연결되어있는지 확인 Network similarity : 두개의 네트워크가 얼마나 비슷한지 확인 이러한 문제를 풀기위해 초기에는 Multi-hop Similarity, DeepWal.. 공감수 0 댓글수 0 2021. 7. 1.
[논문 리뷰] ERNIE: Enhanced Language Representation with Informative Entities (ACL 2019) 링크 : https://arxiv.org/pdf/1905.07129.pdf 저자 :Zhengyan Zhang, Xu Han, Zhiyuan Liu, Xin Jiang, Maosong Sun, Qun Liu ❒ Introduction 기존 NLP 모델의 한계점 - BERT를 포함한 NLP 모델들은 단어들의 co-occurrence를 기반으로 단어와 문장의 의미를 이해하는 구조이다. - 따라서,현실 세계 지식에 기반한 논리적 이해 및 추론 불가능이 불가능하며 동시에 등장하는 경우가 없거나 등장 빈도가 낮은 토큰에 대한 정확한 추론에 한계점이 존재한다. - 즉, 도메인별 고유명사가 포함된 문장을 이해하고 생성하는데 한계점이 존재한다. 논문에서 언급한 Bob Dylan 예시 - 아래 그림을 보면 Bob Dyla.. 공감수 0 댓글수 0 2021. 6. 27.
[코드 리뷰] Transformer(Pytorch) 논문 : Attention is all you need (NIPS 2017) 저자 : Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin 링크 : arxiv.org/abs/1706.03762 Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models als.. 공감수 1 댓글수 0 2021. 6. 25.
[논문 리뷰 & Translation task] Neural Machine Translation by Jointly Learning to Align and Translate 저자 : Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio 링크 : Arxiv.1409.0473 Github : https://github.com/hoonsnote/NLP/blob/084b7689499c6c6abb21e91a007682fd8e6bd253/%5BTranslation%5DSeq2Seq%20Attention(TF).ipynb Neural Machine Translation by Jointly Learning to Align and Translate Neural machine translation is a recently proposed approach to machine translation. Unlike the traditional statistical ma.. 공감수 0 댓글수 0 2021. 6. 25.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.