BPE 썸네일형 리스트형 Neural Machine Translation of Rare Words with Subword Units(BPE) 리뷰 Abstract(초록)과거 - backing off(you go back to a n-1 gram level to calculate the probabilities when you encounter a word with prob=0 : 자연어처리에서 특정 상황을 처리할 수 없을 때 사전조회 같은 일반적인 방법으로 돌아가는 방식) 활용 -> 문제점 제시open-vocabulary문제를 해결하는 신경망 기계번역 모델 소개word segmentation 기술(서브워드 분리기술) 제시 - simple character n-gram model, BPE(byte pair encoding)1. Introductionrare words : 자주 사용되지 않아서 어휘 목록이나 사전에 포함되지 않는 단어들productiv.. 더보기 Python(38)- 자연어처리(NLP) 프로젝트 순서 *이 글을 읽기전에 작성자 개인의견이 있으니, 다른 블로그와 교차로 읽는것을 권장합니다.*1. 문제 정의문제에 대한 솔루션이 있어야 하고, 명확하고 구체적일수록 알맞는 자연어 처리 기술을 찾을 수 있습니다.2. 데이터 수집 및 분석다양한 학습 데이터를 수집하기 위해 공개된 데이터셋, 유료 데이터셋, 웹 크롤링 등을 사용하여 수집https://paperswithcode.com/datasets?mod=texts&task=question-answering Papers with Code - Machine Learning Datasets282 datasets • 132562 papers with code.paperswithcode.com웹 크롤링을 통해 데이터를 수집했다면 EDA(탐색적 데이터 분석) 및 여러 분.. 더보기 이전 1 다음
