perplexity1 [딥러닝을 이용한 자연어 처리 입문] 언어모델 언어모델이란 단어 시퀀스(문장)에 확률을 할당하는 모델을 말하며, 오늘은 통계에 기반한 전통적인 언어 모델에 대해서 학습하였음 언어모델이란? - 언어모델은 단어 시퀀스에 확률을 할당하는 일을 하는 모델로, 이전 단어들이 주어졌을 때 다음 단어를 예측하는 방식으로 가장 많이 활용됨 통계적 언어모델에서 확률 - 카운트 기반의 접근 - 문장의 확률을 구할 때 카운트에 기반하여 계산이 가능함 - 예를 들어, An adorable little boy가 나왔을 때, is가 나올 확률은 아래와 같이 계산이 가능함 P(isㅣAn adorable little boy) = count(An adorable little boy is)/count(An adorable little boy) 기계가 학습한 코퍼스 데이터에서 An .. 2023. 3. 4. 이전 1 다음