자연어 처리 Process 1. 자연어 전처리(Preprocessing) 2. 단어 표현 (WordEmbedding) 3. 모델 적용 (Modeling) 원 상태 그대로의 자연어는 전처리 과정이 필요함 자연어는 오류를 어떻게 없앨 것인가 그리고 의미랑 전혀 상관없는 단어를 어떻게 없앨지 오류를 없애는 것을 타이핑을 잘못 했거나, 오타가 있을 경우, 컴퓨터는 단어인가 라고 생각 할 수 있기 때문에 오류를 전처리 해서 없애줘야 함 문장을 나누는것을 토큰으로 나누게 됨 Noise Canceling “안녕하 세요. 반갑 스니다.” => “안녕하세요. 반갑습니다.” Tokenizing 문장을 토큰(Token)으로 나눔, 토큰은 어절, 단어 등으로 목적에 따라 다르게 정의 “딥러닝 기초 과목을 수강하고 있습니다.”..
