AI · 탐지 엔진

토큰화 (Tokenization)

정의

텍스트를 토큰이라는 작은 단위로 분할해 모델 입력으로 만드는 전처리 과정이다.

더 알아보기

Wikipedia ↗관련 뉴스 ↗

같은 분류의 다른 용어

LLM / sLLM 인공신경망 (ANN)스파이킹 신경망 (SNN)검색증강생성 (RAG)에이전트형 AI (Agentic AI)적대적 예제 (Adversarial Example)