BWAI (Bad Words AI)BWAI (Bad Words AI)

NLP 기반 한국어 비속어 탐지 시스템NLP-based Korean Profanity Detection System

1. 프로젝트 개요1. Project Overview

NLP를 이용한 한국어 기반 비속어 탐지 솔루션 (Open API로 제공)NLP-based Korean Profanity Detection Solution (Provided as Open API)

2. 프로젝트 배경과 동기2. Background and Motivation

2020년 당시 대부분의 한국어 욕설 탐지 시스템은 사전 기반 Rule-Base 매칭 방식이었다. 비속어 사전에 등록된 문자열이 입력 텍스트에 포함되어 있는지를 단순 문자열 매칭으로 판별하는 구조였다.In 2020, most Korean profanity detection systems relied on dictionary-based rule-base matching — simply checking whether the input text contained any string registered in a profanity dictionary.

이를 해결하기 위해 NLP를 활용하여, 문맥 수준에서 비속어 여부를 판별하는 하이브리드 AI 모델을 개발하고, Open API 형태로 외부 서비스에 제공하는 것을 목표로 했다.To solve this, the goal was to develop a hybrid AI model that determines profanity at the context level using NLP techniques, and provide it to external services as an Open API.

3. 기술 선택과 근거3. Technology Choices and Rationale

2020년 시점은 LLM이 상용화되기 이전이었으므로, 당시 가용한 NLP 기법들을 조합하여 최적의 솔루션을 구성하는 것이 핵심 과제였다.As this was before LLMs were commercially available in 2020, the key challenge was composing an optimal solution by combining available NLP techniques.

4. 하이브리드 NLP 모델4. Hybrid NLP Model

단일 기법으로는 한국어 비속어의 다양한 패턴을 커버할 수 없었기 때문에, 명시적 비속어 탐지와 문맥 기반 악성 표현 탐지를 결합한 하이브리드 파이프라인을 설계했다.Since no single technique could cover the diverse patterns of Korean profanity, a hybrid pipeline was designed combining explicit profanity detection and context-based malicious expression detection.

Phase 1: KcBERT 서브워드 토크나이저 기반 탐지Phase 1: KcBERT Subword Tokenizer-based Detection

기존 Rule-Base의 가장 큰 문제인 띄어쓰기 오탐을 해결하기 위해, 단순 문자열 매칭 대신 서브워드 단위 토큰 매칭을 도입했다.To solve the biggest problem of existing Rule-Base systems — false positives from word spacing — subword-level token matching was introduced instead of simple string matching.

Phase 2: FastText + LDA 기반 문맥적 악성 표현 탐지Phase 2: Contextual Malicious Expression Detection via FastText + LDA

Phase 1은 명시적 비속어를 정확히 잡아내지만, "너희 어머니 살아계시지?"처럼 욕설 단어 없이도 악의적인 문장은 탐지할 수 없다. 이를 해결하기 위해 대규모 악성 텍스트 코퍼스 기반의 문맥 유사도 분석을 도입했다.Phase 1 accurately catches explicit profanity, but cannot detect malicious sentences without any profane words, such as "Is your mother still alive?" To address this, context similarity analysis based on a large-scale malicious text corpus was introduced.

DCInside, 일간베스트 등 비속어 빈출 커뮤니티에서 약 100만 건의 게시글 / 댓글 데이터를 수집하고, 악성 / 비악성 라벨링을 통해 학습 데이터셋을 구축했다. 학습된 FastText + LDA 모델로 입력 텍스트의 문서 벡터를 생성하고, 악성 코퍼스와의 코사인 유사도를 계산하여 문맥적 악성 여부를 판정한다.Approximately 1 million posts / comments were collected from profanity-heavy communities such as DCInside and Ilbe, and a training dataset was built through malicious / non-malicious labeling. The trained FastText + LDA model generates a document vector for the input text and calculates cosine similarity against the malicious corpus to determine contextual maliciousness.

모델 성능 개선Model Performance Improvement

1차 학습(KoBERT 기반)에서 F1 0.80을 달성한 후, 비속어 도메인에 특화된 사전 학습 모델(KcBERT)로 전환하고 학습 데이터를 보강하여 반복 학습을 진행, 최종 홀드아웃 테스트셋 기준 F1 0.94까지 개선했다.After achieving F1 0.80 in the 1st training round (KoBERT-based), switched to a profanity domain-specialized pre-trained model (KcBERT) and augmented training data through iterative training, ultimately improving to F1 0.94 on the holdout test set.

5. 성과 및 임팩트5. Results and Impact

소프트웨어 마에스트로 11기를 수료하며, 100만 건 규모의 악성 코퍼스 기반 하이브리드 NLP 모델을 F1 0.94까지 끌어올렸다. LLM 상용화 이전 시점에서 전통 NLP 기법(KcBERT, FastText, LDA)을 조합하여, 단순 사전 매칭의 한계를 넘어 문맥 기반 욕설 탐지의 실용적 솔루션을 제시한 프로젝트였다.Completed Software Maestro 11th Cohort, building a hybrid NLP model based on a 1M malicious corpus and achieving F1 0.94. Prior to LLM commercialization, this project presented a practical solution for context-based profanity detection by combining traditional NLP techniques (KcBERT, FastText, LDA), going beyond simple dictionary matching.

아쉽게도 사업성은 인정받지 못해 실제 Open API로 외부 제공은 성공을 거두지 못했으나, 각 팀원들이 속한 대학교 구성원들이 편하게 프로젝트 개발에 사용될 수 있도록 약 2개월간 무료로 API를 제공해주었다.Although the business viability was not recognized and the Open API did not achieve commercial success, the API was provided free of charge for approximately 2 months for use in projects at each team member's university.