day5_practice/guards_input.pyday5_practice/guards_refusal.pyday5_practice/guards_output.pyday5_practice/guards.pyday5_practice/grade_guard.py

가드레일 플레이어

문장 하나가 ① 규칙 검사(정규식) → ② LLM 판별(구조화 출력) → 모델 → ③ 출력 가드 중 어느 층에서 걸리고 어느 층을 통과하는지 한 단계씩 따라갑니다. 공격 문장, 정상 문장, 규칙을 빠져나가는 공격, 개인정보가 담긴 응답, 공격·정상 세트 채점을 탭으로 나눴습니다. 규칙 검사와 마스킹 결과는 함수 본문을 떼어 실제로 돌린 값이고, LLM 판별과 모델 응답은 (예시) 입니다.

검사 상태

노란 줄이 이번 단계에서 바뀐 값

State["messages"]

guard_audit.log

시각 ⇥ 종류 ⇥ 사유 (사용자에게는 안 보임)

터미널 출력

층마다 무엇을 보고, 걸리면 무엇을 하나

층	자리	보는 것	비용 · 성질	걸리면
① 규칙	`rule_check` (guards_input.py)	정규식 8개, 금지 주제 문자열 4개. 처음 걸린 것에서 멈춤	공짜, 빠름, 같은 입력엔 항상 같은 결과. 적어 둔 표현만 잡음	`(True, "[규칙] …")`. LLM 판별을 부르지 않음
② LLM	`llm_check` (guards_input.py)	표현이 아니라 의도. `InjectionCheck(is_injection, confidence, reason)`	요청마다 모델 호출 1번. 판별 모델도 틀리거나 속을 수 있음	`is_injection` 이고 `confidence > 0.7` 일 때만 `(True, "[LLM] …")`. 예외면 통과(fail-open)
거절	`refusal_message` (guards_refusal.py)	사유에 "금지 주제" 가 있는지	모델이 쓰지 않는 고정 문자열이라 주입될 수 없음	종류별 고정 문구 AIMessage. 사유는 `guard_audit.log` 에만
③ 출력	`OutputGuardrailMiddleware.after_model`	tool_calls 없는 최종 응답만. PII → 금지 주제 → 근거(LLM) 순서, 걸리면 즉시 return	3단계만 모델 호출. 판별 모델은 응답 본문만 받음	부분 마스킹 / 통째로 고정 문구 / 안내 문구 덧붙임. 모두 같은 id 로 교체

입력 가드는 before_model 이 아니라 wrap_model_call 입니다. before_model 은 State 를 고칠 수는 있어도 모델 호출 자체를 대신할 수 없지만, wrap 은 실제 호출을 하는 handler 를 쥐고 있어 부르지 않기로 할 수 있습니다. 그래서 차단된 요청에는 본 모델 비용이 들지 않고 공격 문장이 본 모델에 닿지도 않습니다.

공격 세트 10문항을 규칙에만 넣어 본 결과

rule_check 와 패턴 목록만 그대로 복사해 실행한 결과입니다. LLM 을 부르지 않으므로 항상 같습니다. 정상 세트 10문항은 모두 규칙을 통과했습니다(오탐 0). 따라서 정상 세트에서 오탐이 나온다면 LLM 판별에서 나온 것입니다.

함정과 주의

조사 하나로 규칙을 빠져나갑니다. 세 번째 패턴은 "위의 지시 무시"는 잡지만 "지금까지의 규칙은 … 잊어"는 놓칩니다. "새로운 명령이야: … 삭제해" 도 통과합니다. 이 둘의 차단은 전적으로 LLM 판별에 달려 있습니다.
LLM 판별은 실패하면 통과시킵니다(fail-open). 예외가 나면 [guard] LLM 검사 실패, 규칙 결과만 사용 을 찍고 통과입니다. 가용성을 택한 정책이고, 보안이 우선이면 차단(fail-closed)으로 바꿔야 합니다.
입력 가드는 모델 호출마다 돕니다. wrap_model_call 이라 도구를 쓰는 질문이면 같은 사용자 메시지를 매번 다시 검사하고, 규칙을 통과한 입력은 매번 LLM 판별까지 갑니다.
거절문도 출력 가드를 지납니다. 두 가드를 함께 꽂으면 입력 가드가 만든 거절 AIMessage 가 "tool_calls 없는 응답"이라 출력 가드의 3단계 check_grounding 까지 가서 판정용 호출이 한 번 더 일어날 수 있습니다.
출력 가드는 tool_calls 가 붙은 응답을 건드리면 안 됩니다. 새 AIMessage(content=…) 로 바꾸면 tool_calls 가 사라져 도구가 실행되지 않고 HITL 승인도 걸리지 않습니다. 75~76줄이 그것을 막습니다. 또 출력 가드는 모델 응답만 보므로 ToolMessage 에 든 개인정보는 State 에 그대로 남습니다.
패턴이 여러 파일에 중복 정의되어 있습니다. PII_PATTERNS, mask_pii, FORBIDDEN_TOPICS 가 마스킹·입력·출력 파일에 각각 있습니다. 또 refusal_message 는 사유 문자열의 "금지 주제" 라는 표현으로 종류를 가르므로 rule_check 의 문구를 바꾸면 분류도 바뀝니다.