AI 용어 사전

MCP 도구 설명에 숨긴 악성 지시로 에이전트를 조종해 파일이나 키를 빼내는 공격.

비공개 데이터·신뢰 못 할 콘텐츠·외부 전송 수단이 한 에이전트에 모일 때 생기는 유출 위험.

학습·검색 데이터에 조작된 내용을 섞어 모델이 틀리거나 악의적으로 동작하게 만드는 공격.

교묘한 입력으로 모델의 안전장치를 우회해 금지된 출력을 끌어내는 공격.

어떤 크롤러가 무엇을 가져가도 되는지 적어두는 파일. AI 시대엔 학습·검색·사용자 요청을 따로 막는 자리가 됐다

모델이 사실이 아닌 내용을 사실인 것처럼 자신 있게 말하는 현상

외부 콘텐츠에 숨긴 지시로 AI를 조작하는 공격 기법

AI의 입출력이 정해진 안전·정책 범위를 벗어나지 않게 막는 장치

AI 시스템의 약점을 찾기 위해 의도적으로 공격을 시도하는 활동

에이전트의 코드 실행을 격리된 안전한 환경에 가두는 것

AI가 인간의 의도·가치에 맞게 행동하도록 조정하는 것

AI가 의도치 않게 해를 끼치지 않도록 연구·관리하는 분야

로그인된 사용자의 권한을 도용해 의도치 않은 요청을 서버에 보내게 만드는 웹 공격.