AI 이력서 도구가 숫자를 지어내지 않게 만든 방법

이 글은 CareerWave 운영자가 AI 이력서 도구를 만들고 고치면서 실제로 내린 결정을 정리한 운영 노트입니다.

AI로 이력서나 자기소개서를 써 본 사람이라면 한 번쯤 이런 문장을 본 적이 있을 겁니다.

고객 응대 프로세스를 개선하여 고객 만족도 32% 향상에 기여했습니다.

문장만 보면 그럴듯합니다. 문제는 그 32%를 내가 말한 적이 없다는 점입니다. 면접관은 숫자를 보면 반드시 묻습니다. "32%는 어떻게 측정했나요?" 여기서 답을 못 하면 그 문장 하나 때문에 서류 전체의 신뢰가 무너집니다.

CareerWave를 만들면서 가장 오래 붙잡은 문제가 바로 이것이었습니다.

1. 왜 AI는 숫자를 지어내는가

이력서 작성법을 다룬 글 대부분이 "성과는 숫자로 쓰라"고 권합니다. AI도 이런 글을 많이 학습했기 때문에, 사용자가 숫자를 주지 않아도 숫자가 있어야 좋은 이력서라고 판단하고 빈칸을 채워 버립니다.

초기 CareerWave의 프롬프트에도 "성과를 수치로 표현하라"는 지시가 들어 있었습니다. 좋은 의도였지만, 결과는 사용자가 쓰지 않은 퍼센트와 금액이 섞인 문장이었습니다. 그래서 프롬프트에서 숫자를 요구하는 지시를 뺐고, 대신 "사용자가 준 사실만 쓰고, 숫자가 없으면 행동과 방법으로 설명하라"고 바꿨습니다.

2. 프롬프트만으로는 부족했다: 숫자 대조 검사

지시를 바꿔도 AI가 가끔 숫자를 만들어 냅니다. 그래서 결과를 화면에 보여 주기 전에 한 번 더 검사하는 단계를 넣었습니다. 방식은 단순합니다.

사용자가 입력한 글에서 숫자를 모두 뽑습니다. "1,200"과 "1200"은 같은 숫자로 봅니다.
AI가 쓴 결과에서도 숫자를 모두 뽑습니다.
결과에는 있는데 입력에는 없는 숫자를 찾습니다. 한 자리 숫자는 목록 번호나 "1명" 같은 표현이 많아서 제외합니다.
이렇게 찾은 숫자가 들어간 문장은 도구에 따라 다르게 처리합니다.
- 이력서 개선 제안: 해당 문장에 표시를 붙입니다.
- 자기소개서: 확인이 필요하다는 경고를 보여 줍니다.
- 경력기술서: 그 줄을 결과에서 뺍니다.

검사 방법이 완벽하지는 않습니다. "3개월"을 "90일"로 바꾸면 다른 숫자로 판단하는 식의 한계가 있습니다. 그래도 지어낸 숫자가 그대로 제출되는 일은 크게 줄었습니다.

3. 과장된 표현도 함께 걸러낸다

숫자 다음으로 많이 보인 문제는 과장된 표현이었습니다. 다음 단어들이 들어가면 문장이 갑자기 AI가 쓴 글처럼 읽힙니다.

걸러내는 단어	대신 쓰면 좋은 방식
획기적, 혁신적	무엇이 이전과 달라졌는지 구체적으로 쓰기
극대화, 비약적	어느 정도 나아졌는지, 모르면 "줄었다/늘었다" 정도로 쓰기
견인, 탁월한, 압도적	내가 맡은 부분과 한 행동을 쓰기
폭발적, 괄목할, 독보적	비교 대상을 밝히거나 빼기

CareerWave의 AI 결과에서는 이런 단어를 찾아 사용자에게 알려 줍니다.

4. 그만큼 지운 것도 있다

솔직하게 적자면, 사이트 초기 버전에는 메인 화면에 "이력서 점수"가 있었습니다. 실제 분석이 아니라 글자 수로 계산한 숫자였습니다. 사용자에게 지어낸 숫자를 쓰지 말라고 하면서 사이트가 근거 없는 점수를 보여 주는 것은 맞지 않다고 판단해 지웠습니다. 같은 이유로 출처를 확인할 수 없는 "합격률"이나 "만족도" 같은 수치도 모두 내렸습니다.

5. AI로 서류를 쓸 때 직접 확인할 것

어떤 AI 도구를 쓰든 제출 전에 아래 네 가지는 직접 확인하길 권합니다.

모든 숫자에 출처가 있는가: 숫자마다 "어디서 나온 숫자인지" 한 문장으로 답할 수 있어야 합니다.
내가 하지 않은 일이 들어가지 않았는가: 팀이 한 일을 "주도했다"로 바꿔 쓰지 않았는지 봅니다.
과장된 형용사가 남아 있지 않은가: 위 표의 단어를 검색해 봅니다.
소리 내어 읽었을 때 내 말투인가: 면접에서 그대로 말할 수 없는 문장이면 고칩니다.