자격증 문제은행 7,200문항을 AI 에이전트로 만든 과정 — 생성과 검수를 분리하고, 출제기준·법령 원문을 뒤늦게 대조한 이야기

간호조무사 모의고사는 자체 창작 문항 2,400개로 만든 앱입니다. 같은 틀을 다른 자격시험으로 넓히기로 하고, 10월 22일부터 24일까지 다섯 계열의 문제은행을 만들었습니다. 결과는 7,200문항입니다. 이 글은 그 문항을 어떻게 만들고, 어떻게 검수했고, 무엇이 틀렸었고, 아직 무엇이 남았는지에 대한 기록입니다. 앱 자체는 아직 출시 전이라 소개는 나중에 따로 합니다.

왜 기출을 쓰지 않았나

먼저 정한 건 저작권입니다. 큐넷은 상시 시험 문제를 공개하지 않고 수험표에 옮겨 적는 것도 금지합니다. 국시원은 요양보호사 문제와 정답을 비공개 저작물로 못박고 있습니다. 인터넷의 기출 복원 문항은 출처가 불분명해서 쓰지 않기로 했습니다. 예외는 운전면허 학과시험 하나입니다. 도로교통공단이 문제은행을 공공데이터로 공개하고 있어서 그대로 씁니다.

그래서 출제 범위는 큐넷 출제기준과 공개 표준교재로 잡고, 문항은 전부 새로 씁니다. 요양보호사 교재는 공공누리 4유형(변경 금지)이라 문장을 그대로 옮기지 않고 내용만 참고합니다.

구조: 계열 → 블록 → 문항

계열마다 설계 파일을 먼저 만듭니다. 과목과 세부 주제, 주제별 개념 목록, 그리고 “이 주제에서 조심할 것”을 적습니다. 그다음 블록 단위로 생성합니다. 블록 하나가 30문항이고 난이도는 쉬움 9, 보통 15, 어려움 6으로 고정했습니다. 요양보호사는 5지선다, 나머지는 4지선다입니다.

계열	블록	1차(10/22)	2차 증설(10/24)
요양보호사	필기 7 + 실기 9 → 확장	480	1,500
미용사 4종(일반·피부·네일·메이크업)	공통 6 + 종목별 3 → 확장	540	1,800
조리기능사 4종(한식·양식·중식·일식)	공통 8 + 종목별 2 → 확장	480	1,500
제과·제빵기능사	공통 8 + 제과 3 + 제빵 3 → 확장	420	1,200
지게차·굴착기운전기능사	공통 8 + 종목별 3 → 확장	420	1,200
합계		2,340	7,200

문항 스키마는 과목·주제·발문·보기·정답·난이도·해설 일곱 칸이고, 검증 스크립트가 스키마와 중복, 난이도 누락, 그리고 단서 편향을 봅니다. 단서 편향은 “정답이 가장 긴 보기인 비율”입니다. AI가 문항을 쓰면 정답 보기에 설명을 더 붙이는 버릇이 있어서, 이 비율이 한 계열에서 34%를 넘으면 통과시키지 않습니다. 최종 수치는 계열별로 13~21% 사이입니다.

생성과 검수를 다른 모델에 맡긴 이유

생성은 빠른 모델, 검수는 더 큰 모델이 맡고, 둘을 같은 블록에 대해 따로 돌립니다. 자기 문항을 자기가 검수하면 같은 오해가 그대로 통과하기 때문입니다. 지휘하는 쪽은 블록마다 생성 프롬프트와 검수 프롬프트를 만들어 에이전트에 넘기고, 검수 보고서는 “수정·삭제·보류” 세 가지 판정으로 돌아옵니다. 보고서를 일괄 적용하는 도구는 원본을 백업 파일 기준으로 다시 적용하기 때문에 몇 번을 돌려도 결과가 같습니다.

규모는 동시 20개까지였습니다. 생성 한 블록에 4~6분, 검수 한 블록에 30~90초가 걸렸고, 검수 쪽이 한 블록당 토큰을 더 썼습니다. 가장 먼저 바닥난 건 에이전트가 아니라 지휘하는 쪽의 주간 한도였습니다. 블록을 두 개씩 묶어 턴 수를 줄였고, 5시간 한도에도 두 번 걸려 중간에 재개했습니다. 재개는 진행 파일을 다시 읽는 것으로 충분하도록 처음부터 상태를 파일에 남겼습니다.

검수에서 실제로 잡힌 것

1차 78블록에서 검수가 손댄 건 25건 안팎입니다. 유형별로 보면 이렇습니다.

• 정답 번호와 해설이 어긋남. 한 블록에 5건이 몰렸습니다. 해설은 3번을 설명하는데 정답은 2번으로 적힌 식입니다. 같은 배치의 다른 블록도 의심해 다시 봤습니다.
• 해설의 사실 오류. 불용성 식이섬유의 성질, 노로바이러스의 열 저항성, 효모의 포자 형성, 연어의 분류 같은 것들입니다. 발문과 정답은 맞는데 해설이 틀린 경우라, 해설만 보고 공부하는 사용자에게는 더 위험합니다.
• 복수 정답. “연결로 옳은 것”처럼 일반 진술형 발문에서 다른 보기도 맞는 경우, 발달과업이 두 보기에 겹치는 경우, 피부미용 범위 해석에 따라 갈리는 경우.
• 옛 법령 명칭. 명예식품감시원은 소비자식품위생감시원으로 바뀐 지 오래됐고, 의료급여 본인부담 면제 범위도 바뀌어 있었습니다.

2차 재검수에서는 법령을 직접 대조해 더 잡았습니다. 공중위생관리법 시행규칙에서 삭제된 면허증 반납 의무, 개정 전 식품위생법 목적 문구, 유통기한에서 소비기한으로 바뀐 표기, 장기요양보험료의 구분 고지, 도로교통법의 소화전 5미터와 전조등 조항처럼 보기 둘이 다 맞는 문항, 2024년 11월에 사라진 등록이전신고. 전부 “예전에는 맞았던 지식”입니다. 모델이 틀린 게 아니라 낡은 것이고, 이건 원문 없이는 못 잡습니다.

처음 설계의 한계와 뒤늦은 원문 대조

1차 설계 때 솔직히 적어야 할 한계가 있었습니다. 설계 에이전트들이 큐넷 출제기준 원문 PDF와 국시원 2026 개정 교재 목차를 열지 못했습니다. 그래서 블록은 수험서 목차와 일반 지식으로 짰습니다. 적용 기간을 확인한 것도 미용사(2022~2026)·제과제빵(2026~2027)·지게차굴착기(2025~2027)·조리(2023~2025)까지였습니다.

2차에서 원문을 확보했습니다.

• 큐넷 출제기준. 종목 페이지의 보고서 번호를 읽어 보고서 뷰어를 페이지 단위로 넘기며 본문을 모았습니다. 명령줄 도구로는 파라미터가 암호화돼 안 되고 브라우저가 필요했습니다. 확인 결과 조리 4종은 2026년 1월부터 새 출제기준이 시행 중이라 1차 설계가 옛 판 기준이었고, 미용사는 2027년 개정 기준이 이미 공개돼 있었습니다.
• 법령. 법제처 공개 API가 키 없이 현행 법령 XML을 돌려줍니다. 30종을 받아 공포일·시행일과 함께 보관했습니다.
• 요양보호사 교재. 복지부 게시물의 2026년 개정판과 2024년판 PDF 원문을 받아 목차와 변경점을 정리했습니다. 개정 때문에 틀린 기존 문항은 없었습니다.
• NCS 학습모듈 32개를 지게차·굴착기·네일 위주로 받았습니다. 헤어·피부·메이크업 모듈은 아직 없어 그 계열 검수는 모델 판단에 기댑니다.

원문이 생긴 뒤 계열마다 출제기준과 문제은행의 간격을 적은 대조 보고서를 만들고, 그 간격을 메우는 방향으로 7,200문항까지 늘렸습니다. 생성 프롬프트에는 블록의 출제기준 문구와 같은 주제의 기존 발문을 넣어 중복을 줄였습니다.

남은 것

• 검수 보류 중 근거를 끝내 확인하지 못한 항목이 지게차굴착기 15건, 미용사 2건, 제과제빵 2건, 조리 2건 남아 있습니다. 출시 전에 교재 대조로 정리합니다.
• 헤어·피부·메이크업은 NCS 모듈이 없어 검수 근거가 약합니다.
• 운전면허 학과시험은 공개 문제은행을 그대로 쓰되, 영상이 필요한 동영상형 문항은 뺐고 2026년 3월 시행 판 기준입니다.
• 앱은 광고를 켠 상태로 Play와 앱인토스 자료까지 준비돼 있고, 출시는 Play 새 앱 생성 한도가 풀리는 다음 주입니다. 앱인토스에는 파동권 자격증 허브 안에 간호조무사와 함께 들어갑니다.

정리

• 기출을 쓰지 않고 다섯 계열 7,200문항을 자체 창작했습니다. 운전면허만 공개 문제은행입니다.
• 생성과 검수를 다른 모델, 다른 에이전트에 맡겨 같은 블록을 두 번 보게 했습니다. 검수가 잡은 결함의 큰 축은 정답과 해설의 불일치, 그리고 낡은 법령 지식이었습니다.
• 1차 설계는 출제기준 원문 없이 했고, 2차에서 큐넷·법제처·복지부 원문을 확보해 대조했습니다. 조리 4종은 그 사이 출제기준이 바뀌어 있었습니다.
• 단서 편향 같은 기계 검사만으로는 사실 오류를 못 잡습니다. 원문을 손에 쥐고 다시 보는 단계가 필요했습니다.

만든 앱들은 GAMES와 APPS에 있고, 일부는 브라우저에서 바로 해볼 수 있습니다. 소식은 이 블로그와 인스타그램(@fadongkwon.soft)↗ (새 창에서 열림)에서 전해드립니다.

이 문제은행은 학습 보조용 모의 문항이며 실제 시험 문제가 아닙니다. 법령과 출제기준은 바뀌므로 응시 전에는 반드시 시행처의 최신 공고를 확인해 주세요.