넌센스 퀴즈 300문항을 전부 버린 이유 — 자체 창작에서 '사람들이 실제로 주고받는 문제' 수집으로

넌센스 퀴즈는 모임에서 진행자가 문제를 읽어 주고 다 같이 맞히거나, 혼자 4지선다로 풀 수 있는 말장난 퀴즈 앱입니다. 지금 들어 있는 문제은행은 320문항인데, 처음부터 이 모습은 아니었습니다. 10월 26일에 만든 첫 판은 300문항을 전부 자체 창작했고, 11월 7일 그 판의 원칙을 통째로 버리고 문제은행을 다시 짰습니다.

제목은 “전부 버렸다”고 했지만 정확히 말하면 189문항을 버리고 111문항은 다듬어 살렸습니다. 전부 버린 건 문항이 아니라 문항을 만든 원칙입니다. 이 글은 그 원칙이 왜 틀렸는지, 무엇으로 바꿨는지, 그리고 바꾸면서 출처와 저작권을 어떻게 다뤘는지에 대한 기록입니다. 문제은행을 AI 에이전트로 만드는 기본 흐름은 자격증 문제은행 제작기에 적었고, 이 글은 그 방식이 넌센스라는 장르에서 어떻게 어긋났는지를 다룹니다.

처음 원칙: 유명한 문제는 일부러 뺀다

첫 판을 만들 때 정한 원칙은 이랬습니다. 인터넷이나 책에 있는 넌센스 모음을 보고 옮기지 않는다. 동음이의어, 숫자 소리, 글자 모양, 거꾸로 읽기, 띄어 읽기, 의성어, 단어 쪼개기, 영어 소리, 속담을 말 그대로 읽기 같은 말장난의 원리만 가져와 문장을 새로 쓴다. 누구나 아는 고전(열바다, 킹콩, 후다닭, 자원봉사자 같은 것)은 남의 문장일 수 있으니 일부러 뺀다.

이유는 저작권에 대한 조심이었습니다. 자격증 문제은행에서 기출을 쓰지 않고 전부 자체 창작한 것과 같은 판단을 넌센스에도 그대로 적용한 겁니다. 그 결과 300문항 가운데 널리 알려진 고전은 ‘문’을 뒤집으면 ‘곰’, 거꾸로 읽어도 같은 ‘토마토’ 두 개뿐이었고, 그 둘도 풀이에 “고전 문제”라고 따로 표시했습니다.

당시 교차 검수도 같은 방향이었습니다. 검수 항목에 “유명한 문장을 그대로 썼는지”가 들어 있었고, 실제로 고등어(고등학교에 다니는 물고기), 참외(참 외로운 과일), 참치, 화가 네 문항이 “널리 도는 꼴과 거의 같다”는 이유로 원리만 남기고 문장을 바꿨습니다. 지금 돌아보면 검수가 넌센스의 재미를 정확히 겨냥해 지우고 있었던 셈입니다.

통용되지 않는 넌센스라는 평가

출시 직후 Shorts 플레이 영상을 만들어 놓고 다시 보니 문제가 분명했습니다. 영상 속 문제를 듣고 “아~” 하는 순간이 없었습니다. 내린 평가는 한마디로 실제 사람들이 주고받는 넌센스가 아니다였습니다. 웹에서 찾아서라도 한국 사람들이 실제로 쓰는 넌센스를 넣어야 한다는 결론이 바로 나왔습니다.

첫 판의 문항을 하나씩 다시 판정해 보니 이유가 보였습니다. 버린 189문항의 사유를 세면 속담 빈칸 채우기 36, 글자를 억지로 쪼개 붙인 합성 31, “~도 하고 ~도 하는” 틀의 동음이의어 반복 27, 동사 뜻 묶기 22가 가장 많았습니다. 넌센스라기보다 국어 문제였습니다. 버린 문항 몇 개를 그대로 옮깁니다.

• “글씨도 하고, 약 맛도 하고, 모자도 하는 것은?” — 정답 ‘쓰다’. 글을 쓰다, 맛이 쓰다, 모자를 쓰다. 틀린 말은 아니지만 국어 시간의 다의어 문제입니다. 이런 동사 문항이 22개 있었습니다.
• “소를 잃고 나서야 고친다는 곳은?” — 정답 ‘외양간’. 속담을 아는지 묻는 빈칸 문제이지, 말장난이 아닙니다. 이런 속담 문항이 36개였습니다.
• “머리에 쓰기도 하고, 엄마와 아들을 함께 부르기도 하는 것은?” — 정답 ‘모자’. 머리에 쓰는 모자와 母子가 소리가 같다는 건데, 일상에서 母子라는 말을 들을 일이 거의 없어서 맞혀도 웃기지 않습니다.

원리 자체는 다 맞습니다. 동음이의어도 맞고 속담도 맞습니다. 그런데 넌센스의 재미는 원리에서 나오지 않았습니다. 다 같이 아는 문제를 누군가 꺼냈을 때 “아, 그거!” 하는 데서 나옵니다. 유명한 문제를 일부러 뺀 순간 그 재미의 중심을 뺀 겁니다.

방향 전환: 사람들이 실제로 주고받는 문제를 모은다

새 원칙은 반대입니다. 질문과 정답은 사람들이 실제로 주고받는 그대로, 힌트와 풀이와 오답 보기는 직접 쓴다.

먼저 후보를 모았습니다. 나무위키의 넌센스 퀴즈 목록, 다음 카페 세 곳의 모음 글, 레크리에이션용 모음 블로그, 육아 교육 사이트의 넌센스 카드 PDF 등에서 문항을 읽고 하나로 합쳤습니다. 질문 표현이 조금 달라도 정답과 원리가 같으면 한 문항으로 묶고, 같은 문제를 실은 출처 페이지 수를 함께 적었습니다. 결과는 후보 410개, 서로 다른 출처 15곳입니다. 410개 가운데 두 곳 이상에서 확인된 것은 155개였습니다.

이 숫자에는 한계도 같이 적어 두었습니다. 검색 도구가 같은 사이트를 반복해서 돌려줬고, 일부 모음 사이트는 카페와 나무위키 내용을 옮겨 온 흔적이 많아서 출처 수가 실제 인지도를 부풀릴 수 있습니다. 독립적인 출처로 볼 수 있는 곳은 카페 세 곳, 나무위키, 모음 블로그, 육아 교육 사이트 정도입니다. 그리고 육아 교육 사이트의 카드에서만 나온 99개는 제작사가 만든 문제일 수 있어서 따로 표시했습니다(이 구분은 아래 저작권 절에서 다시 다룹니다).

모은 문제가 어떤 것인지 예를 몇 개 들면 이렇습니다. 전부 여러 출처에서 겹쳐 나온 고전입니다.

• “도둑이 가장 싫어하는 아이스크림은?” — 누가바. 도둑에게 제일 무서운 말 “누가 봐!”와 아이스크림 이름이 같은 소리입니다. 후보 파일 기준으로 다섯 곳에서 나왔습니다.
• “차도가 없는 나라는?” — 인도. 찻길이 없으면 사람 다니는 길(人道)만 남습니다.
• “왕이 넘어지면?” — 킹콩. 왕(king)이 “콩” 하고 넘어집니다.
• “세상에서 가장 뜨거운 바다는?” — 열바다. 화날 때 하는 “열받아”가 “열 바다”로 들립니다.

첫 판이 일부러 피했던 바로 그 문제들입니다.

수집 단계에서 뺀 것도 있습니다. 그림이나 소리가 있어야 풀리는 것, 특정 연예인·정치인 같은 실존 인물이 정답인 것, 비속어·성적 표현·신체 비하, 장애·국적을 소재로 한 농담은 모두 제외했습니다. 앱에 넣는 단계에서는 종교·군대·사형·전쟁 소재와 화장실 유머, 성별·외모 소재, 캐릭터 이름이 정답인 문제까지 더 뺐습니다.

정답이 출처마다 갈리는 문제는 뺐다

넌센스를 모으다 보면 유명한데도 쓸 수 없는 문제가 나옵니다. 정답이 출처마다 다른 문제입니다. “바나나가 웃으면?”은 어디서는 바나나킥, 어디서는 빙그레입니다. “감은 감인데 먹지 못하는 감은?”은 영감, 옷감, 대감, 장난감이 다 정답이 됩니다. “개는 개인데 잡을 수 없는 개는?”도 안개, 번개, 무지개가 다 됩니다.

모임에서 말로 할 때는 “그것도 맞네” 하고 넘어가면 그만이지만, 앱이 정답 하나를 정해 채점하는 순간 맞게 답한 사람이 틀렸다는 소리를 듣습니다. 그래서 이런 유형은 아무리 유명해도 넣지 않았습니다. “딸기가 도망가면?”(딸기잼과 딸기시럽), “나무 네 그루는?”도 같은 이유로 뺐습니다.

교차 검수: 먼저 풀고, 오답을 반증하고, 힌트를 의심한다

문제은행을 다시 짠 뒤에는 320문항 전체를 별도 검수 에이전트에게 맡겼습니다. 검수 순서는 세 단계입니다.

1. 질문만 보고 먼저 풀기. 정답을 보기 전에 검수자가 스스로 답을 내고, 그 답이 정답과 같은지 봅니다. 다르면 문제가 정답을 하나로 좁히지 못한다는 신호입니다.
2. 오답 보기 반증. 오답 세 개가 정말 오답인지 적대적으로 따집니다. 넌센스는 원래 비틀어 생각하는 놀이라, 오답도 비틀면 말이 되는 경우가 많습니다.
3. 힌트가 답을 말하는지. 힌트가 방향만 주는지, 사실상 정답을 말해 버리는지 봅니다.

결과는 이렇습니다.

검수 결과	건수
수정 없음	216
수정(같은 문항에서 일부 고침)	99
교체(같은 자리에 다른 후보 문항)	5
수정 내역 — 힌트가 답을 말함	43
수정 내역 — 오답 보기 교체	42
수정 내역 — 풀이 고침	7
수정 내역 — 정답이 갈려 질문을 좁힘	5

수정 내역은 한 문항에 여러 개가 겹칠 수 있어 합이 99와 다릅니다.

가장 많은 결함은 힌트가 답을 그대로 말하는 것이었습니다. 정답이 ‘파’인 문항의 힌트가 “도레미○솔”이었고, 다른 문항들도 “○○ 먹이다”, “나의 ○○은”처럼 빈칸만 채우면 정답이 되는 꼴이었습니다. 힌트를 쓸 때 “답을 떠올리게 하라”는 지시가 “답이 들어가는 문장을 주라”로 미끄러진 겁니다. 43건은 모두 방향만 주는 힌트로 바꿨습니다.

두 번째는 오답이 사실은 정답인 것입니다. 세상에서 가장 추운 바다를 묻는 문항의 오답에 북극해와 남극해가 있었는데, 이건 넌센스가 아니라 진짜 정답입니다. “가장 큰 코”를 묻는 문항은 코끼리가 실제로 가장 큰 코라서 질문을 “나라 이름 중에서”로 좁혔습니다. 정답이 아닌 상식이 오답 자리에 들어가 정답을 위협하는 유형입니다.

직접 입력 모드도 같이 봤습니다. 정답 표기가 조금 달라도 맞게 쳐 주도록, 20문항에 인정 표기 40개를 더했습니다. 정답이 가장 긴 보기인 비율은 11.9%, 정답과 오답의 평균 길이비는 1.033으로, 길이로 정답을 짐작하는 단서는 거의 없습니다.

결과: 320문항, 살린 111과 새로 모은 209

첫 판 300문항은 하나씩 keep, fix, drop으로 판정했습니다. 그대로 둔 것이 84, 원리는 살리고 문장을 실제 수수께끼 말투나 같은 원리의 더 유명한 꼴로 바꾼 것이 27입니다. 앞에서 검수가 지웠던 고등어(“학벌이 가장 좋은 물고기”)와 참외(“가장 외로운 과일”)가 이때 유명한 꼴로 돌아왔습니다. 버린 189 자리와 새 번호 20개에는 새 문항 209개를 넣었습니다.

	10/26 첫 판	11/7 새 판
문항 수	300	320
만든 방식	전부 자체 창작(원리만 차용)	첫 판에서 살린 111 + 새로 모은 209
널리 알려진 고전	2개	고전 명작 구역만 82개
질문·정답	직접 지은 문장	통용되는 그대로(말투만 다듬음)
힌트·풀이·오답 보기	직접 작성	직접 작성
새 문항의 출처 구분	해당 없음	웹 후보 175 · 교육용 카드 16 · 후보 밖 고전 18

난이도는 쉬움 108, 보통 164, 어려움 48이고, 분류로 보면 고전 명작 82, 소리 말장난 118, 글자 놀이 49, 발상 전환 27, 숫자·영어 42, 기타 2입니다. 기계 검사는 문항 수와 번호, 정답·문제 중복, 보기 네 개가 서로 다른지, 오답이 직접 입력에서 정답으로 처리되지 않는지, 두 글자 이상 정답이 힌트에 통째로 들어가지 않는지까지 테스트로 막아 두었습니다.

출처 표기·저작권 처리 원칙

넌센스를 모아서 쓰기로 하면 첫 판이 피하려던 질문, 즉 남의 것을 가져다 쓰는 게 괜찮은가로 돌아오게 됩니다. 법률 판단을 대신할 수는 없으니, 여기서는 우리가 실제로 어떻게 처리했고 어디까지를 운영 원칙으로 삼는지를 적습니다. 실제로 한 것과 앞으로 지킬 것을 나눠서 씁니다.

이번에 실제로 한 것

• 질문과 정답은 널리 퍼진 민간 전승으로 보고 수집했습니다. “누가바”, “열바다” 같은 문제는 누가 처음 만들었는지 알 수 없고, 수많은 카페와 모음 글에서 같은 질문과 정답이 오갑니다. 이런 문제는 질문과 정답을 그대로 쓰되, 질문 말투만 앱의 존댓말 수수께끼 꼴로 맞췄습니다.
• 힌트, 풀이, 오답 보기는 전부 직접 썼습니다. 문제은행 파일 머리에 이 원칙을 적어 두었고, 후보를 모을 때 붙인 한 줄 설명부터 출처 문장을 베끼지 않고 새로 쓰는 것으로 정했습니다.
• 특정 사이트의 목록을 통째로 옮기지 않았습니다. 후보는 열다섯 곳에서 모아 한 문항으로 합쳤고, 앱 안의 배열은 우리 분류(고전 명작, 소리 말장난, 글자 놀이 등)와 첫 판의 번호 자리를 따릅니다. 어느 한 사이트의 선별이나 순서를 그대로 재현한 구조는 아닙니다.
• 제작자가 있을 수 있는 문제는 따로 표시하고 뒤로 미뤘습니다. 육아 교육 사이트의 카드 PDF에서만 나온 99개는 그 회사가 직접 만든 문제일 수 있어서 “널리 알려졌다”고 보지 않았습니다. 웹에서 사람들이 주고받는 후보를 먼저 쓰고, 카드 출처는 16개만 보충으로 넣었으며, 어떤 문항이 그 16개인지 검수표에 목록으로 남겼습니다.
• 출처 기록을 문제은행 폴더에 남겼습니다. 후보 파일에는 문항마다 출처 URL 목록, 실은 출처 수, 사람들이 쓰는 글에서 나왔는지 카드에서만 나왔는지 구분이 들어 있습니다. 출처 15곳의 목록과 곳마다 읽은 수·반영한 수, 수집 기준과 한계는 별도 설명 파일에 적었습니다. 검수표에는 새 문항마다 웹 후보, 카드, 후보 밖 고전 중 어디서 왔는지를 적었습니다.
• 실존 인물과 상표가 얽힌 말장난은 대부분 뺐습니다. 연예인 이름이 정답인 문제(지우개와 배우 이름을 엮은 것 등), 정치인 이름을 엮은 사자성어 풀이, 아파트·자동차·식당·의약품 상표를 소재로 한 말장난은 수집 단계에서 제외했습니다. 다만 누가바처럼 아이스크림 이름 자체가 오래된 고전의 정답인 경우는 남겼습니다.

한계와 앞으로의 원칙

• 여러 출처에서 확인된 것만 채택하지는 않았습니다. 후보 410개 가운데 두 곳 이상에서 나온 것은 155개였고, 출처 수는 기록만 하고 채택 기준으로 쓰지는 않았습니다. 앞으로 문항을 더할 때는 한 곳에서만 나온 문제와 카드 출처 문제를 더 엄격하게 보려고 합니다.
• 문항과 출처가 글자 단위로 다 이어져 있지는 않습니다. 검수 단계에서 225개 문항은 질문 말투를 다듬은 탓에 후보 파일의 질문과 글자가 달라서, 출처 일치를 기계로 확인하지 못했습니다. 그리고 후보 파일에 없던 고전 18개는 널리 알려진 문제라는 판단으로 기억에서 넣었기 때문에 출처 URL이 없습니다. 둘 다 문항별 출처를 다시 붙이는 작업이 남아 있습니다.
• 특정 창작자가 분명한 개그와 유행어는 쓰지 않습니다. 이번 작업에서 이 기준을 따로 세워 점검하지는 않았지만, 방송 코너나 특정 개그맨의 유행어처럼 만든 사람이 분명한 말장난은 민간 전승으로 보지 않는 것을 원칙으로 삼습니다.
• 앱 안에 출처를 표시하는 방식은 아직 정하지 않았습니다. 지금은 기록을 저장소에 남기는 데서 그쳤습니다.

아직 남은 것

• 재구성한 320문항은 사람 눈 검수 전입니다. 특히 영어와 한자가 섞인 어려움 48문항과 기억에서 넣은 18문항을 한 번 더 봐야 합니다.
• 억지에 가까운 말장난이 몇 개 남아 있습니다. 한 번에 이해되는지는 실제 플레이 반응을 보고 정리합니다.
• 정답이 열려 있는 유형은 인정 표기를 늘렸지만, 직접 입력 모드에서는 여전히 맞게 답하고도 틀렸다고 느낄 수 있습니다.
• 가장 긴 정답이나 긴 보기가 실제 화면에 잘 들어가는지는 아직 확인하지 않았습니다.

지식 퀴즈와 넌센스는 다른 장르였다

이 일에서 얻은 교훈은 하나로 모입니다. 자체 창작이 맞는 장르와 틀린 장르가 있다.

한국사, 경제 상식, 자격증 같은 지식 퀴즈는 자체 창작이 맞습니다. 문제의 가치는 “이 지식을 아는가”에 있고, 같은 지식을 새 문장으로 물어도 가치가 그대로입니다. 오히려 기출을 옮기는 쪽이 저작권 문제가 됩니다. 그래서 지식 퀴즈에서는 원리(출제기준과 개념)만 가져와 새로 쓰는 방식이 잘 맞았습니다.

넌센스, 수수께끼, 아재개그는 반대입니다. 재미의 절반이 “다 아는 것”에서 나옵니다. 진행자가 “도둑이 가장 싫어하는 아이스크림은?” 하고 물으면 이미 아는 사람은 웃으며 답을 외치고, 처음 듣는 사람은 답을 듣고 “아~” 합니다. 둘 다 즐겁습니다. 새로 지은 문제는 아무도 모르니 두 반응이 다 사라지고, 원리만 남은 국어 문제가 됩니다.

그래서 넌센스류 문제은행의 규칙은 이렇게 바뀌었습니다. 문제는 웹에서 실제로 통용되는 것을 모으고, 출처가 갈리는 정답은 빼고, 우리가 쓰는 것은 풀이·힌트·오답 보기로 한정한다. 같은 “문제은행 만들기”라도 장르가 무엇을 재미로 삼는지부터 묻고 시작해야 했습니다.

정리

• 첫 판은 “유명한 넌센스는 빼고 원리만 가져온다”는 원칙으로 300문항을 자체 창작했고, 통용되지 않는 넌센스라는 평가를 받았습니다. 버린 문항의 사유는 속담 빈칸, 억지 합성, 틀 반복, 동사 뜻 묶기가 대부분이었습니다.
• 새 판은 웹에서 후보 410개를 모아 질문·정답은 통용되는 그대로 쓰고, 힌트·풀이·오답 보기만 직접 썼습니다. 정답이 출처마다 갈리는 문제는 뺐습니다.
• 교차 검수에서 가장 많이 잡힌 결함은 힌트가 답을 그대로 말하는 것(43건)이었고, 그다음이 오답 보기 교체(42건)였습니다.
• 결과는 320문항, 첫 판에서 살린 111과 새로 모은 209입니다. 출처 기록은 남겼지만 문항별 출처 연결과 사람 눈 검수는 아직 남은 일입니다.

앱 소개와 받는 곳은 넌센스 퀴즈 소개글에 있습니다. 문제은행을 AI 에이전트로 만드는 전체 흐름은 자격증 문제은행 제작기에서 볼 수 있습니다. 소식은 이 블로그와 인스타그램(@fadongkwon.soft)↗ (새 창에서 열림)에서 전해드립니다.