Jinwoo Nam

과학·이공계 개념을 일관된 화풍의 클립아트로 자동 생성해, 교재·콘텐츠 제작에 활용할 수 있는 라이브러리를 구축하는 기능입니다.

• 분야별(생물·천체물리·전자 등)로 Flux.2 dev 모델을 파인튜닝하여, 각 분야에 맞는 정확도와 스타일을 확보하였습니다.
• 관련 과목 교과서에서 클립아트로 만들 후보 키워드를 수집하고, 이를 바탕으로 이미지를 생성합니다.
• 각 키워드는 로컬 LLM(Gemma 기반)을 통해 새로운 키워드로 파생되어, 생성 대상이 스스로 확장되는 무한 플라이휠을 구축하였습니다.

시각화할 내용을 텍스트로 입력하면, 이공계 개념을 정확한 그림(다이어그램·도식·그래프)으로 그려 주는 기능입니다. 예를 들어 “Draw Krebs cycle”을 입력하면 크렙스 회로 다이어그램을 생성합니다.

• 현재의 생성형 이미지 AI(GPT-Image-2, Nano Banana Pro 등)는 과학적으로 정확한 그림을 그리지 못합니다. 그래서 우리는 분야별로 적합한 전문 도구(예: matplotlib 등)를 사용해 그림을 직접 그려, 과학적 정확성을 확보합니다.
• GPAI Solver의 풀이 설명에서 그림이 필요할 때 이 기능을 활용해 학생의 이해를 돕습니다.
• 생성된 그림은 벡터로 편집하거나 PNG·SVG로 내보내 재사용할 수 있습니다.

임의의 이공계 문제를 사진으로 찍어 올리면, AI가 문제를 인식하고 풀이를 생성해 주는 기능입니다.

• 정답과 함께 단계별 풀이 과정을 제공하여, 학생이 풀이 흐름을 따라갈 수 있도록 합니다.
• 풀이 설명 중 필요한 경우, 위의 GPAI Visualizer를 활용해 도형·그래프 등 그림을 그려 학생의 원활한 이해를 돕습니다.
• 여러 모델의 결과를 교차검증하여 답의 신뢰도를 높입니다.

학생이 화면에 직접 손으로 작성한 풀이를 AI가 인식하여, 최종 답과 풀이 과정을 함께 채점하는 AI 서술형 평가 기능입니다. 국내 수학 앱 최초로 도입한 수학대왕의 대표 킬러 기능으로, 많은 사용자가 이 기능을 보고 서비스를 구매합니다.

• 문항별로 채점 기준(루브릭)을 자동으로 생성하고, 그 루브릭에 맞추어 학생의 필기 풀이를 채점합니다.
• 각 루브릭 항목이 필기의 어느 부분과 연관되는지 위치까지 찾아 표시하여, 학생이 어디서 맞고 틀렸는지 직관적으로 확인할 수 있습니다.
• 손글씨 채점은 환각(Hallucination)이 발생하기 쉬운 작업이지만, 이를 성공적으로 억제하여 신뢰할 수 있는 채점 품질을 확보하였습니다.
• 학생이 오래 기다리지 않도록, 짧은 시간 안에 채점을 완료하는 것을 핵심 목표로 최적화하였습니다.

하나의 원본 문제로부터 구조가 동일한(isomorphic) 변형 문제를 LLM으로 대량 생성하는 프레임워크 CBIT(Computational Blueprints for Isomorphic Twins)를 개발하였습니다. 핵심 아이디어는 LLM이 문제를 직접 쓰는 대신, 문제의 정량적 관계를 코드로 추상화한 “생성기 프로그램”을 작성하게 하는 것입니다. 이후 시드별 결정론적 실행과 템플릿 복원을 통해 수학적 정확성과 구조적 일관성을 생성 과정에 내재화하였습니다.

• 전문가가 직접 출제한 문항보다 오류율이 17.8% 낮았습니다.
• K=100 생성 기준 비용을 42배 절감하였습니다.
• “수학대왕” 상용 서비스에 배포하여 6,732명의 학습자에게 제공, 186,870건의 상호작용을 처리하였습니다.
• EMNLP 2025 (Industry Track)에 게재되었습니다.

학생이 풀고 있는 문제에 대해, 정답을 직접 알려주지 않으면서 풀이 방향을 단계적으로 안내하는 “AI 힌트”를 자동으로 생성합니다.

• 각 문항의 조건과 풀이 흐름을 분석하여, 다음에 무엇을 해야 할지를 짚어주는 맞춤형 힌트를 제공합니다.
• 정답을 노출하지 않고 사고 과정을 유도하도록 설계하여, 학생이 스스로 문제를 끝까지 풀어내도록 돕습니다.
• 커리큘럼에 맞는 개념집을 근거로 힌트를 생성하여, 학생이 배운 내용과 일관된 설명을 제공합니다.
• 학생 사용률이 매우 높은 핵심 기능으로, 약 2년째 안정적으로 서비스되고 있습니다.

학생의 실력 추정 결과를 바탕으로, 매 순간 학생에게 가장 적절한 난이도의 문제를 추천하는 시스템입니다. 추천된 문제를 풀면 자동 채점과 단계별 해설로 이어지는 학습 루프를 제공합니다.

• 2년여에 걸쳐 학생들의 실제 학습 피드백을 반영하며 추천 알고리즘을 지속적으로 개선하였습니다.
• 몬테카를로 트리 탐색(MCTS)을 기반으로 다수의 휴리스틱과 일부 딥러닝 모델을 접목하여, 학생에게 항상 적절한 수준의 문제를 제공합니다.
• 배포 전 과정에 직접 참여하였으며, 모델을 TensorRT로 컴파일해 BentoML로 서빙하였습니다. 초기에는 EKS 기반으로 운영하다가 현재는 인하우스 로컬 환경으로 서빙하고 있습니다.

학생의 문제 풀이 기록으로부터 학생의 실력을 예측합니다. 유관 단원의 풀이 기록이 5개 정도만 있어도 학생의 본 실력에 가까운 추정이 가능하며, 학생이 문제를 풀어낼 확률을 3% 내외의 오차로 예측합니다. 또한 모델이 분석한 실력을 학생이 실제로 체감할 수 있는 다양한 방식으로 풀어 보여줍니다.

• 현재 실력을 상위 퍼센트로 표현
• 수능·모의고사 예상 성적 (원점수·표준점수·백분위·등급)
• 목표 대학 합격 가능성 예측 (1~3지망)
• 과목·단원별 정답 확률 분석
• 목표 제시 (“30문제를 더 맞히면 상위 30.5%” 와 같이 다음 목표를 직관적으로 안내)
• 모델 연구부터 배포까지 전 과정에 직접 참여하였습니다. 모델을 TensorRT로 컴파일해 BentoML로 서빙하였으며, 초기에는 EKS 기반으로 운영하다가 현재는 인하우스 로컬 환경으로 서빙하고 있습니다.

기존 Knowledge Tracing(학생의 정답 확률 예측)은 문제·정오답·시각 세 가지 신호만 사용합니다. 이는 벤치마크 데이터셋(ASSISTMENT2009)에 전문가 지식이 빠져 있기 때문입니다. 우리는 단원 간 연관관계(Skill-to-Skill)야말로 빠져 있는 핵심 정보라 보고, 사내 수학 전문가 4인이 110개 단원의 관계를 직접 라벨링한 ASSISTMENT-SSR 데이터셋을 제작·공개하였습니다.

• 단원 관계를 그래프 → Node2Vec → Skill2Vec으로 표현하였습니다.
• KT 손실(L_k)과 Skill2Vec 정렬 손실(L_p)을 함께 학습하였습니다 (L = L_k + L_p).
• 전문가 관계를 사용하면 AUC가 향상되었고(80.81 → 81.10), 특히 학습 데이터가 적을수록 효과가 컸습니다.
• AAAI 2023 (AI4ED Workshop)에서 발표하였습니다.

Natural Language Video Localization(NLVL)은 비디오와 문장이 주어졌을 때 비디오에서 문장이 가리키는 부분을 찾아내는 문제입니다. 이 문제를 별다른 annotation cost 없이 해결하는 Zero-Shot NLVL문제를 제시하고 이를 해결하는 알고리즘을 제시하였습니다. 해당 논문의 제 1저자로 연구를 진행하였고, 아이디어부터 대부분의 실험 설계와 논문 구성까지 도맡아 했습니다. 지도교수님과 다른 분들의 도움을 통해 성공적으로 논문의 형태로 만들 수 있었습니다.

• NCSOFT의 지원을 받아 특허를 출원하였습니다 (출원번호 10-2021-0076124)
• ICCV2021 Accpeted as Oral Paper (link)
• KCC2022(한국정보과학회) Top Conference Sesson에 연사로 초청받아 강연하였습니다

위에 소개된 Natural Lanugage Video Localization (NLVL) 문제의 지도학습 버전입니다. NCSOFT의 지원을 받아 당시 State-of-th-art 였던 ASST 모델을 재구현하고 이를 바탕으로 모델 성능을 올리는 방법을 제시하였습니다. 이 연구를 통해 노하우가 많이 필요한 비디오 분야에 필수적인 기술 여러 가지를 배울 수 있었습니다.

Deeping Source Inc.의 연구개발 인턴으로 활동하며 아래에 설명한 Image obfuscation 모델이 실사용에서도 잘 동장하도록 하는 선행연구를 하였습니다. 기존의 연구는 GAN을 활용하여 Image Obfuscation을 수행하나, 이로 인해 64*64 보다 큰 이미지에는 잘 적용되지 않습니다. 저는 이를 해결하기 위해 Target Task의 Featuremap을 활용하여 Obfuscator GAN이 커다란 이미지에서도 잘 작동할 수 있도록 만들었습니다.

방학 동안 Deeping Source Inc.의 인턴으로 활동하며 Image Obfuscation서비스의 기반 연구를 하였습니다. Image Obfuscation은 데이터셋의 privacy문제를 해결하기 위해 이미지를 사람이 알아볼 수 없는 형태로 바꾸되 인공신경망에 학습되었을 때는 정상적인 성능을 내도록 하는 것을 목표로 합니다. 현재 Image Obfuscation은 Deeping source inc.의 주요 서비스로 자리잡았습니다.

하나의 이미지 안에 다른 이미지에 대한 정보를 주입하되 이를 사람이 인식하지는 못하게 하는 알고리즘을 제안하였습니다. 기존의 연구는 대부분 이미지 내에 짧은 문장을 주입하는 문제를 다루었으나, 여기에서는 하나의 이미지에 같은 사이즈의 다른 이미지를 주입하는 더 복잡한 문제를 다루었습니다. 이를 위해 기존에 존재하던 Text-in-Image Steganography 모델에서 출발하여 Image-in-Image 문제에도 대응하는 새로운 모델을 제안하였습니다.