코드넛

교과서 데이터 가공 및 추출 시스템 고도화

AI 튜터 개발에 사용할 초·중·고등학교 교과서 데이터를 가공하고, 데이터 추출 시스템을 보완·고도화했습니다.

2023.10 ~ 2025.05

  • #Data Processing
  • #Backend
  • #Automation
  • #AI Data

Project

  • 2023.10~2024.03 중·고등학교 교과서 데이터 가공작업 수행
  • 2024.09~2025.05 AI 튜터 개발을 위한 초·중·고등학교 교과서 데이터 추출 시스템 보완 및 고도화 수행

Challenge

  • 교과서는 편집 구조가 복잡해, 학습에 사용할 데이터를 정확히 추출하려면 별도의 처리 과정이 필요합니다.
  • 과목마다 책의 구성이 달라 하나의 규칙으로 일괄 처리되지 않습니다.
  • 추출 결과가 부정확하면 그 위에서 만들어지는 AI 생성 문항의 품질이 함께 떨어집니다.

Development

교과서 데이터 가공

  • 여러 출판사의 중·고등학교 교과서 PDF에서 텍스트 데이터를 추출해 데이터베이스화
  • 단원 구분, 페이지 번호, 학습목표, 본문 내용을 항목별로 분류·태깅
  • 과목 특성과 책 구성에 따라 작업 방식을 나누어 적용
  • 지역 크라우드 워커 10명이 참여해 가공 기준에 따라 작업 수행

추출 시스템 고도화

  • 초·중·고등학교 교과서 데이터 추출 시스템 보완 및 고도화
  • 사람이 수작업으로 처리하던 구간을 자동 추출로 대체
  • 고도화 결과 AI 생성 문항의 정확도가 목표치를 초과 달성

사용 기술

  • Python
  • PDF Parsing
  • Data Labeling
  • Backend

관련 링크

다른 프로젝트

← Works 목록으로