[Big Data] 데이터 설계 및 파이프라인 for OCR

목차
1. 데이터 설계 목적
2. 파이프라인의 단계 및 유의점
    1) 데이터 정의
    2) 데이터 수량/단가/기간 설정
    3) 작업자 모집 및 교육
    4) 파일럿 프로젝트 진행
    5) 프로젝트 진행 및 완료

 

1. 데이터 설계의 목적
OCR 서비스 구현을 위한 학습데이터셋 구축


2. 파이프라인의 단계 및 유의점

1) [외부] 필요한 데이터에 대한 정의
- 가공 조건 : 고객사와의 미팅을 통해 요구사항을 정의하고 협의함
- 특정 언어 가능 및 구사 정도
- 공백 제거
- 태깅 순서 재배열 등
- 유의점 : 추후 파일럿 프로젝트를 진행하여 결과데이터에 고객사의 니즈가 모두 포함되었는지 재확인이 필요함

2) [내/외부] 데이터 셋 수량/단가/기간 설정
2-1) 데이터 가공/생산하는데 드는 단가(비용) 측정
- 가공 조건에 따라 단가가 결정됨
- 고객사의 예산과 비교

2-2) 데이터 수량 정하기
- 통계 분석에서 유의미성을 가지는 데이터 셋 수량 : 300 ~ 500개
- 머신러닝에서 유의미한 데이터 셋 수량 : 변수의 수 * 100 이상
- 이전에 진행한 OCR 프로젝트를 기반으로 수량 산정

2-3) 일정 산정
- 단가와 수량애 따른 대략적 기간을 설정함
- 가공 참여자 모집 기간을 고려해 시작일 설정
- 파일럿 프로젝트를 통해 일정을 검토 및 재산정함
- 만일 파일럿 수량이 기간 대비 너무 작다면,
- 단가를 높이거나
- 프로젝트를 위한 특정 인원을 사전에 선발해 하루 작업량을 고정시킴


2-4) [외부] 최종 데이터 수량과 단가 협의
- 내부에서 산정한 데이터 수량/단가/기간에 대해 고객사와 협의



3) [내부] 프로젝트 참여(데이터 가공) 작업자 모집 및 교육 (유의사항)
- 기간과 가공 속도에 다른 작업자 수 측정
- 작업자 이탈을 예방해 여유로운 작업자 모집
- 특정 인원으로 진행되는 작업 혹은 가공 요건이 까다로운 경우 작업자 교육 진행


4) [내/외부] 파일럿 프로젝트 진행 (유의사항)
- 전체 데이터셋의 5~10%를 진행한 뒤 결과 데이터를 고객사에 전달해
- 지금과 같은 방식으로 작업을 진행하길 원하는지 논의
- 혹은 가공 조건을 수정/추가하길 원하는지 논의
- 혹은 n%의 수량 수집에 너무 많은 시간이 소요된 경우, 단가 수정 논의


5) 재합의된 조건(가공조건/수량/단가/기간)으로 프로젝트 진행
- 사전에 협의된 기간 내에 해당 수량을 고객사에 전달함