[ibreeder AX 리포트] 현장 데이터 수집을 가속하는 작은 실험 기록

* 이 포스트는 육종 현장의 디지털 전환을 넘어 AI 전환을 실현하는 ibreeder 프로젝트의 일환으로 진행된 AX 실험 과정을 담고 있습니다. 

 

DX를 넘어 AX 시대로

불과 몇 년 전까지는 DX(디지털 전환)가 화두였습니다. 종이와 사람 손에 머물던 일을 시스템으로 옮기고, 업무가 “디지털로 돌아가게” 만드는 일이 핵심이었습니다. 요즘은 그다음 단계로 AX(AI 전환)가 자연스럽게 이야기됩니다.

 

저는 AX를 거창한 개념이라기보다, 디지털로 옮겨놓은 일을 AI로 조금 ‘덜 힘들게’ 만들 수 있는 방법을 찾는 과정에 가깝게 느꼈습니다. 디자이너의 관점에서 보면, 이 변화는 특히 주목할 만합니다. AX에서는 화면의 형태보다, 사용자가 일을 끝내는 방식(흐름·입력·예외·재시도)이 더 크게 성과를 좌우하는 경우가 많기 때문입니다. AX 시대의 디자이너는 결과적으로 다음과 같은 역할에 더 가까워지는 것 같습니다.

 

- 어디서 일이 막히는지(병목)를 찾고 
- 사람이 해야 할 일과 시스템이 도와줄 일을 나누고 
- 입력 실수나 예외 상황이 생겨도 다시 돌아올 수 있게(검토·수정·재시도) 흐름을 설계하는 일

 

Guidelines for Human-AI Interaction

(출처: Microsoft)

 

이런 관점은 Microsoft Research의 Human-AI Interaction 가이드라인에서도 ‘피드백, 통제, 복구’를 중요한 원칙으로 다루고 있습니다. 다만 저는 이걸 “디자이너의 역할을 재정의한다”처럼 크게 말하고 싶지는 않았습니다. 그저 제가 맡은 문제를 풀기 위해 작게 만들고 빨리 확인해 본 과정을 기록해 보려 합니다. 이번 실험에서 제가 세운 현실적인 기준은 딱 세 가지였습니다.

 

- 재작업이 줄어드는가 
- 오류가 줄어드는가 
- 데이터가 일관되게 남는가

 

 

원예형질을 수집하는 현장에서 진짜 병목은 뭘까?

이번 실험의 대상은 새로운 품종을 개발하는 육종 현장이었습니다. 사실 이곳은 디지털 전환(DX)조차 쉽지 않은 환경입니다.

 

현장 관측의 모습과 연구실로 돌아와 데이터를 전사하는 육종가의 모습

(출처: 구글 Gemini 이미지 생성)

 

식물의 키나 잎의 두께를 잴 때는 식물이 다치지 않게 조심하면서 한 손으로는 식물을 잡고, 다른 한 손으로는 자나 측정기를 들어야 합니다. 이미 양손을 다 쓰고 있는 상황에서 매번 장갑을 벗고 스마트폰 화면을 터치해 숫자를 입력하기란 불가능에 가깝습니다. 결국 도구를 내려놓고 장갑을 벗어야 하는 번거로움 때문에 현장 분들은 여전히 한 손에 수첩을 쥐고 빠르게 수기로 적는 방식을 선택할 수밖에 없었습니다. 

진짜 문제는 그다음에 터졌습니다. 현장에서 수기로 적은 수천 개의 데이터를 다시 엑셀이나 시스템에 일일이 옮겨 적는(전사) 과정이 필수적이었기 때문입니다. 이 과정에서 오타가 나거나 내용을 빠뜨리는 일이 잦았고, 공들여 측정한 데이터는 “모이기 전에 흐트러지는” 일이 반복되었습니다. 

그래서 이번 실험에서는 단순히 종이를 화면으로 옮기는 것을 넘어, 측정 도구와 수첩으로 꽉 찬 사용자의 '바쁜 양손'을 자유롭게 해주는 AX의 가능성을 확인해보고자 했습니다. 소규모 TF를 만들어 진행한 두 가지 실험은 다음과 같습니다.

 

실험 1. 촬영 기반 추론으로 ‘기록’을 줄일 수 있을까? 
실험 2. 현장의 습관(녹음→정리)을 그대로 디지털 흐름으로 옮기면 더 현실적이지 않을까?

 

 

실험 1: 촬영 기반 추론으로 ‘기록’을 줄일 수 있을까?

기준이 없으면, 값은 ‘추정’ 일뿐 ‘측정’이 되기 어렵습니다.

처음에는 단순히 모바일 촬영을 생각했지만, 곧 사진 속 픽셀을 실제 치수(mm)로 변환해 줄 '물리적 기준(Ground Truth)'이 없다는 문제에 부딪혔습니다. AI가 추론할 수 있도록 화분 입구 지름을 측정의 '척도'로 삼고, 수평 가이드를 통해 왜곡 없는 '구도'를 확보하며, 환경 변수를 제어하는 설계를 최우선으로 두었습니다. 

결국 핵심은 정교한 계산식 그 자체보다, 데이터의 재현성을 확보하기 위해 '현장에서 실패하지 않는 흐름'을 만드는 것이었습니다. 구체적으로는 현장에서 빈번하게 발생하는 다음과 같은 변수들을 차단하는 장치를 먼저 고민했습니다.

 

- 입력 단계: 화분 규격 입력 실수 방지 
- 촬영 단계: 화분이 프레임 밖으로 나가거나 가려지는 현상 제어 
- 구도 단계: 촬영 거리와 각도 변화로 인해 스케일 비율이 흔들리는 케이스 방지

 

데이터의 무결성을 지키기 위한 촬영 가이드와 실패 루프(Failure Loop) 설계 예시

(출처: 자체 제작 이미지)

 

프로토타입에서는 아래처럼 제약을 단순하게 걸어봤습니다.

 

- 화분 규격 입력은 숫자값만 허용 
- 단위는 mm로 고정 
- 화면에 촬영 가이드(프레임 가이드)를 두어 화분이 프레임 안에 안정적으로 들어오도록 유도 
- 화분이 프레임에서 벗어나거나 가려지면 재촬영을 유도하는 흐름 포함

 

이 과정에서 제가 느낀 것은, 화분 규격 입력창에 ‘숫자값만 허용’하고 단위를 고정하는 등의 제약이 단순한 UI 가이드 이상이라는 점이었습니다. 

카메라 렌즈는 스스로 실제 길이를 인식할 수 없습니다. 그저 픽셀의 집합으로 세상을 볼 뿐이죠. 그래서 사용자가 입력하는 화분의 규격은 사진 속 픽셀 세상을 실제 단위(mm)로 변환해 주는 유일한 수학적 단서(Reference)가 됩니다. 결국 스케일 환산은 순수한 ‘알고리즘 문제’라기보다, 입력 제약부터 촬영 유도, 그리고 실패 처리까지 묶인 경험 설계의 문제에 더 가까웠습니다. 

모델의 지표보다 '프레임 가이드'와 '재촬영 유도 흐름'에 더 매달렸던 이유도, 기술의 완결성보다 현장에서 실질적으로 작동하는 안정적인 루프를 만드는 것이 더 중요하다고 보았기 때문입니다. 모델 성능이 아무리 좋아도, 예외 상황에 대응하는 실패 루프(Failure Loop)가 제대로 설계되어 있지 않으면 현장에서는 바로 깨지기 때문입니다.

 

상용 멀티모달 LLM로 빠르게 검증해 봤지만, 현장에서는 두 가지가 걸렸습니다.

초기에는 상용 멀티모달 LLM에 이미지와 프롬프트를 API로 전달해 값을 추론해보기도 했습니다. 그런데 현장 흐름에서는 두 가지가 민감했습니다.

 

- 응답 지연: 기다리는 시간이 생기면 흐름이 끊깁니다. 
- 그럴듯하지만 틀린 값: 정답처럼 보여서 더 위험합니다.

 

상용 멀티모달 LLM의 환각: 객체 탐지(Object Detection) 및 좌표 매핑 오류

(출처: 자체 제작 이미지)

 

이런 리스크는 Nielsen Norman Group에서도 “환각(hallucination)” 관점으로 정리합니다. 저희는 이 지점을 보면서 ‘큰 모델 하나로 해결’보다는 통제 가능한 기능 단위로 쪼개는 편이 낫겠다고 판단했습니다. 

그래서 방향을 바꿔 “작은 기능 조각”으로 파이프라인을 구성해보려 했습니다.

 

- 이미지 디텍션(대상/기준물체 인지) 
- 기준물체 기반 실측 계산 
- 결과 정리/표준화

 

이렇게 나누니, 무엇을 남기고 무엇을 버릴지 명확해졌고, 목표와 통제 지점도 정리되기 시작했습니다.

 

데이터가 부족할수록, “문제를 나누어서 해결하는” 접근이 필요했습니다.

학습 데이터(라벨)가 충분하지 않은 상황에서는, 이미 널리 검증된(pre-trained) 모델들을 조합해 작은 문제 단위로 해결하는 편이 현실적이었습니다. 예를 들면 다음과 같은 조합입니다.

 

기개발된 POC의 개체(사물)를 찾는 과정

(출처: 자체 제작 이미지)

 

- Grounding DINO: 텍스트(예: "화분")를 입력하면 이미지 내에서 해당 사물의 위치를 박스 형태로 찾아내는 모델 
- SAM(Segment Anything): 점, 박스, 텍스트 등 다양한 프롬프트를 활용해 사물의 정밀한 외곽선을 추출하는 범용 분할 모델 
- Grounded SAM: 위 두 모델을 결합하여, 텍스트 입력만으로 '탐지'부터 '영역 분할'까지 한 번에 수행하는 파이프라인

 

이후에는 “한 번 잘 맞춘 결과”보다 중요한 질문을 붙였습니다.

 

- 같은 조건에서 반복해도 같은 결과가 나오는가(재현성)

 

동일 조건 반복 촬영을 통해 얻은 AI 예측값은 측정 대상의 크기에 따라 약 1~3cm 내외의 오차를 보였습니다. 이는 기술적 가능성을 확인하기 위한 실험적 수치로, 상대적으로 작은 잎 단위(허용 오차 1cm 이내)부터 식물체 전체 크기(허용 오차 3cm 이내)까지 각 타겟의 규모에 비례하여 유의미한 경향성을 보이는지 검증하는 데 목적을 두었습니다. 비록 실제 현장의 온톨로지에 모두 적용하기엔 이른 단계지만, AI를 통한 자동 측정이 실측값을 대체하거나 보완할 수 있는 기초적인 정밀도를 갖추었음을 확인할 수 있었습니다. (다만 이 결과는 제한된 검증 환경에서의 값이며, 현장 적용을 의미하지는 않습니다.)

 

 

실험 2: 현장의 습관을 그대로 디지털 흐름으로 옮기면 더 현실적이지 않을까?

촬영 기반 접근을 검증하며 느낀 점은, 현장은 “정밀 촬영”에 친절하지 않다는 것이었습니다. 그런데 현장 사용자(육종가)들의 습관을 들여다보니 방향이 조금 달랐습니다.

 

관측된 내용을 녹음하는 모습

(출처: 구글 Gemini 이미지 생성)

 

많은 개체를 빠르게 측정할 때는 아래와 같은 방식이 꽤 자연스럽게 사용되고 있었습니다.

 

- 현장에서 관측된 내용 녹음(측정 위주) 
- 연구실로 돌아와 녹음본을 들으며 정리

 

즉, 현장에는 이미 “기록을 나중으로 미루고 측정에 집중”하는 흐름이 존재했습니다. 이 흐름은 요즘 회의록을 음성 AI(Speech To Text 또는 AI Speech Recognition) 기술로 전사해 정리하는 경험과도 유사합니다.

 

다만 STT/ASR은 소음 환경에서 인식률이 떨어지는 것은 잘 알려진 한계이므로, 저는 “STT를 붙인다”가 아니라 선택과 평가를 설계에 포함하는 쪽이 안전하다고 보았습니다. 완전 자동화가 현장의 소음이나 변수를 완벽히 이기지 못할 경우, 잘못된 데이터가 쌓이는 것보다 그것을 하나하나 찾아내 수정하는 것이 사용자에게 더 큰 검토 부담과 신뢰 저하를 줄 수 있기 때문입니다.

 

프로토타입 흐름

음성 측정 플로우 차트

(출처: 자체 제작 이미지)

 

여기서 핵심은, 사용자가 말한 표현을 그대로 적재하는 것이 아니라 시스템이 가진 기준 항목으로 귀속시키는 과정이었습니다. 현장에서는 사용자마다 형질 용어가 다르고, 그대로 쌓이면 결국 표준화 비용이 뒤로 밀리기 때문입니다. 

이때 사용한 ‘기준 항목’은 제가 새로 만든 것이 아니라, 내부에서 도메인 자문을 거쳐 정리된 운영 기준을 그대로 활용한 것입니다. 작물별 주요 형질은 '국립종자원의 작물별 특성조사기준표'처럼 확인 가능한 자료를 참고해 구성되어 있고, 실제 현장에서 중요하게 보는 항목은 자문을 통해 보완되어 있습니다. 저는 그 기준을 전제로, STT 결과를 그대로 저장하지 않고 기준 항목에 유사도 매칭으로 연결한 뒤 사용자가 검토·수정할 수 있게 하는 흐름을 프로토타입에 반영했습니다. 

실제로 “잎너비”가 “입너비”처럼 깨져 들어오던 경험은, 기술을 붙이기 전에 한계 검증이 필수라는 점을 보여줬습니다. 무조건적인 자동 저장은 오히려 데이터의 무결성을 해치고 사용자가 시스템을 불신하게 만드는 원인이 됩니다. 그래서 자동 저장이 아니라 사용자 검토·수정이 포함된 흐름이 필요했고, 결과 품질을 사람이 최종 보증하는 Human-in-the-loop 접근으로 설계를 정리했습니다.

 

 

정리: 이번 실험에서 남은 건 “기술”보다 “구조”였습니다.

이번 기록은 완성된 정답을 제시하기보다, 작게 만들고 빠르게 검증하는 과정에서 무엇이 걸림돌이었고 무엇이 유효했는지를 복기한 메모에 가깝습니다. 그럼에도 몇 가지 결론은 비교적 분명하게 남았습니다.

 

1) 진짜 병목은 손이 아닌 '흐름'에 있었습니다. 현장 데이터 수집의 핵심은 ‘측정’ 그 자체가 아니라, 기록과 전사 과정에서 발생하는 불필요한 재작업을 줄이는 것이었습니다. 

2) 모델보다 중요한 것은 '실패를 다루는 설계'였습니다. 촬영 기반 추론이든 STT든, 핵심은 인공지능 모델 그 자체보다 입력 제약, 실패 처리, 그리고 검토·수정 루프처럼 현장에서 운영 가능한 구조를 만드는 것이었습니다. 

3) 기준은 언제나 '현장'에 있었습니다. “멋져 보이는 구현”보다 중요한 기준은 결국 사용자의 시간이 단축되는지, 데이터의 오류가 줄어드는지, 그리고 결과물이 일관되게 남는지였습니다.

 

아직은 작은 실험 수준이라 조심스럽지만, 이러한 접근이 복잡한 현장 문제를 다루는 데 꽤 현실적인 출발점이 될 수 있겠다는 확신을 얻었습니다. 앞으로도 다양한 환경(다른 작물, 다른 사용자, 다른 입력 조건)에서 비슷한 실험을 반복해 보려 합니다. 단편적인 성공과 실패의 기록을 넘어, 언젠가 더 일반화된 AX 인사이트로 정리하여 다시 공유해 드리겠습니다.

 

 

ibreeder의 또 다른 이야기

데이터 육종 스토리

데이터 육종 스토리

 

전국의 육종 데이터를 하나로, 데이터 육종 플랫폼 ibreeder를 소개합니다!

전국의 육종 데이터를 하나로, 데이터 육종 플랫폼 ibreeder를 소개합니다!

 

 

참고자료 

• Guidelines for Human-AI Interaction. 2026년 2월 9일 접속, https://www.microsoft.com/en-us/research/publication/guidelines-for-human-ai-interaction/
• AI Hallucinations: What Designers Need to Know, 2026년 1월 21일 접속, https://www.nngroup.com/articles/ai-hallucinations/
• Field Book: An Open‐Source Application for Field Data Collection on Android, 2026년 1월 21일 접속, https://acsess.onlinelibrary.wiley.com/doi/10.2135/cropsci2013.08.0579
• Human-in-the-loop machine learning: a state of the art, 2026년 1월 21일 접속, https://link.springer.com/article/10.1007/s10462-022-10246-w
• Automatic speech-to-text transcription: evidence from a smartphone survey with voice answers, 2026년 1월 21일 접속, https://www.tandfonline.com/doi/full/10.1080/13645579.2024.2443633
• Keep the noise down: On the performance of automatic speech recognition of voice-recordings in web surveys, 2026년 1월 21일 접속, https://research-portal.uu.nl/files/274526230/90388-keep-the-noise-down-on-the-performance-of-automatic-speech-recognition-of-voice-recordings-in-web-surveys.pdf
• Segment Anything, 2026년 1월 21일 접속, https://arxiv.org/abs/2304.02643
• Grounded SAM: Assembling Open-World Models for Diverse Visual Tasks, 2026년 1월 21일 접속, https://arxiv.org/abs/2401.14159
• IDEA-Research/Grounded-Segment-Anything, 2026년 1월 21일 접속, https://github.com/IDEA-Research/Grounded-Segment-Anything

---

EDITOR

이용태

FLEX Dept. · Senior UX·UI Designer