소규모 제조기업의 AI 외관 검사 — 구매 전 시험 설계
편집 정정 — 2026년 9월 16일. 이전 글의 제조기업 사례와 도입 전후 성과는 실제 측정 자료가 아니었습니다. 검출 정확도, 검사시간, 재작업률 개선 수치를 삭제하고 외관 검사 AI의 시험 설계로 전면 수정했습니다. 아래 내용은 현장 적용을 검증한 성공 사례가 아닌 설계 제안입니다.
직원이 적은 제조기업이 외관 검사 AI를 검토할 때 첫 질문은 “얼마나 빨라질까”보다 “어떤 불량을 놓치면 안 되는가”입니다. 이 글의 목표는 구매 결론을 대신 내리는 것이 아니라, 공급업체의 시연과 우리 생산 조건에서의 검증을 구분할 수 있는 시험 문서를 만드는 것입니다.
1. 한 품목과 한 검사 기준으로 범위를 정합니다
첫 시험은 제품군 전체가 아니라 특정 품목의 특정 결함에 한정합니다. 예를 들어 표면 스크래치를 대상으로 삼았다면 크기, 위치, 조명 조건, 판정이 모호한 경계 사례를 품질 담당자가 먼저 정의합니다. 이 기준을 정할 수 없다면 모델 비교보다 검사 기준의 합의가 먼저입니다.
| 시험 명세 항목 | 작성할 내용 |
|---|---|
| 대상과 제외 범위 | 품목 코드, 검사 면, 대상 결함. 내부 결함이나 치수 측정 등 이번 시험에서 다루지 않는 항목 |
| 기준 판정 | 누가 어떤 작업표준서 버전으로 양품·불량·보류를 구분하는가 |
| 촬영 조건 | 카메라 위치, 조명, 거리, 제품 방향, 라인 속도와 변경 기록 |
| 권한 제한 | AI는 시험 결과만 기록. 실제 출하 승인과 설비 제어는 기존 절차 유지 |
| 중단 조건 | 놓치면 안 되는 결함의 누락, 촬영 실패, 판정 기준 변경 시 시험 중지·원인 검토 |
2. 학습 자료와 시험 자료를 분리합니다
같은 부품을 연속 촬영한 사진이 학습용과 시험용에 섞이면, 처음 보는 부품에서도 잘 작동하는지를 판단하기 어렵습니다. 개별 제품이나 생산 묶음을 식별하고, 시험용으로 정한 자료는 모델 설정을 조정하는 데 사용하지 않는 방식으로 관리하세요. 시험 후 설정을 바꿨다면 별도의 보류 자료로 다시 확인합니다.
양품 사진만 모으지 말고 결함 유형별 자료와 애매한 사례도 구분합니다. 불량이 드문 현장에서 확보한 소수 사진만으로 전체 성능을 보장할 수는 없습니다. 필요한 표본 수와 허용 기준은 결함의 위험도, 제품 조건과 함께 품질 담당자·공급업체가 결정해야 합니다.
- 이미지마다 제품 식별자, 생산 묶음, 촬영 조건, 기준 판정과 검토자를 기록합니다.
- 의견이 갈린 사진은 임의로 양품 처리하지 말고 보류 집합으로 분리합니다.
- 외부 서비스에 보내기 전 도면, 고객사 표기, 작업자 얼굴 등 공개하면 안 되는 정보를 점검합니다.
3. “정확도” 한 숫자 대신 오류를 나누어 봅니다
| 기준 판정 | AI 판정 | 기록 의미 |
|---|---|---|
| 불량 | 불량 | 검출 성공 |
| 불량 | 양품 | 불량 누락 — 출하 위험과 연결되는 오류 |
| 양품 | 불량 | 과검출 — 불필요한 재검사 부담 |
| 양품 | 양품 | 양품 통과 |
| 어느 쪽이든 | 판정 불가 | 사람 재검사 대상으로 별도 집계 |
불량 누락률은 ‘AI가 양품으로 통과시킨 불량 수 ÷ 기준 판정상 전체 불량 수’로, 양품 과검출률은 ‘AI가 불량으로 분류한 양품 수 ÷ 기준 판정상 전체 양품 수’로 기록할 수 있습니다. 분모가 0이면 0%가 아니라 계산 불가로 표시합니다. 판정 불가 건수도 반드시 함께 보고하세요.
계산 연습용 가정: 불량 표본 20개 중 2개를 양품으로 통과시켰다면 누락률은 2 ÷ 20 = 10%입니다. 이는 실제 장비 성능이나 도입 효과를 나타내는 수치가 아닙니다. 표본이 적거나 특정 불량에 치우치면 이 비율을 전체 생산에 일반화할 수 없습니다.
4. 사람이 최종 검사하는 상태에서 비교합니다
시험 동안에는 기존 검사를 유지하고 AI 결과를 나란히 기록합니다. 결과가 다른 건은 원본 이미지와 판정 근거를 함께 검토합니다. 작업자가 AI 결과를 먼저 보고 기준 판정을 바꾸지 않도록, 가능한 범위에서 기준 판정을 먼저 남기세요.
시간은 모델 응답시간만 재지 않습니다. 제품 배치, 촬영, 재촬영, 판정 불가 처리, 사람 재검사와 기록까지 포함한 총 작업시간을 측정해야 합니다. 조명이나 품목이 달라졌을 때도 결과를 별도 집계해야 비교가 가능합니다.
5. 구매 전에 받아야 할 시험 결과물
- 품목·결함 유형·촬영 조건별 표본 수와 오류 건수
- 시험에 쓴 모델·설정·판정 기준 버전 및 자료 분리 방법
- 판정 불가 시 처리 방식, 장애 시 기존 검사로 돌아가는 절차
- 카메라·조명·설치·자료 정리·재검사·유지보수를 포함한 비용 항목
- 적용 가능한 조건과 아직 시험하지 못한 조건을 구분한 목록
이번 시험이 통과하더라도 다른 품목이나 촬영 환경까지 검증한 것은 아닙니다. 현장 안전과 제품 출하에 관련된 결정은 이 글이나 범용 AI의 답변만으로 자동화하지 말고, 해당 공정의 책임자가 승인해야 합니다.
근거와 적용 범위
NIST AI RMF 1.0의 신뢰성 설명은 정확도 측정에 실제 사용 조건을 대표하는 시험 자료와 시험 방법이 필요하며 오류 종류도 고려해야 한다고 설명합니다. NIST 공식 자료의 3.1절에서 확인할 수 있습니다. 위 명세표와 시험 순서는 이를 참고해 작성한 편집상 제안이며 NIST가 인증한 절차나 특정 장비의 성능 보증이 아닙니다.
문서 작업 등 다른 업무의 시험 기록은 AI 업무 시험 운영 가이드를 참고하세요. 자료 확인·편집일: 2026년 9월 16일.
