GXPLOUD
규제산업 운영·컴플라이언스

제약·바이오 AI 파일럿 이후: 재평가와 변경관리를 운영에 넣는 방법

GXPLOUD 규제산업 운영 설계 전문팀
발행 2026-10-19
제약·바이오 AI 파일럿 이후: 재평가와 변경관리를 운영에 넣는 방법

편집 검토용 초안 — 게시 전 원문 상태와 적용 범위를 다시 확인합니다.

제약·바이오 조직에서 AI 파일럿이 끝나면 흔히 “정확도가 충분했으니 운영에 넣자”는 결론으로 이어집니다. 하지만 실제 운영에서는 모델 자체보다 입력 데이터, 업무 절차, 사용자 판단, 변경 이력이 먼저 달라집니다. 파일럿에서 잘 작동한 모델도 문서 판본이 바뀌거나 담당자가 바뀌면 같은 결과를 내지 않을 수 있습니다.

2026년 1월 FDA와 EMA가 공동으로 공개한 Guiding Principles of Good AI Practice in Drug Development은 위험 기반 성능 평가와 생애주기 관리, 정기 모니터링과 재평가를 원칙으로 제시했습니다. EMA의 2025 AI Observatory 보고서는 2025년 규제 네트워크에서 AI가 데이터 처리·분석, 업무 자동화, 지식 마이닝 등에 논의·활용된 흐름을 정리합니다. 이 자료는 특정 기업 시스템의 승인이나 규제 적합성 인증이 아닙니다. AI를 업무에 넣은 뒤 무엇을 다시 확인해야 하는지 판단하는 기준으로 읽어야 합니다.

이번에 달라진 점: 배포가 아니라 ‘검증된 상태’를 유지하는 일

AI 도입을 프로젝트로만 관리하면 완료 시점이 모델 배포로 끝납니다. 운영 관점에서는 다음 상태가 계속 유지되는지를 확인해야 합니다.

운영 질문배포 중심 관리생애주기 관리
입력학습 데이터로 테스트를 통과했는가실제 운영 데이터의 출처·분포·품질이 기준 범위에 있는가
결과평균 정확도가 목표를 넘었는가업무별 오류, 누락, 과잉 경보와 사람의 수정이 어떻게 변하는가
변경새 버전을 배포했는가모델·프롬프트·지식 자료·원천 시스템 변경의 영향과 승인 기록이 있는가
책임담당 팀이 운영을 맡는가결과를 검토·반려하고 중단·복구를 결정할 역할이 명확한가
재평가문제가 생기면 조사한다정기 점검과 사건 발생 시 재평가 조건이 미리 정해져 있는가

FDA가 공개한 AI 생애주기 설명도 기획·데이터 관리·모델 개발·검증·배포·운영 모니터링·실제 성능 평가를 별도 단계로 나눕니다. 운영 모니터링에는 로그·감사추적, 드리프트 감지, 사건 대응, 지속 개선이 포함됩니다. 따라서 “모델이 바뀌지 않았으니 다시 검증할 필요가 없다”는 가정은 운영 데이터나 업무 절차가 바뀌는 상황을 설명하지 못합니다.

1. 파일럿 종료 조건을 ‘운영 진입 조건’으로 바꾸기

파일럿에서 확인한 지표를 그대로 운영 KPI로 옮기기보다, 운영에 들어갈 수 있는 조건과 운영 중 계속 볼 조건을 나누어 기록합니다.

운영 진입 전에 확인할 것

  • 사용 목적과 제외 범위가 한 문장으로 고정되어 있는가
  • 대표 질문·예외 자료·권한 없는 자료로 결과를 확인했는가
  • 원본 문서·데이터·버전과 AI 결과의 연결을 되짚을 수 있는가
  • 사람이 결과를 수정·반려·승인하고 그 이유를 남길 수 있는가
  • 실패·지연·권한 오류가 발생했을 때 기존 승인 절차로 돌아가는가

이 조건은 규제기관이 제품을 승인했다는 뜻이 아니라, 특정 업무에서 제한된 사용을 시작할 준비가 됐는지를 판단하는 내부 기준입니다. 최종 출하나 적합성 판단처럼 오류 비용이 큰 결정을 AI가 단독으로 수행하도록 요구한다면, 파일럿 성능과 관계없이 범위를 줄이거나 보류해야 합니다.

2. 무엇을 모니터링할지 업무 단위로 정하기

모니터링 대시보드에 모델 지연 시간과 API 오류만 넣으면 업무 위험을 놓칩니다. 사용 목적에 맞춰 기술 신호, 데이터 신호, 업무 신호를 함께 봐야 합니다.

신호예시확인 주기와 책임
기술응답 시간, 실패율, 모델·프롬프트 버전운영 담당자가 상시 감시하고 장애 기준 초과 시 기록
데이터문서 버전 누락, 식별자 미매핑, 입력 분포 변화, 권한 거부데이터 책임자가 주기 점검하고 예외를 보완
결과누락·과잉 경보, 근거 없는 답변, 사람의 수정·반려 비율업무 책임자가 표본을 검토하고 수용 기준을 갱신
통제승인 없는 변경, 로그 공백, 교육 미이수, 보존 실패품질·보안 책임자가 정기 검토하고 조치 추적

예를 들어 변경관리 문서에서 관련 SOP 후보를 찾는 AI라면, 모델의 평균 정밀도만 보는 것으로 충분하지 않습니다. 새 문서가 유효 상태로 반영됐는지, 폐기 문서를 결과에서 제외했는지, 변경 요청과 제품·공정 식별자가 올바르게 연결됐는지, 담당자가 후보를 반려한 이유가 남는지를 함께 확인해야 합니다.

3. 변경을 ‘기술 배포’와 ‘업무 변경’으로 나누기

AI 시스템의 변경은 모델 버전 교체만을 뜻하지 않습니다. 프롬프트, 검색 인덱스, 원천 문서, 데이터 변환 규칙, 사용자 권한, 승인 단계가 바뀌어도 결과와 책임이 달라질 수 있습니다.

변경 영향 검토의 최소 기록

  1. 무엇이 언제 왜 바뀌었는가
  2. 영향을 받을 사용 목적·제품·관할·업무는 무엇인가
  3. 입력 데이터와 대표 질문의 일부가 어떻게 달라지는가
  4. 사람의 검토·승인·교육에 추가 조치가 필요한가
  5. 변경 전후 결과와 예외를 어떤 범위로 비교했는가
  6. 문제가 생기면 이전 버전이나 수동 절차로 어떻게 복구하는가

변경 유형별로 같은 검증을 반복할 필요는 없습니다. 문서 색인 갱신과 모델 재학습의 위험이 다르고, 품질 검토 보조와 약물감시 신호 분류의 결과 책임도 다릅니다. 위험과 사용 목적에 비례해 검증 범위를 정하되, 그 판단 근거를 기록해 두어야 나중에 재평가할 수 있습니다.

ISPE 자료에서 얻는 운영 시사점

ISPE의 Artificial Intelligence and the Validated State는 AI 시스템을 검증 상태에 놓은 뒤에도 생애주기 관리로 성능을 유지해야 한다는 관점을 소개합니다. When AI Meets GxP도 지속 검증과 생애주기 거버넌스를 주제로 다룹니다.

이 자료들은 ISPE의 공개 산업 가이드·발표 관점입니다. 규제기관의 법적 요구사항이나 특정 솔루션의 승인으로 표현하면 안 됩니다. 다만 두 자료가 공통으로 시사하는 것은 “검증 문서 한 번 작성”보다 운영 중 상태를 계속 확인하는 체계가 중요하다는 점입니다.

실무에서는 다음 세 가지 책임을 나누어 두는 것이 좋습니다.

  • 업무 책임자: 결과 표본과 예외를 검토하고 사용 목적과 수용 기준을 승인
  • 데이터·기술 책임자: 입력 품질, 버전, 드리프트, 접근 권한, 장애와 복구를 관리
  • 품질·규제 책임자: 변경 영향, 검증 범위, 교육·기록, 재평가 결과를 검토

한 사람이 모든 역할을 맡을 수는 있지만, 어떤 판단을 누가 내렸는지 기록은 분리되어야 합니다. ISPE의 권고를 내부 절차에 적용할 때도 조직의 관할, 제품, 시스템 사용 목적과 기존 품질 체계를 함께 확인해야 합니다.

기업 공개 사례를 읽는 방법

기업 발표는 독립 검증 보고서가 아니라 해당 기업이 공개한 방향과 주장입니다. 예를 들어 Roche는 2026년 3월 AI factory 확대를 발표하며 연구·개발, 제조, 진단 등 여러 영역을 연결하는 인프라를 설명했습니다. 이 발표만으로 각각의 모델이 실제 GxP 업무에서 검증됐거나 일반적인 성과가 입증됐다고 말할 수는 없습니다.

Novartis도 2026년 7월 R&D에서 AI를 활용해 더 이른 질문과 의사결정을 지원하는 방식을 공개했습니다. 고객이 참고할 지점은 기업의 규모나 성과 수치가 아니라, 연구 가설·데이터·사람의 결정 시점을 연결하는 운영 구조가 필요하다는 점입니다. 다른 조직은 동일한 결과를 보장받지 않으며, 적용 전에 자체 기준선과 검증 범위를 정해야 합니다.

적용 장면: 약물감시 신호 검토 보조

FDA의 CDER Emerging Drug Safety Technology Program은 약물감시에서 AI와 신기술을 탐색하며 데이터 품질·대표성·편향, 모델 성능·모니터링·평가, 사람 중심 거버넌스를 관심 영역으로 설명합니다. 이 프로그램은 FDA와의 학습·논의 경로이지, 참여 기업이나 도구의 승인 목록이 아닙니다.

가상의 적용 범위를 “개별 안전성 보고서의 후보 신호를 분류하고 검토 우선순위를 제시하는 보조”로 잡아 보겠습니다. AI가 인과성이나 보고 의무를 최종 판단하지 않고, 담당자가 원문 사례·중복 여부·제품·투여·사건 관계를 확인하는 구조입니다.

운영 전에는 사례의 수집 시점과 중복 제거 기준, 제품·환자·이상사례 식별자, 모델이 제시한 근거와 제외한 사례, 담당자의 수정·승인 기록을 정합니다. 운영 중에는 입력 채널이나 보고 양식이 바뀌었을 때 분포 변화가 생기는지, 특정 언어·지역·제품군에서 누락이 늘어나는지, 담당자의 반려 비율이 변하는지를 모니터링합니다. 기준을 넘으면 모델을 자동으로 고치기보다 원인을 확인하고 일시 중단·수동 검토·재평가 중 어떤 조치를 취할지 결정합니다.

이때 재평가 결과는 “통과”라는 한 단어로 끝내지 않는 것이 좋습니다. 어떤 기간의 사례를 사용했는지, 기준선과 비교해 어떤 오류가 늘었는지, 사람의 검토에서 어떤 유형이 반복됐는지, 조치 후 무엇을 다시 확인했는지를 남겨야 합니다. 사례 수가 적어 통계적 결론을 내리기 어려운 경우에도 그 한계를 기록하고, 다음 표본을 언제 확보할지 정합니다.

예외 처리는 운영 품질을 보여주는 중요한 자료입니다. 근거 문서가 없거나 권한이 없는 자료가 들어왔을 때 시스템이 답변을 만들지 않고 멈췄는지, 담당자에게 어떤 안내가 전달됐는지, 수동 절차로 전환한 뒤 원래 업무 이력이 이어졌는지를 확인합니다. 이러한 기록이 있어야 성능 저하와 통제 실패를 구분하고, 모델을 바꿀지 데이터와 절차를 먼저 고칠지 판단할 수 있습니다.

모델을 교체할 때에는 이전 결과와 새 결과를 같은 사례에 비교하는 것만으로 충분하지 않을 수 있습니다. 사용 목적이 바뀌었는지, 이전에는 사용하지 않던 데이터가 추가됐는지, 담당자의 화면과 승인 흐름이 달라졌는지까지 확인해야 합니다. 변경 범위가 넓으면 제한된 업무에서 다시 파일럿하고, 결과가 안정된 뒤 운영 범위를 확장하는 순서를 권장합니다.

운영팀은 이 기록을 정기 회의의 안건으로 삼고, 품질팀은 필요한 조치와 재평가 종료를 승인합니다. 이렇게 해야 파일럿의 임시 판단이 장기 운영 기준으로 남습니다. 다음 재평가 일정도 함께 기록합니다. 운영 책임도 명확히 기록합니다.

이 기록은 변경관리와 연결해 보관합니다.

도입·보류 판단 체크리스트

  • 운영 진입 조건과 정기 재평가 주기가 사용 목적별로 정해져 있는가
  • 모델·프롬프트·지식 자료·원천 시스템 변경이 한 변경 기록으로 연결되는가
  • 데이터 드리프트와 업무 결과 오류를 함께 볼 수 있는가
  • 결과를 검토·반려하는 사람의 역할과 교육·승인 기록이 있는가
  • 성능 저하·권한 오류·근거 불충분 시 수동 절차로 복구할 수 있는가
  • FDA·EMA·ISPE 자료의 법적 지위와 조직 내부 기준을 구분해 기록했는가

다음 행동은 운영 대시보드를 만드는 일이 아닙니다. 현재 파일럿 하나를 골라 “무엇이 바뀌면 다시 평가해야 하는가”를 열거하고, 그 신호를 누가 어떤 기록에서 확인할지 정하는 것입니다. 입력 문서 버전, 대표 질문, 결과 표본, 사람의 수정·승인, 복구 절차가 연결되지 않는다면 먼저 AI 활용 데이터 준비와 프로세스 리디자인을 보완해야 합니다.

출처와 확인일

  • FDA·EMA, Guiding Principles of Good AI Practice in Drug Development, 2026-01 발표, 2026-10-19 확인: FDA 원문 PDF
  • EMA, 2025 AI Observatory Report, 2026-06-04 공개, 2026-10-19 확인: EMA 보고서
  • FDA, The AI Lifecycle expanded to illustrate per-phase considerations, 자료 확인 2026-10-19: FDA 생애주기 설명
  • FDA, CDER Emerging Drug Safety Technology Program, 페이지 갱신 상태 2026-10-19 확인: FDA EDSTP
  • ISPE, Artificial Intelligence and the Validated State, 2026년 5·6월호, 2026-10-19 확인: ISPE 원문
  • ISPE, When AI Meets GxP, 2026-06-08 공개, 2026-10-19 확인: ISPE 원문
  • Roche, Roche launches NVIDIA AI factory, 2026-03-16 발표, 2026-10-19 확인: Roche 원문
  • Novartis, Smarter decisions at scale, 2026-07-28 발표, 2026-10-19 확인: Novartis 원문