본문으로 건너뛰기

모델과 검증: PLS에서 트랜스포머까지, GxP 아래에서

📍 현재 위치: 1부 · 바이오공정에서의 학습의 토대 — 3장. 지난 장은 연료를 만들었습니다. 준비되고, 맥락이 부여되고, 누출 없는 특징으로 바뀌고, 배치 단위로 정직하게 분할된 데이터입니다. 이 장은 엔진을 고릅니다. 우리는 부분 최소제곱법에서 트랜스포머에 이르는 모델 계열의 사다리를 오르며, 각 단마다 그것이 얼마나 많은 데이터를 필요로 하는지, 그리고 의약품에 관한 결정을 맡길 만큼 신뢰받으려면 어떻게 검증되어야 하는지를 묻습니다 — 그리고 만연한 과대 선전에 맞서, 가장 단순한 엔진이 대개 이긴다고 주장합니다.

모델이란 앞 장의 맥락 부여된 연료를 사람이 행동으로 옮길 수 있는 숫자로 바꾸는 함수입니다. 스펙트럼에서 역가(titer)를, 서열에서 클론 순위를, 출하 패널에서 합격/불합격을 만들어 냅니다. 바이오공정 머신러닝에 새로 발을 들이는 사람들은 모델 선택이 어렵고 흥미로운 부분이라고 기대하며 도착합니다 — 어떤 아키텍처를, 몇 개의 층을, 어떤 옵티마이저를. 그렇지 않습니다. 이 장을 다 읽을 때쯤이면 더 넓은 분야의 통념에 거스르는 두 가지 확신을 갖게 될 것입니다. 첫째, 상용 바이오공정에서 제값을 하는 모델 계열은 압도적으로 들어맞는 것 중 가장 단순한 것입니다 — 트랜스포머가 아니라 40년 된 선형 잠재변수 방법. 둘째, 모델을 고르는 것은 일의 절반일 뿐입니다. GxP(규제 의약품 작업을 다스리는 Good-x-Practice 규제 계열 — 우수 제조, 시험, 임상 관리) 아래에서 모델은 R²(0에서 1까지의 적합도 점수로, 1이 완벽한 적합)가 높아서 "좋은" 것이 아니라, 규제 당국이 받아들일 표준에 맞춰 검증되고, 잠기고(locked), 문서화되었기 때문에 신뢰받는 것입니다. 바이오공정에서는 이 둘이 떼려야 뗄 수 없으므로, 이 장은 양쪽 절반을 모두 다룹니다.

우리는 시리즈 전체가 쓰는 동일한 진행 예제를 유지합니다. 황금 운전 BATCH-2026-001은 SEC 단량체 순도(크기 배제 크로마토그래피로 측정한 온전한 단일 분자 항체의 분율로, 높을수록 좋음) 98.611%를 지니고, 그 형제 BATCH-2026-004는 100 ng/mg 규격 상한에 대해 숙주세포단백질 결과 128 ng/mg으로 OOS(규격 외 — 기재된 합격 한계 밖의 결과로, 정식 조사를 촉발함)가 됩니다(숙주세포단백질은 생산 세포주에서 남은 잔류 단백질로 불순물이므로, 128이 100 상한을 넘는 것은 불합격입니다 — 여기서는 낮을수록 좋음). 2장에 연료를 댔던 시뮬레이터의 동일한 인라인 라만 스펙트럼(생물반응기 내부에서 실시간으로 연속 판독되는 빛 산란 화학 지문으로, 여기서는 농도를 추론하는 데 쓰이는 701개 파수 채널)과 오프라인 분석(며칠 뒤에 돌아오는 실험실 측정)이 여기서도 모델에 연료를 대며, examples/platform/ml/의 예제 모음은 우리가 함께 읽을 PLS-대-딥 정면 대결과, 이 장을 닫는 run_all.py 신뢰성 하네스를 제공합니다.

쉽게 말하면

케이크의 향만 맡고 그 단맛을 맞히는 법을 배워야 하는데, 배울 케이크가 여섯 개뿐이라고 합시다. 백만 개의 케이크를 맛보았고 천 가지 미묘한 향을 묘사할 수 있는 세계적 셰프를 고용할 수도 있습니다 — 그러나 예제가 여섯 개뿐이면 그 방대한 지식은 붙잡을 데가 없습니다. 셰프는 당신의 여섯 케이크 속 우연을 "학습"하고는 일곱 번째 케이크에서 자신만만하게 틀릴 것입니다. 아니면 여섯 케이크에 맞춘 단순한 어림법 — "바닐라 향이 강할수록 더 달다" — 을 쓸 수도 있습니다. 어림법은 덜 인상적이지만 훨씬 더 믿을 만한데, 스스로를 속일 여지가 적기 때문입니다. 이것이 이 장 전반부의 논지 전체입니다. 틀릴 방법이 더 적은 모델은 옳게 가기 위해 더 적은 데이터를 필요로 하며, 바이오공정은 화려한 모델을 먹일 만큼 충분한 데이터를 결코 갖지 못합니다. 후반부는 어떤 케이크에도 없는 부분을 더합니다. 누구라도 의약품에 관한 모델의 추측에 따라 행동하기 전에, 그 추측 — 그리고 그것을 낸 모델 — 은 증명되고, 동결되고, 기록되어야 합니다. 그래야 내일 당신이 신뢰하는 추측이 오늘 당신이 증명한 바로 그 추측이 됩니다.

이 장에서 다루는 내용​

  • 모델 계열들과 각각이 들어맞을 때: 선형 회귀, PLS, PCA(소규모 데이터의 일꾼); 트리 앙상블과 그래디언트 부스팅; 베이지안 최적화를 곁들인 가우시안 프로세스; 그리고 신경망(MLP, 스펙트럼용 1D-CNN, 오토인코더/VAE, 트랜스포머) — 각각의 핵심 수학을 스케치하고 그것이 답하는 바이오공정 질문과 함께.
  • 딥러닝이 바이오공정 데이터에서 PLS를 좀처럼 이기지 못하는 이유: 편향-분산 트레이드오프, 표본 효율성, 외삽, 그리고 심사를 위한 해석가능성 — 그것을 보여 주는, 실행 가능한 PLS-대-CNN 정면 대결과 실제 숫자와 함께.
  • GMP 검증 패러다임: 잠긴(locked) 모델 대 지속 학습 모델, 사전결정 변경관리 계획(PCCP), ML에 적용된 GAMP 5와 컴퓨터 소프트웨어 보증(CSA), ISPE GAMP AI 가이드, FDA 7단계 모델 신뢰성 프레임워크, 그리고 초안 EU/PIC/S GMP Annex 22 — 이 장이 필요로 하는 고도에서. 규제 장과 MLOps 장이 더 깊이 들어갑니다.
  • 증거 등급 및 성숙도 콜아웃 — 이 책이 모든 주장을 채점하는 데 쓰는 것으로, 여기서 정식으로 소개됩니다.

이 책이 증거를 채점하는 방법​

모델을 비교하기 전에, 우리는 이 책이 그것들에 관한 모든 주장을 판단하는 데 쓰는 렌즈를 고정합니다 — 바이오공정 ML에 관한 문헌은 신뢰성이 천차만별인 인상적 숫자로 가득하기 때문입니다. 같은 헤드라인("우리 모델이 실험을 3분의 1 줄였다", "최초의 인라인 출하", "95% 자동 출하" — 출하(release)란 완성된 배치를 사용하거나 판매하도록 허용하는 정식 품질 결정)이 동료심사 결과일 수도, 벤더 슬라이드일 수도, 보도자료일 수도 있으며, 그 셋 사이의 간극이 곧 사실과 광고의 차이입니다. 여기서부터 모든 외부 주장은 일부러 분리해서 유지하는 두 개의 라벨을 답니다.

첫째는 가장 강한 것부터 가장 약한 것까지 순위가 매겨진 증거 등급입니다.

  • 독립 동료심사(peer-reviewed-independent) — 출판된 동료심사 결과로, 저자가 그것을 팔거나 운영하는 벤더나 운영자가 아닌 경우. 최고 기준.
  • 자체 저자 동료심사(peer-reviewed-self-authored) — 동료심사를 거쳤지만, 그 방법을 만들거나 배치한 회사가 공동 저자인 경우. 과학적으로는 신뢰할 만하지만, 틀이 저자에게 유리하게 짜이고, 비교는 대개 저자 자신의 이전 베이스라인을 상대로 한 것입니다.
  • 벤더 자체보고(vendor-self-reported) — 벤더 자신의 주장(백서, 슬라이드, 제품 페이지). 방향의 신호로는 유용하지만, 결과의 증거는 아닙니다.
  • 보도자료 한정(press-release-only) — 들여다볼 만한 방법이 뒤에 없는 숫자. 마케팅으로 취급하십시오.

둘째는 한 방법이 실제로 얼마나 멀리 갔는지를 나타내는 성숙도 라벨입니다. (상용)은 일상적 GMP 공장에 배치되었음을, (파일럿)은 규모에서 시연되었지만 일상 상용 생산에는 들어가지 않았음을, (연구)는 논문이나 실험실 결과를 뜻합니다. 한 주장은 한 축에서 높고 다른 축에서 낮을 수 있습니다 — (연구)일 뿐인 독립 동료심사 결과이거나, 공개 증거가 벤더 자체보고뿐인 (상용) 배치이거나. 둘을 떼어 두는 것이 요점 전부이며, 이것이 이 책이 벤더 슬라이드를 확립된 사실로 세탁하기를 거부하는 이유입니다. 모음의 case_ledger.py는 이 규율을 문자 그대로 구현하여, 이름 붙은 열여섯 개의 산업 배치를 채점하고, 일곱 개의 헤드라인 수치 주장 중 단 하나도 독립 동료심사 바닥을 통과하지 못함을 밝혀냅니다 — 그래서 그것들은 하나도 빠짐없이 보는 즉시 단서가 달립니다.

Evidence

이것이 이 책 전반에 걸쳐 보게 될 콜아웃입니다. 어떤 주장의 신뢰성이나 성숙도가 다툴 여지가 있을 때마다 — 헤드라인 정확도 숫자, "더 적은 실험" 수치, "최초" 배치 — 그것은 여기, 자체 블록에서 채점되어, 등급이 주장과 함께 따라다니고 결코 조용히 상향되지 않습니다. 이 장의 중심 논지 — 고전 화학계량학이 실제 바이오공정 스펙트럼에서 딥러닝을 이긴다 — 를 위한 가장 강한 단일 닻은 자체 저자 동료심사이자 (파일럿)입니다. 프로테인 A 포획(첫 항체 정제 단계) 중에 인라인으로 16개 품질 속성(순도, 응집체, 불순물 수준 등 제품이 합격인지를 정의하는 측정 가능한 성질들)을 예측한 베링거 인겔하임 연구로, 그 최고의 전반적 모델은 딥 네트워크가 아니라 k-최근접이웃(가장 닮은 과거 예제로부터 예측하는 고전적 방법)이었습니다 [1]. 아래에서 다시 다룹니다.

모델 계열들, 그리고 각각이 답하는 질문​

단 하나의 최고 모델은 없습니다. 사다리가 있을 뿐이며, 각 단이 요구하는 데이터의 양과 신뢰의 양에 따라 대략 정렬되어 있습니다 — 그리고 공학적 기량은 당신의 문제가 강제하는 것보다 더 높이 오르지 않는 것입니다. 여기 사다리가, 단마다 핵심 아이디어와, 각 단이 답하도록 만들어진 바이오공정 질문과, 그것이 GMP 심사에 지고 들어오는 비용과 함께 있습니다.

선형 회귀, PLS, PCA — 일꾼​

맨 아래에는 바이오공정에서 실제 상용 작업의 압도적 다수를 하는 계열이 앉아 있습니다. 선형 잠재변수 방법입니다. 주성분 분석(PCA)은 상관된 여러 변수를 분산이 가장 큰 몇 개의 상관 없는 방향으로 압축합니다. 기계적으로는 X의 공분산 행렬을 대각화하고 상위 고유벡터를 유지하므로, 50열짜리 출하 패널이 신호 대부분을 담은 두세 개의 점수(score)로 무너집니다. 이것이 출하 장이 짓는 다변량 통계적 공정 관리(MSPC)의 엔진입니다 — 모음의 mspc.py는 합격한 다섯 배치에 PCA를 두 성분으로 적합시키고, 모델의 호텔링 T²와 제곱예측오차(SPE) 통계량이 OOS 배치 하나를 깔끔하게 표시하며, SPE 기여도는 곧장 숙주세포단백질 채널을 가리킵니다. 부분 최소제곱법(PLS)은 그것의 지도 사촌입니다. PCA가 X에서 분산이 가장 큰 방향을 찾는다면, PLS는 X에서 y와의 공분산이 가장 높은 방향 — 단지 가장 많이 변하는 것이 아니라 목표를 가장 잘 예측하는 방향 — 을 찾습니다. 바로 그 구별이 분광 소프트 센서가 필요로 하는 것입니다. 라만 스펙트럼은 대규모로 공선적인 701개의 파수 채널(스펙트럼의 cm⁻¹ 축을 따라 놓인 701개 지점으로, 각각 빛 세기 판독값)을 가집니다 — 이웃 채널이 함께 움직입니다 — 그리고 실제로 역가를 추동하는 근원적 화학 인자는 한 줌뿐입니다. PLS는 그 701개의 상관된 채널을 몇 개의 잠재 성분(모음은 내부 교차검증 — 학습 데이터를 적합할 부분과 점수를 매길 홀드아웃 부분으로 거듭 나누어, 모델이 보지 못한 데이터에서 선택이 판단되도록 함 — 으로 다섯 개를 고릅니다)에 투영하고 그 위에서 역가를 회귀하여, 수백 행밖에 없는 701개의 공선 예측변수에서 보통최소제곱 적합이 겪을 재앙 — 정규방정식이 거의 특이행렬이 되고 계수가 폭주하는 것 — 을 비껴갑니다.

그 메커니즘은 한 문장 가치가 있는데, 그것이 PLS를 심사 가능하게 만드는 것이기 때문입니다. PLS는 그 성분을 한 번에 하나씩 추출합니다(고전적 NIPALS 알고리즘). X의 투영과 y 사이의 공분산을 최대화하는 가중 벡터를 찾고, 그 결과 점수를 계산하고, 그 성분이 설명한 만큼으로 X와 y를 둘 다 수축(deflate)시킨 뒤, 잔차에 대해 반복합니다 — 그래서 새 성분마다 앞선 성분들이 놓친 예측 구조를 포착합니다. 두 산물이 공짜로 떨어지며, 그것이 바로 심사자가 읽는 것입니다. 각 파수에서의 회귀 계수(그 채널이 예측을 얼마나 움직이는가)와 VIP 점수(투영에서의 변수 중요도 — 대략, 유지된 모든 성분에 걸쳐 각 입력이 얼마나 기여하는가로, 1에 가깝거나 그보다 큰 값이 영향력 있는 대역을 표시함). 단백질 아마이드 백본 대역 — 역가 센서에 직접적으로 인과적인 신호 — 에 앉아 있는 VIP 봉우리는 모델이 옳은 이유로 옳다는 증거이고(포도당 대역에 앉은 봉우리는 더 약한 증거인데, 포도당은 배양이 자라면서 역가와 함께 변할 뿐이기 때문입니다), 텅 빈 베이스라인 구간에 앉은 VIP 봉우리는 그것이 인공물을 악용하고 있다는 증거입니다. 어떤 딥 모델도 심사자에게 그 한 쌍의 산물을 건네지 않습니다.

PLS는 대략 40년 되었고, 상용 분광 PAT의 기록된 터줏대감이며, 소규모 데이터 영역에서 진정으로 이기기 어렵습니다 [1][2]. 인라인 라만과 NIR 소프트 센서 산업 전체 — 포도당, 젖산, 역가(배양 중 제품 항체의 농도로, g/L 단위이며, 소프트 센서의 주된 예측 목표)(상용), 같은 화학계량학 위의 폐루프 포도당 제어는 실제이지만 여전히 대체로 (파일럿) — 가 PLS 화학계량학 위에서 돌아가며, 동료심사된 인라인 라만 + PLS 모델은 10리터 바이오리액터에서 영양소, 대사산물, IgG 역가(IgG는 면역글로불린 G로, 대다수 치료용 mAb가 속하는 항체 부류)에 대해 R² 0.9를 넘기고, 지배적인 상용 모니터링 모음(자토리우스 SIMCA, 아스펜테크 ProMV)은 출하 장이 해부하는 호텔링 T²와 SPE 차트를 갖춘 제품화된 PCA/PLS입니다 [2] (상용). 바이오공정에서 의심스러울 때는 여기서 시작하며 — 그리고 아주 자주 여기에 머무릅니다.

평범한 선형 회귀는 PLS 한 단 아래에 앉아 있고 눈에 담아 둘 가치가 있는데, 정규화된 선형 모델들 자체가 과소평가된 바이오공정 일꾼이기 때문입니다. 릿지(Ridge) 회귀(L2 페널티)는 계수를 0을 향해 매끄럽게 수축시켜 공선성을 길들입니다. LASSO(L1 페널티)는 일부 계수를 정확히 0으로 몰아 특징 선택을 하는데, 많은 대사산물 특징 중 몇 개만이 실제로 중요할 때 정확히 원하는 것입니다. 엘라스틱 넷(elastic net)은 둘을 섞습니다. 출하 예측기는 이 계열이 선호되는 바로 그 이유로 L2 정규화 로지스틱 회귀를 씁니다. 보정되어 있고, 표준화 계수가 조사관이 해석할 수 있는 로그 오즈로 곧장 읽히며(합격 오즈의 로그 — 음의 계수는 배치를 불합격 쪽으로, 양의 계수는 합격 쪽으로 밀며, 크기가 클수록 미는 힘이 강함) — 모음에서 end_viability_pct(운전 종료 시 세포 생존율)는 −2.85 계수를, peak_lactate_g_L(폐기 대사산물인 젖산의 최고치)은 +2.74를 지니는데, 둘 다 공정 화학이 예측하는 방향으로 부호가 매겨져 있습니다(낮은 생존율과 높은 젖산이 추동하는 스트레스가 둘 다 불합격 위험을 높임) — 수백 행을 과적합할 여지가 거의 없습니다. 선형 회귀, 릿지/LASSO, PLS, PCA를 관통하는 공통 줄기는 낮은 분산과 높은 투명성입니다 — 소규모 데이터 GMP 작업이 날것의 유연성보다 위에 두는 두 속성이자, 이 장의 검증 절반이 선호가 아닌 요구사항으로 바꾸는 두 속성입니다.

트리 앙상블과 그래디언트 부스팅 — 표 형식, 비선형, 충분히 해석 가능​

데이터가 스펙트럼이 아니라 표 형식(공정 매개변수, 대사산물 요약, 범주형 배지나 클론 식별자)이고 관계가 비선형이거나 상호작용으로 가득할 때, 다음 단은 트리 앙상블입니다. 단일 결정 트리는 특징 공간을 축에 정렬된 상자로 재귀적으로 분할하며, 오차를 가장 많이 줄이도록 각 분할을 고릅니다. 혼자서는 심하게 과적합합니다. 랜덤 포레스트는 부트스트랩 표본과 무작위 특징 부분집합에서 자란 많은 트리를 평균하여, 그것들을 탈상관시키고 분산을 줄입니다. 그래디언트 부스팅(XGBoost, LightGBM)은 대신 트리를 순차적으로 키워서, 새 트리마다 지금까지의 앙상블이 남긴 손실의 그래디언트에 적합시킵니다 — 각자 앞선 것의 잔차를 교정합니다 — 이것은 대개 구할 수 있는 가장 강한 표 형식 학습기입니다. 그것들의 바이오공정 본거지는 출하 예측기와 제조 운영 모델입니다. 모음의 viral_lrv.py는 바이러스 여과 단계의 로그 감소값(LRV — 필터가 바이러스를 10의 몇 제곱만큼 제거하는지로, LRV 4는 10,000배 감소를 뜻함)에 그래디언트 부스팅 회귀기를, coldchain.py는 그래디언트 부스팅 차선 위험 분류기를 쓰며, 각각 수십 개의 가공된 특징에서 결과를 예측합니다. 그것들은 비선형성과 혼합 특징 유형을 기본으로 다루고, 특징 스케일링에 견고하며 — 심사에 결정적으로 — 특징 중요도와 부분 의존성 플롯을 내보내므로, 조사관이 어느 특징이 예측을 추동했는지 볼 수 있습니다. LRV 모델은 신호 대부분을 사료 HMW 분율(필터로 들어오는 고분자량 응집체의 비율)과 플럭스 감쇠(필터가 막히면서 처리량이 얼마나 떨어지는가)에 귀속하는데, 둘 다 막 보유(membrane retention — 막이 얼마나 붙잡아 두는가)의 물리적으로 합당한 동인입니다. 그것들은 소규모 데이터에서 마법이 아닙니다. 부스팅 앙상블은 신경망만큼이나 열심히 수백 행을 과적합할 수 있고, 평평하게 외삽합니다 — 트리는 본 범위 밖의 값을 예측할 수 없으므로, 학습 봉투 너머에서는 단순히 가장자리 값을 돌려줍니다. 그러나 표 형식의 중간 규모 바이오공정 데이터에서 그것들은 분별 있고 방어 가능한 기본값이며, 선형 계수만큼 투명하지는 않더라도 심사를 통과할 만큼 충분히 해석 가능합니다.

가우시안 프로세스와 베이지안 최적화 — 실험 하나하나가 소중할 때​

세 번째 단은 바이오공정의 정의적 희소성을 위해 만들어진 것입니다. 실험은 몇 주와 거금이 들기에, 다음 실험을 어디서 돌릴지 알려 주는 모델을 원합니다. 가우시안 프로세스(GP)는 입력 공간의 모든 지점에서 예측 평균뿐 아니라 보정된 불확실성 — 데이터가 있는 곳에서는 좁고 없는 곳에서는 넓은, 완전한 예측 분포 — 을 돌려주는 모델로, 두 설정의 결과가 그 거리에 따라 얼마나 비슷해야 하는지를 인코딩하는 커널(흔히 마테른 또는 제곱지수)에 의해 지배됩니다. 형식적으로는 미지의 함수를 함수에 대한 분포에서 뽑힌 것으로 취급하고 관측된 지점에 조건을 겁니다. 수학은 닫힌 형태지만 학습 지점 수에 대해 3차입니다. 정직한 오차 막대 자체가 거버넌스 자산입니다 — "여기서는 모르겠다"고 말하는 모델은 자신만만하게 추측하는 모델보다 훨씬 신뢰하기 쉬우며, 모니터링되어야 하는 대신 자신의 분포 밖 경고를 자청하는 사다리의 유일한 단입니다.

그 불확실성 장(field)이 베이지안 최적화(BO)를 추동하는 것입니다. 지금까지 돌린 실험에 GP를 적합시키고, 획득 함수(acquisition function)(기대 향상, 또는 역가와 품질을 맞바꿔야 할 때 그 다목적 사촌인 기대 초부피 향상)를 사용해, 현재 최적 영역을 활용하는 것과 불확실한 영역을 탐색하는 것 사이를 가장 잘 균형 잡는 다음 실험을 고르고, 그것을 돌리고, 재적합하고, 반복합니다. 그 결과는 고정된 요인 실험계획(DoE) 격자보다 실질적으로 더 적은 운전에서 경쟁력 있는 최적점에 도달하는 피드백 루프입니다 — 공정 개발과 배지 최적화 뒤의 엔진으로, 표준 DoE보다 3~30배 적은 실험을 보고하는 최근의 동료심사 바이오공정 연구 전반에서 뒷받침됩니다(연구, 독립 동료심사) [3]. 모음이 그것을 구체화합니다. bayesopt_doe.py는 사료 정책을 최적화하여 15회의 베이지안 최적화 운전에서 최종 역가 6.269 g/L에 도달하는 반면, 25회 요인 격자에서는 6.246 g/L입니다 — 격자 최적점을 열 번 적은 운전으로 맞먹고 살짝 능가합니다. 다만 시연이 지나치는 바이오공정의 주름이 하나 있습니다. 모음의 bayesopt_doe.py가 최적화하는 빠른 인라인 역가와 달리, 실제 캠페인이 맞바꾸는 품질 목표 — 응집체, 전하 변이체, 숙주세포단백질 — 는 오프라인으로 측정되어 운전마다 며칠 뒤에 도착하므로, 실제 바이오공정 BO는 느리고 비싸고 지연된 라벨을 상대로 최적화해야 하며, 이는 미해결 과제 절에서 표류에 대해 다시 다루는 바로 그 지연입니다.

두 설계 선택이 GP 거동의 대부분을 좌우합니다. 커널은 매끄러움에 대한 사전분포입니다. 제곱지수 커널은 반응 표면이 매우 매끄럽다(가까운 설정이 거의 동일한 결과를 낸다)고 가정하는 반면, 마테른 커널은 더 거친 표면을 허용하며 잡음 많은 바이오공정 반응에는 더 안전한 기본값입니다. 데이터에서 적합된 커널의 길이 척도는 한 관측의 영향이 얼마나 멀리 미치는지를 말합니다. 획득 함수는 GP의 평균-더하기-불확실성을 다음 실험으로 바꾸는 정책입니다. 기대 향상은 현재 최고를 이길 가능성과 크기를 저울질하고, 상한 신뢰 경계는 평균에 불확실성의 조정 가능한 배수를 더해 탐색을 키우거나 줄이며, 기대 초부피 향상은 그 아이디어를 한 번에 여러 목표로 일반화합니다 — 역가만 최적화하는 일은 결코 없고 역가를 응집체, 전하 변이체, 숙주세포단백질과 함께 맞바꾸는, 현실적인 바이오공정 사례입니다. GP-BO는 더 정교한 모델이 정확히 소규모 데이터가 요구하는 것인 드문 경우인데, 그 정교함이 날것의 용량이 아니라 무지를 정량화하는 데 쓰이기 때문입니다. 그 비용은 나쁜 확장성입니다 — 고전적 GP는 학습 지점 수에 대해 3차입니다 — 그러나 실험이 서른 개일 때 그것은 전혀 장애물이 아닙니다.

신경망 — MLP, 1D-CNN, 오토인코더/VAE, 트랜스포머​

사다리 꼭대기에는 신경망이, 데이터에 대한 식욕이 대략 커지는 순서로 앉아 있습니다.

  • 다층 퍼셉트론(MLP)은 비선형 활성화를 갖춘 완전연결 층의 스택으로 — 원리상 어떤 함수든 근사할 수 있는 보편적 비선형 회귀기입니다. 데이터가 충분하면 무엇이든 적합할 수 있습니다. 바이오공정 수백 행에서는 대부분 잡음을 적합합니다. 그것의 정직한 바이오공정 본거지는 하이브리드 모델 안의 잔차 학습기로서인데, 메커니즘 방정식이 신호 대부분을 나르고 작은 네트가 물리가 놓친 것을 닦아 냅니다 — 모음의 hybrid_model.py는 정확히 이를 위해 801개 매개변수 네트워크를 쓰며, 하이브리드 모델링 장이 그것을 펼쳐 냅니다.
  • 1D-CNN은 스펙트럼을 1차원 신호로 다루고, 공유된 합성곱 필터로 국소 스펙트럼 특징을 학습하여, 밀집 헤드 앞에서 그것들을 압축된 표현으로 풀링합니다. 이것은 라만이나 NIR에 대한 아키텍처적으로 올바른 딥 모델이며 — 2D-CNN이 이미지의 평행이동 구조를 존중하듯이 스펙트럼의 평행이동 구조를 존중합니다 — 아래에서 PLS에 맞붙여 벤치마크하는 딥 모델입니다. CNN이 "자신의 전처리를 학습한다"는 심사자의 직관은 옳습니다. 합성곱이 PLS의 평활화와 차원 축소가 하는 역할을 합니다 — 정확히 그래서 CNN의 우위는 한 깨끗한 배치가 아니라 대규모 다중 기기 데이터셋에서만 나타나는 경향이 있습니다.
  • 오토인코더와 변분 오토인코더(VAE)는 비지도입니다. 데이터를 저차원 잠재 코드로 압축하고 재구성하여, 재구성 오차를 최소화함으로써 "정상" 구조를 학습합니다. 그것들의 바이오공정 용도는 이상 탐지(높은 재구성 오차가 계열에서 벗어난 배치를 표시하는, MSPC SPE 통계량의 신경망 사촌)이며, 확률적 잠재 공간을 학습하는 VAE의 경우에는 그럴듯한 합성 표본 생성입니다.
  • 트랜스포머는 대규모 언어 모델 뒤의 어텐션 기반 아키텍처로, 모든 위치가 다른 모든 위치에 주의를 기울이게 함으로써 장거리 의존성을 학습합니다. 바이오공정 시계열에서 그것들은 대체로 (연구)에 머뭅니다 — 유가배양 운전은 그토록 굶주린 어텐션 모델을 먹이기에 너무 짧고 너무 적습니다. 트랜스포머가 이 분야에서 진정으로 제자리를 얻는 곳은 서열과 텍스트 데이터 — 분자 및 클론 작업을 위한 단백질 언어 모델, 그리고 생성형 AI 장의 문서를 다루는 LLM — 이지, 여섯 배치짜리 유가배양 데이터셋이 아닙니다.

사다리를 각 단이 답하는 질문에 매핑한 실무자의 빠른 지도. 스펙트럼 → 역가/대사산물(공선적, 수백 채널)은 매번 PLS입니다. 비지도 배치 지문 / 모니터링은 T²와 SPE를 갖춘 PCA입니다. 수십 개의 가공된 특징으로부터의 표 형식 결과(출하 합격/불합격, 수확 부하, 차선 위험)는 그래디언트 부스팅 앙상블입니다. 잔혹한 희소성 아래에서 다음에 어떤 실험을 돌릴지는 베이지안 최적화를 갖춘 GP입니다. "정상"에 대한 이상은 오토인코더 또는 PCA-SPE 통계량입니다. 그리고 서열 또는 자유 텍스트(클론 서열, 일탈 서술)는 트랜스포머가 마침내 제값을 하는 곳입니다. 시계열 유가배양 궤적은 새내기들이 딥러닝이 차지하리라고 가장 기대하는 경우이지만, 정확히 그것이 지는 경우입니다 — 독립 배치가 너무 적고, 공선성이 너무 많으며, 심사가능성 기준이 너무 높습니다. 그 순서가 중요한 이유는, 그것이 또한 거의 정확하게 모델의 데이터 식욕이 커지고 방어가능성이 줄어드는 순서이기 때문입니다. 그것이 이 장의 중심 논지로 우리를 데려갑니다.

딥러닝이 바이오공정 데이터에서 PLS를 좀처럼 이기지 못하는 이유​

바이오공정 ML에서 새내기가 저지르는 단연 가장 흔한 실수는 딥러닝이 강력하기 때문에 손을 뻗었다가, 그것이 1980년대 선형 모델에 지는 것에 놀라는 것입니다. 이것은 불운이나 잘못된 튜닝이 아닙니다. 구조적이며, 맞물린 네 가지 이유가 있습니다.

편향-분산 트레이드오프, 쉬운 말로. 모든 모델의 기대 오차는 세 조각으로 분해됩니다. 편향²(진실을 포착하기에 너무 단순해서 생기는 오차), 분산(너무 유연해서 이 특정 학습 표본의 잡음을 적합해서 생기는 오차), 그리고 줄일 수 없는 잡음 바닥. 고용량 모델 — 수십만 매개변수의 딥 네트 — 은 낮은 편향이지만 막대한 분산을 가집니다. 학습 예제가 적으면 그 예제들의 특이성을 적합할 자유가 있어 일반화를 못 합니다. 한 줌의 잠재 성분을 가진 PLS는 더 높은 편향이지만 훨씬 더 낮은 분산을 가집니다. 소규모 데이터에서는 분산이 총 오차를 지배하므로, 더 낮은 분산의 모델이 중요한 유일한 비교 — 홀드아웃 정확도 — 에서 이깁니다. 이것은 딥러닝에 대한 비판이 아닙니다. 바이오공정이 사는 영역에서 편향-분산 트레이드오프가 교과서가 말하는 그대로 하는 것입니다. 그 따름정리는, 이 영역에서 오차를 가장 많이 줄이는 지렛대가 더 많은 층이 아니라 더 많은 독립 배치라는 것입니다 — 그리고 더 많은 배치야말로 바이오공정이 값싸게 살 수 없는 바로 그것입니다.

표본 효율성, 그리고 데이터가 실제로 얼마나 적은가. 콜드 스타트 현실을 떠올리십시오. 구속 조건은 행의 수가 아니라 독립 배치의 수이며, 그것은 하나씩, 느리게, 각각 몇 주의 비용으로 늘어납니다. 스펙트럼은 701개의 열을 주지만 배치는 진정으로 독립적인 관측 하나를 줍니다 — 그래서 수십만 셀짜리 데이터셋도 여전히 여섯 지점의 통계적 무게만 나를 수 있습니다. 딥 네트워크의 매개변수 수는 그 독립 예제 수를 일상적으로 수십 배 넘깁니다. PLS의 실효 복잡도는 몇 개의 잠재 성분입니다. 딥러닝의 눈부신 승리는 수백만 예제의 데이터셋(ImageNet, 웹 규모 텍스트)에서 왔습니다. 바이오공정은 여섯 배치를 제공합니다. 데이터가 결코 담지 않았던 정보를 만들어 내는 아키텍처 묘수는 없습니다 — 하이브리드 모델링 장이 데이터가 제공할 필요가 없었던 메커니즘 지식을 주입함으로써 긍정적 전략으로 바꾸는 교훈입니다.

외삽, 제조가 실제로 작동하는 곳. 검증된 공정은 좁고 특성화된 창에서 돌아갑니다. 모델이 가장 필요한 순간은 일탈과 가장자리입니다 — 정확히 학습 데이터가 없는 곳입니다. 선형 모델은 예측 가능하게 외삽하고(어디로 향하는지 볼 수 있고 오차를 한정할 수 있음), 트리 앙상블은 평평하게 외삽하며(본 것의 가장자리에 고정됨), GP는 그 불확실성이 폭발했다고 정직하게 말합니다. 딥 네트는 예측 불가능하고 자신만만하게 외삽합니다 — 지도에서 벗어났다는 신호 없이 또렷한 숫자를 돌려주는데, 그 학습의 어떤 것도 데이터 밖의 과신을 벌하지 않기 때문입니다. 자신만만하게 틀린 예측이 배양에 잘못 사료를 주거나 규격에 어긋난 로트를 통과시킬 수 있는 분야에서, 예측 가능한 외삽은 날것의 분포 내 정확도보다 더 가치 있습니다.

심사를 위한 해석가능성. 이 이유는 소비자 ML에 유사물이 없고 제약에서 지배적입니다. PLS 모델은 그 회귀 계수와 투영 변수 중요도(VIP) 점수를 드러냅니다. 조사관은 예측을 추동하는 파수를 가리키고 알려진 화학 — 포도당 대역, 단백질 아마이드 시그니처 — 에 비추어 점검하여, 모델이 허위 상관(탐침 인공물, 배치 교란된 베이스라인)을 악용하는 대신 옳은 이유로 옳다고 확인할 수 있습니다. 딥 네트는 심사자에게 블랙박스이며 — 의약품에 관해 모델이 결정한 이유를 이해해야 하는 규제 당국 앞에서 블랙박스는 방어하기 어려운 것입니다. 사후 설명가능성 도구(SHAP 값, 현저성 맵)는 도움이 되지만, 그것들은 불투명한 모델의 거동에 대한 근사이지 모델의 실제 추론이 아니며, 심사자는 모델 자체가 산출하지 않았고 설명기의 설정에 따라 바뀔 수 있는 설명을 합리적으로 불신할 수 있습니다. 하이브리드 모델 장은 같은 점을 반대편에서 짚습니다. 예측을 "물리가 말한 것"과 "데이터가 더한 것"으로 분해할 수 있는 모델은 불투명한 것보다 검증에 훨씬 편안하게 들어맞습니다. 여기서 해석가능성은 부수적 미덕이 아닙니다. GMP 사용을 위한 관문 요구사항이며 — 그것이 모델의 선택과 그 검증가능성을 분리할 수 없는 이유입니다.

분야가 거듭 필요로 하는 정직한 시정. 딥러닝은 소규모 바이오공정 데이터에서 일반적으로 우월하지 않습니다. 가장 많이 인용되는 외견상 반례 — 프로테인 A 포획 중 16개 품질 속성을 인라인으로, 거의 실시간으로 예측한 베링거 인겔하임 작업 — 은 진정으로 탁월하고 진정으로 (파일럿)이지만, 그 최고의 전반적 모델은 k-최근접이웃, 신경망이 들어 있지 않은 고전적 거리 기반 방법이었고, 고분자량 오차를 약 3배 낮췄기 때문에 PLS와 PCR을 제치고 선택되었습니다 [1]. 그것은 "딥러닝 라만 물결"의 증거로 자주 오인용됩니다. 오히려 그것은, 굳이 따지면, 실제 스펙트럼에서 고전 화학계량학을 지지하는 가장 강한 단일 증거입니다. 정면으로 딥-대-PLS 라만 벤치마크가 존재하는 곳에서, 딥러닝은 PLS를 결정적으로 이기기보다 전형적으로 맞먹으며, 그 우위는 주로 대규모 다중 기기 데이터셋에서, 데이터, 연산, 심사가능성에 큰 비용을 들여 구체화됩니다 [1][4] (파일럿/연구). 네 가지 이유 모두에서 떨어져 나오는 실무자의 규칙은 무딥니다. 사다리 맨 아래에서 시작하고 데이터가 강제할 때만 오르라 — 그것은 바이오공정에서 드문 일입니다.

데이터 식욕 축에 맞춰 놓은 바이오공정 모델 선택 사다리의 히어로 도해. 수평 축은 왼쪽의 매우 작은 데이터에서 오른쪽의 큰 데이터로 흐르고, 수직 축은 아래쪽의 낮은 모델 용량에서 위쪽의 높은 용량으로 흐른다. 다섯 단이 왼쪽에서 오른쪽으로 오르는 알약 모양으로 그려진다. 왼쪽 아래 인디고에는 소규모 데이터 일꾼이라 라벨된 선형 회귀 / PLS / PCA가, PLS 계수와 VIP 점수는 심사 가능하다는 태그와 함께; 그 위 시안에는 표 형식 비선형이라 라벨된 트리 앙상블 / 그래디언트 부스팅이, 특징 중요도라는 태그와 함께; 바이올렛에는 희소한 실험을 위해 만들어졌다 라벨된 가우시안 프로세스 더하기 베이지안 최적화가, 보정된 불확실성을 돌려준다는 태그와 함께; 앰버에는 훨씬 더 많은 데이터가 필요하다 라벨된 신경망 MLP와 1D-CNN이; 그리고 오른쪽 위에는 시계열에서는 연구, 서열과 텍스트에서는 상용이라 라벨된 트랜스포머가 있다. 왼쪽 아래의 음영진 녹색 띠가 바이오공정 데이터가 실제로 사는 곳 — 여섯 배치, 수백 행 — 을 표시하며, 일꾼 단들이 그 안에 앉고 딥 단들이 그 밖 오른쪽에 앉아 있음을 보여 준다. 측면 패널은 여기서 딥러닝이 좀처럼 이기지 못하는 네 가지 이유를 나열한다. 편향-분산, 표본 효율성, 외삽, 심사를 위한 해석가능성. 데이터 식욕에 매핑된 모델 사다리: 실제 상용 바이오공정 작업을 하는 방법들 — PLS/PCA, 트리 앙상블, GP-BO — 은 바이오공정이 실제로 사는 소규모 데이터 띠 안에 앉아 있는 반면, MLP, CNN, 트랜스포머는 그 오른쪽에 앉아, 여섯 배치가 댈 수 있는 것보다 훨씬 더 많은 데이터를 필요로 한다. 데이터가 강제할 때만 사다리를 오르라. 저자가 AI의 도움을 받아 직접 제작한 그림입니다.

정면 대결, 코드로​

예제 모음은 이 논지를 수사적이 아니라 실행 가능하게 만듭니다. 두 모듈이 동일한 황금 배치 스펙트럼에서 동일한 라만으로부터-역가 문제를 적합합니다. soft_sensor_pls.py(다섯 성분을 내부 교차검증으로 고르는 PLS)와 soft_sensor_deep.py(소형 1D-CNN)입니다. CNN은 각 701채널 스펙트럼을 1차원 신호로 다루고, 파수에 걸쳐 두 개의 합성곱 블록(너비 15의 8필터 커널, 그다음 너비 11의 16필터 커널, 풀링과 함께)을 돌리고, 작은 밀집 헤드를 통해 역가를 회귀합니다 — 스펙트럼에 대한 아키텍처적으로 올바른 딥 모델입니다. 결정적으로, 두 모듈 모두 동일한 전처리를 모델의 일부로 고정합니다. 학습 분할에서만 적합되고 가중치와 함께 운반되는 StandardScaler이므로, 어느 쪽도 누출하지 않습니다. 둘을 나란히 돌리는 요점은 승자에게 왕관을 씌우는 것이 아니라, 작고 깨끗한 스펙트럼에서 수십 배 더 많은 매개변수가 더 나은 홀드아웃 결과를 사 주지 못한다는 것을 실제 숫자로 보여 주는 것입니다.

# soft_sensor_deep.py — a compact 1D-CNN over the 701-wavenumber Raman signal,
# benchmarked head-to-head against the PLS baseline in soft_sensor_pls.py.
class SpectraCNN(nn.Module):
    """Two conv blocks over wavenumber, then a small dense head."""
    def __init__(self, n_wavenumbers: int):
        super().__init__()
        self.features = nn.Sequential(
            nn.Conv1d(1, 8, kernel_size=15, padding=7), nn.ReLU(),
            nn.MaxPool1d(4),
            nn.Conv1d(8, 16, kernel_size=11, padding=5), nn.ReLU(),
            nn.AdaptiveAvgPool1d(8),
        )
        self.head = nn.Sequential(
            nn.Flatten(), nn.Linear(16 * 8, 32), nn.ReLU(),
            nn.Dropout(0.2), nn.Linear(32, 1),
        )

    def forward(self, x):              # x: (batch, 1, n_wavenumbers)
        return self.head(self.features(x))


if __name__ == "__main__":
    from soft_sensor_pls import train_pls
    pls = train_pls()                  # the 40-year-old chemometric baseline
    cnn = train_cnn()                  # thousands of parameters of deep model
    print(f"  PLS    : R2={pls['r2']}  ({pls['n_params']} coefficients)")
    print(f"  1D-CNN : R2={cnn['r2']}  ({cnn['n_params']} parameters)")
    print(f"  PLS uses {cnn['n_params'] / pls['n_params']:.0f}x fewer params "
          f"and is not beaten on R2.")

정면 대결을 돌리면 교훈이 곧장 출력됩니다(시뮬레이션된 황금 배치 스펙트럼에서 나온 숫자, 학습 235 / 시험 101 파수-행; R²는 0에서 1까지의 적합도로 높을수록 좋고, RMSE — 평균제곱근오차 — 는 목표 자체 단위, 여기서는 역가의 g/L로 나타낸 전형적 예측 오차로 낮을수록 좋음):

Head-to-head: titer from 701-wavenumber Raman, golden batch BATCH-2026-001
  PLS    : R2=0.9944  RMSE=0.127 g/L  (702 coefficients)
  1D-CNN : R2=0.9924  RMSE=0.1488 g/L  (5713 parameters)
  PLS uses 8x fewer params and is not beaten on R2.

그 두 줄을 주의 깊게 읽으십시오. 그것이 압축된 논지 전체이기 때문입니다. CNN은 고장 난 것이 아닙니다 — 완벽하게 합당한 모델이며, 깨끗한 시뮬레이션 신호에서 R² 0.9924를 기록합니다. 그러나 이제 실제 SNV에 더해 사비츠키-골레이(Savitzky-Golay) 전처리를 거치고, 성분 수를 1-표준오차(one-standard-error) 규칙 아래 내부 교차검증(inner CV)으로 고른(그래서 다섯에 안착한) PLS는 R² 0.9944를 기록합니다. 그래서 딥 네트는 동점조차 내지 못합니다 — 40년 된 선형 방법이 대략 8분의 1의 매개변수(702 대 5,713)로 그것을 살짝 앞섭니다. PyTorch에 대한 추가 의존성, 훨씬 더 많은 연산과 300에폭의 학습 루프, 그리고 어떤 심사자도 읽을 수 없는 모델을 가지고도, 딥 네트는 중요한 지표에서 1980년대 선형 방법을 이기지 못합니다 — 그리고 여기서는 맞먹지조차 못합니다. 더 비싸고 덜 해석 가능한 모델에게 동점은 이미 패배였습니다. PLS가 노골적으로 앞서면 그 논점은 한층 더 강하게 가슴에 박힙니다. 산란, 탐침 오염, 운전 간 표류를 지닌 실제 라만에서는, 딥 모델의 더 높은 분산이 대개 그 간극을 더 낫게가 아니라 더 나쁘게 만드는 한편, PLS의 심사 가능한 계수는 그것을 방어 가능하게 유지합니다. 데이터 장이 고집하는 정직한 단서 하나를 유념하십시오. 이 시연은 아키텍처를 깔끔하게 비교하기 위해 단일 배치 안에서 파수-행을 분할합니다. 배치 가능한 소프트 센서는 배치 그룹 분할 아래에서 검증되어야 하며, 그것이 이 숫자들 어느 것이든 채택 가능하게 만드는 하네스입니다. 아키텍처 비교는 두 모델이 동일한 배치 내 분할을 보기 때문에만 공정합니다.

중첩 교차검증(nested cross-validation), 그래서 보고하는 점수가 실제로 얻을 점수가 되도록. 희소한 데이터에서 어떤 모델이든 부풀려 보이게 하는 미묘한 방법이 있으며, 그것이 가장 흔합니다. PLS 성분 수나 정규화 강도 C 같은 하이퍼파라미터를 교차검증(CV)으로 고른 뒤 바로 그 교차검증 점수를 보고하면, 같은 배치에서 튜닝하고 평가한 셈입니다. 선택이 이미 모든 폴드를 엿보았기에 그 점수는 낙관적입니다. 중첩 교차검증은 튜닝을 각 외부(outer) 폴드의 학습 부분에서만 돌아가는 내부(inner) 루프 안에 넣고, 외부 폴드의 점수만 보고함으로써 그 편향을 제거합니다 — 외부 폴드는 무엇을 고르는 데도 쓰이지 않았으므로 그 숫자가 정직합니다. 이제 모음은 이를 release_predict.py에서 시연하는데, 로지스틱 회귀의 C를 내부 루프에서 튜닝하고 외부 루프의 평결을 보고합니다.

logistic release predictor (NESTED 5x5 CV; C tuned in the inner loop):
  AUROC = 0.923 (95% CI (0.781, 1.0))   AUPRC = 0.805 (95% CI (0.521, 1.0))
  naive (tuned-and-read-off the same folds) AUROC = 0.968  -> optimism removed by nesting = +0.045  (selected C=100.0)
  calibration of the probabilities: Brier = 0.0524  ECE = 0.0769  (lower is better-calibrated)

순진한(naive) AUROC 0.968은 같은 폴드에서 튜닝하고 읽어 냈을 때 보고하게 될 값입니다. 정직한, 중첩된 숫자는 0.923입니다 — 중첩은 순진한 추정치가 조용히 정확도라고 주장했을 낙관 +0.045를 벗겨 냅니다. OOS 양성이 열 개뿐인 120개 배치 코호트에서 그 간극은 규제 당국이 신뢰할 수 있는 숫자와 스스로를 부풀리는 숫자의 차이이며, 정확히 이 장의 검증 절반이 금하기 위해 존재하는 종류의 자기기만입니다. 같은 중첩 운전은 또한 순위뿐 아니라 예측된 확률 자체가 정직한지도 측정합니다 — 이제 모음은 중첩 CV 예측에 대해 브라이어 점수(Brier score)(0.0524)와 기대 보정 오차(Expected Calibration Error, ECE)(0.0769)를 보고하고, batch_outcome.py는 그 위에 등위회귀 재보정(isotonic recalibration)을 적용하므로, "보정된 신뢰도"는 주장이 아니라 측정된 숫자입니다.

불확실성 정량화: 숫자에 그 정직한 폭을 더하기​

점 예측은 자신만만한 거짓말입니다. "역가는 6.3 g/L"는 참값이 6.2인지 4.0인지에 대해 심사자에게 아무것도 말해 주지 않으며, 규제 환경에서 그 빠진 폭이 곧 결정 전부입니다. 품질 부서는 정확도를 보고하는 슬라이드에 따라 행동하지 않습니다. 구간을 갖춘 숫자("로그 감소값은 최소 4.1이다")나 보정된 확률("이 로트는 확률 0.93으로 합격한다")에 따라 행동합니다. 불확실성 정량화는 그 폭을 붙이는 규율이며, 이 책은 그것을 조각조각 불러왔습니다 — 바이러스 안전성의 분위수 띠, 출하의 부트스트랩 구간과 보정, 하이브리드 트윈 — 그래서 여기서 한 번 깔끔하게 다룰 만합니다. 세 가지 실용적 계열이 그 일을 하며, 얼마나 많이 가정하는지의 오름차순으로 놓입니다.

분위수 회귀(quantile regression)는 분포의 가장자리를 직접 적합합니다. 평균(제곱오차 손실)에 모델 하나를 학습시키는 대신, 목표 백분위수보다 위에 있는 것과 아래에 있는 것을 비대칭으로 벌하는 핀볼(분위수) 손실(pinball loss)에 추가 모델을 학습시키므로, 5번째와 95번째 백분위수에 적합된 모델은 예측기에서 곧장 90% 띠를 묶어 냅니다. 모음의 viral_lrv.py가 정확히 이것을 합니다. 점 그래디언트 부스팅 LRV와 나란히, 낮은 백분위수와 높은 백분위수에서 분위수 손실 그래디언트 부스팅 회귀기를 두 개 더 적합하므로, 예측된 모든 로그 감소값이 맨숫자가 아니라 띠로 도착합니다 — 그리고 모듈은 홀드아웃 운전에서 그 띠의 경험적 포함률(empirical coverage)을 점검하는데, 주장하는 바를 실제로 잡지 못하는 구간은 그것이 치장하는 점보다 나을 것이 없기 때문입니다.

등각 예측(conformal prediction)은 어떤 모델의 오차든 분포 무관, 유한 표본 포함 보장을 갖춘 구간으로 바꿉니다 — 보브크(Vovk)와 동료들이 형식화하고 안젤로풀로스(Angelopoulos)와 베이츠(Bates)의 튜토리얼이 널리 알린 것입니다. 직관은 무장 해제될 만큼 단순합니다. 홀드아웃 보정 집합에 모델을 돌리고, 각각에서 얼마나 틀렸는지 순위를 매기고, 그 과거 오차들의 선택된 분위수를 모든 미래 구간의 반폭으로 씁니다. 보정 오차가 미래 오차를 대표한다면 그 구간은 진실을 진술된 비율로 덮습니다 — 가우시안 가정도, 점근론도, 어떤 근원 모델에도 무관하게. 그것이 반드시 가정해야 하는 단 하나는 교환가능성(exchangeability)입니다. 보정 지점들과 새 지점이 구별 불가능한 하나의 풀에서 뽑혔으며 순서는 무관하다는 것.

앙상블과 부트스트랩(bootstrap)은 재표집으로 폭을 추정합니다. dataio.bootstrap_ci가 출하 예측기의 AUROC와 AUPRC에 대해 이미 계산하는 백분위수 부트스트랩은 홀드아웃 예측을 복원추출로 재표집하고, 지표를 천 번 재계산하고, 그 폭의 백분위수에서 곧장 구간을 읽어 냅니다 — 그래서 보고되는 지표는 그것이 얼마나 적은 배치에 기대고 있는지를 감추는 외로운 점이 아니라, 규제 당국이 읽을 수 있는 범위로 도착합니다. 짝을 이루는 질문은 예측된 확률이 정직한지이며, 그것은 보정(calibration)이 측정합니다. batch_outcome.py와 release_predict.py가 보고하는 브라이어 점수(Brier score)와 기대 보정 오차(Expected Calibration Error, ECE)는 모델이 "90% 가능성"이라고 부르는 사건이 실제로 약 90%의 비율로 일어나는지를 묻고, 그렇지 않을 때 등위회귀 재보정(isotonic recalibration)이 그것을 고칩니다.

이 책의 논지에 닿는 단서. 이 보장들 하나하나는 교환가능성에 기댑니다 — 내일의 배치가 구간이 지어진 홀드아웃 배치들과 통계적으로 닮았다는 것. 그 가정이야말로 바이오공정이 깨는 바로 그것입니다. 분포 변화 아래에서, 분포 밖 입력에서, 또는 학습 집합에서 멀리 떨어진 생성적으로 설계된 후보에서, 보정 집합은 더 이상 새 지점을 대표하지 않고, 구간은 그 포함률을 조용히 잃습니다. 표류한 배치에서의 홀드아웃 90% 띠는 자신만만하고 좁게 틀릴 수 있습니다. 이것이 데이터 장이 명명한 소규모 데이터 천장의, 표류하는 공정의 영역을 불확실성 쪽에서 본 것입니다 — 구간은 그 뒤의 교환가능성만큼만 정직하며, 그래서 봉투 밖 입력을 표시하는 적용 영역 게이트가 어떤 구간에든 필요한 짝이고, 그래서 아래 미해결 과제 절이 표류를 상존하는 위협으로 다룹니다. GMP의 보상은 직접적입니다. 출하나 자문 결정은 점이 아니라 구간이나 보정된 확률을 필요로 하며 — 바이러스 안전성 LRV가 띠로, 출하 평결이 보정된 확률로 보고되는 것이 정확히 이 이유 때문입니다 — 그러나 그 장치는 또렷하고 편안하고 틀린 숫자를 건네는 대신 자신의 가정이 더 이상 성립하지 않을 때를 보고해야 합니다.

검증된 PLS 소프트 센서 패키지의 해부​

GMP 공장에서 자리를 얻는 모델은 R²가 좋은 .pkl 파일이 아닙니다 — 검증된 패키지이며, 적합된 계수와 함께 운반되는 것이 그것을 의약품에 관한 결정에 쓸 수 있게 만드는 것입니다. 품질 심사자가 하듯이 패키지를 해부하면, 이 장 후반부 전체가 필드로 펼쳐집니다.

라만으로부터의 역가를 위한 검증된 PLS 소프트 센서 패키지 하나의 해부 신원 카드. 인디고 헤더는 모델 titer_pls v2와 그 레지스트리 단계 Production-Locked를 명명한다. 빌드-및-적합 블록은 입력을 나열한다. 701파수 특징 계약 wn_400에서 wn_1800까지, 모델의 일부로 고정된 SNV 더하기 사비츠키-골레이 전처리 단계, 적합된 StandardScaler 매개변수, 내부 교차검증으로 고른 다섯 개의 PLS 잠재 성분, 그리고 MANIFEST.sha256의 sha256 해시로 고정된 학습 데이터셋과 배치 그룹 분할 및 시드. 녹색 검증 핵심은 기록된 합격 기준에 대한 홀드아웃 지표 R-제곱과 RMSE, 모델이 유효한 검증된 운전 범위, 그리고 자율 CQA 제어가 아니라 자문용 소프트 센서, 사람이 결정한다고 표시된 의도된 사용 줄을 담는다. 앰버 해석가능성 블록은 딥 네트가 제공할 수 없는 심사 가능한 산물을 나열한다. 파수별 회귀 계수와 화학적으로 의미 있는 대역을 명명하는 VIP 변수 중요도 점수. 로즈 생애주기 블록은 잠긴 모델 상태, 향후 재학습을 다스리는 PCCP 참조, 그리고 다음 예정된 재검증 날짜를 담는다. 바이올렛 거버넌스-및-관계 패널은 GAMP 5 소프트웨어 범주와 CSA 위험 평가, FDA 7단계 신뢰성 등급, 타임스탬프가 찍힌 사검(four-eyes) 검증 서명, 그리고 고정된 데이터셋에 trainedOn, PCCP 아래 validatedUnder, 표류 탐지기에 monitoredBy, v1을 supersedes하는 계보 에지를 나열한다. 푸터는 이 패키지가 잠겨 있으며 변경관리 아래 의도적으로만 바뀐다고 기록한다. 검증된 소프트 센서 패키지 하나, 완전히 풀어냄: 그것을 정확한 데이터셋 해시, 스케일러, 전처리에 고정하는 빌드 출처; 합격 기준, 운전 범위, 자문 범위를 갖춘 녹색 검증 핵심; 딥 네트가 공급할 수 없는 해석가능성 산물(PLS 계수와 VIP 점수); 잠긴 모델과 PCCP 생애주기; 그리고 그것을 모델 파일이 아니라 검증된 객체로 만드는 GAMP 5 / CSA / FDA 신뢰성 거버넌스. 저자가 AI의 도움을 받아 직접 제작한 그림입니다.

카드를 위에서 아래로 읽으면 검증 패러다임이 구체화됩니다. 빌드 블록은 출처입니다. 특징 계약(wn_400…wn_1800, 이름이 붙어 있어 이름이 바뀌거나 순서가 바뀐 입력이 조용히 잘못 예측하는 대신 큰 소리로 실패함), 모델의 일부로 고정된 SNV 더하기 사비츠키-골레이 전처리(전처리가 곧 모델입니다 — 표준 정규 변량 산란 보정과 사비츠키-골레이 미분은 학습 데이터에서만 적합되어야 하며, 그렇지 않으면 모든 예측이 시험 세트의 통계를 자기 자신에게 다시 누출함), 계수와 함께 운반되어야 하는 적합된 스케일러, 내부 교차검증으로 선택된 다섯 개의 잠재 성분, 그리고 sha256으로 고정된 학습 데이터셋 — 그래서 "어떤 데이터가 이것을 학습시켰는가?"는 결코 추측이 아니라 맞거나 안 맞는 해시입니다. 녹색 핵심은 모델이 바랐던 것이 아니라 검증이 산출한 것입니다. 운전 전에 설정된 기록된 합격 기준에 대한 홀드아웃 R²와 RMSE(모음의 게이트는 R² 0.85 초과; PLS 센서는 0.9944로 통과함), 그 밖에서는 예측이 유효하지 않은 검증된 운전 범위, 그리고 의도된 사용 범위 — 자문, 사람이 결정한다, 결코 자율 CQA 제어가 아님. 그 범위 줄은 면책 조항이 아닙니다. 나머지 검증이 얼마나 무거워야 하는지를 정하는 단 하나의 필드입니다. 앰버 블록은 애초에 PLS를 고른 것을 정당화한 우위입니다. 심사자가 알려진 화학에 비추어 읽을 수 있는 파수별 회귀 계수와 VIP 점수, 딥 네트가 공급할 수 없는 산물입니다. 이 심사 가능한 산물들은 이제 주장되는 것이 아니라 실행 가능합니다 — soft_sensor_pls.py는 VIP 점수(상위 대역이 대략 1270–1276 cm⁻¹, 단백질 아마이드 III(Amide III) 백본 영역에 떨어집니다 — 역가가 곧 단백질 농도이므로 역가 센서에는 직접적으로 인과적인 신호이며, 단지 함께 변하는 영양소 대역이 아니라 심사자가 예측을 추동하기를 바라는 바로 그 대역입니다)와 예측별 적용 영역(applicability domain, AD) 게이트(들어오는 스펙트럼이 모델의 학습 봉투 밖에 있으면 그 숫자가 신뢰되기 전에 표시하는 호텔링 T²와 SPE 점검)를 실제로 계산합니다. 로즈 생애주기 블록은 잠긴 상태, 향후 변경을 다스리는 PCCP, 그리고 다음 재검증 날짜를 담습니다. 바이올렛 거버넌스 패널은 GAMP 5 범주, CSA 위험 평가, FDA 신뢰성 등급, 사검 서명, 그리고 계보 에지 — 고정된 데이터셋에 trainedOn, PCCP 아래 validatedUnder, 표류 탐지기에 monitoredBy, v1을 supersedes — 를 나르므로, 패키지는 고아 파일이 아니라 감사 가능한 그래프 안의 노드입니다. 모델 파일은 가중치를 가집니다. 검증된 패키지는 이 모든 것을 가집니다 — 그것이 그것이 배치 근처에 허용되는 유일한 이유입니다.

그 아래의 온톨로지: 모델을 떠받치는 바로 그 그래프가 그 입력도 지킨다​

패키지의 가장 어려운 세 가지 문제 — 무엇이 이것을 학습시켰는가, 그 데이터가 완전하고 범위 안에 있는가, 그리고 그것을 어떻게 정직하게 분할하는가 — 는 알고 보면 온톨로지가 이미 풀도록 만들어진 바로 그 문제들입니다. 지식 그래프는 모델에 볼트로 붙인 장식이 아닙니다. 바이오공정에서 그것은 모델을 FAIR(찾을 수 있고, 접근 가능하고, 상호운용 가능하고, 재사용 가능한)하면서 동시에 신뢰할 수 있게 만드는 것이며, 이 장의 검증 절반이 그 위에 기대고 있으므로 여기서 한 번 짧게 다룰 만합니다.

계보 에지가 그룹화 키입니다. 데이터 장은 배치 가능한 소프트 센서가 무작위 분할이 아니라 배치 그룹 분할 아래에서 검증되어야 한다고 고집했습니다 — 그리고 그것이 분할해야 하는 그룹이 바로 Book 4가 bp:derivedFrom으로 모델링하는 계보 에지, 모든 원료의약품 로트를 한 홉씩 동결된 작업 세포은행 WCB-CHO-001에 뿌리내리게 하는 단 하나의 추이적 척추입니다. 배치 하나 빼기(leave-one-batch-out) 교차검증은 그룹화 키로 읽은 bp:derivedFrom입니다. 같은 유가배양 운전으로 거슬러 올라가는 계보를 공유하는 모든 행이 하나의 그룹으로, 함께 홀드아웃되므로, 한 폴드가 한 배치의 어느 파수-행에서 학습하고 다른 파수-행에서 시험하는 일이 결코 없습니다. 모음은 이를 dataio 계층이 반환되는 모든 프레임에 유지하는 batch_id 그룹으로 인코딩하며, 온톨로지는 바로 그 사실이 타입화되는 곳입니다 — 측정은 그것이 속한 운전과 구별되는 BFO 연속자(continuant) 또는 발생자(occurrent)이므로, 그래프는 평평한 컬럼 이름이 그러듯이 스펙트럼을 그것을 산출한 배치와 조용히 혼동할 수 없습니다. 그룹화 키는 기억해야 하는 관례가 아닙니다. 그래프 안의 에지입니다.

SHACL 출하 셰이프가 곧 학습 데이터 입력 계약입니다. 이름이 바뀐 컬럼에서 큰 소리로 실패하는 특징 계약 wn_400…wn_1800은 훨씬 더 강한 보장의 깨지기 쉬운, 문자열 기반 사촌입니다. Book 4의 출하 게이트는 SHACL 셰이프의 집합입니다 — bp:ReleaseShape는 모든 출하된 로트가 모든 필수 CQA에 대해 정확히 하나의 범위 내 값을 지니도록 요구하며(단량체 순도에 sh:minCount 1, sh:maxCount 1, sh:minInclusive 95.0 등), 필수 결과의 누락이 OWL처럼 열린 "미지"가 아니라 지금의 실패가 되는 닫힌 세계에서 검증합니다. 바로 그 셰이프가 학습 집합이 필요로 하는 점검입니다. 완전하고(어느 배치도 오프라인 분석을 조용히 빠뜨리지 않음), 단일 값이며(중복 HCP 판독값이 한 로트에 두 행을 몰래 끼워 넣지 않음), 선언된 범위 안에 있음(파서 버그로 인한 불가능한 음의 역가가 없음). 적합 이전에 학습 표를 출하 SHACL 셰이프에 비추어 검증하는 것이 MANIFEST.sha256이 고정만 할 뿐인 데이터 품질 게이트입니다 — 해시는 어떤 바이트가 모델을 학습시켰는지를 증명하고, SHACL 셰이프는 그 바이트가 완전하고 채택 가능함을 증명합니다. 하나의 셰이프가 출하 시점의 로트와 학습 시점의 모델을 둘 다 지킵니다.

시맨틱하게 접지된 특징, 그리고 LLM의 지반 진실로서의 그래프. 온톨로지 IRI로 끌어온 특징 — bp:DS-001이 bp:monomerPct로 지니는, 타입화되고 단위를 갖춘 단량체 순도 — 은 깨지기 쉬운 df["monomer"]를 조용히 깨뜨릴 컬럼 이름 변경을 견뎌 내는데, IRI는 데이터 그림자가 흩어져 있는 ELN, LIMS, MES에 걸쳐 같은 것을 뜻하기 때문입니다. 바로 그 그래프가 GraphRAG 어시스턴트가 접지되어야 하는 대상입니다. 모델이나 코파일럿이 "이 로트는 무엇에서 파생되었는가?"에 답할 때, 그것은 그럴듯한 사슬을 지어내는 대신 타입화된 bp:derivedFrom 에지를 걸으며 그것을 인용함으로써 답합니다 — 온톨로지는 유창한 모델을 정직하게 유지하는 것이며, 그것이 이 장이 모든 예측에 요구하는 바로 그 규율입니다. 검증된 패키지의 계보 에지(trainedOn, validatedUnder, monitoredBy, supersedes)가 느슨한 라벨이 아닌 것도 같은 이유에서입니다. 그것들은 그 그래프 안의 타입화된 관계로, bp:derivedFrom이 그러하듯 질의 가능하므로, "어떤 모델이 이 배치를 채점했고, 어떤 고정된 데이터로 학습했으며, 어떤 PCCP 아래였는가?"는 파일명 사냥이 아니라 그래프를 통과하는 경로입니다.

GMP 검증 패러다임​

"어떤 모델"의 후반부는 "그것을 신뢰할 수 있다는 것을 어떻게 증명하는가"입니다. 소비자 ML에서 답은 홀드아웃 시험 점수입니다. GxP 아래에서는 훨씬 더 큰 장치이며, 그 형태를 이해하는 것은 모델을 이해하는 것만큼 중요합니다.

잠긴 모델 대 지속 학습 모델. GMP 공정은 검증되어야 합니다 — 증명되고, 동결되고, 변경관리 아래 유지되어, 내일 만드는 것이 어제 증명한 것이 되도록. 계속 학습하는 모델은 정의상 계속 바뀌는 시스템이며, 그것은 재검정 없이는 검증이 금하는 바로 그것입니다. 어제의 서명된 증거는 더 이상 존재하지 않는 모델을 기술합니다. 산업과 규제 당국이 수렴한 해법은 잠긴 모델입니다. 가중치, 전처리, 스케일러, 운전 범위가 모두 버전 고정되어 제자리에서 변경 불가능합니다. 그것은 즉석에서 학습하지 않습니다. eval() 모드로 로드되고 그것이 채점하는 데이터에 의해 결코 갱신되지 않습니다. MLOps 장이 이를 중심으로 전체 생애주기를 짓습니다. 여기서는 이 책의 모든 모델을 다스리는 규칙을 진술하는 것으로 충분합니다 — 중요 품질 속성에 닿는 어떤 것이든, 지속 학습이 아니라 잠그고-나서-재학습.

사전결정 변경관리 계획(PCCP). 결코 바뀔 수 없는 잠긴 모델은 막다른 길일 텐데, 세상은 움직이고 모델은 표류하기 때문입니다. PCCP는 매번 새로운 규제 협상 없이 모델이 의도적으로 바뀌게 해 주는 메커니즘입니다. 모델이 어떻게 재학습될 수 있는지에 대한 사전 승인된 기록된 명세입니다 — 어떤 데이터 소스, 어떤 고정된 알고리즘과 하이퍼파라미터(가중치는 갱신될 수 있어도 아키텍처는 동결됨), 새 버전이 통과해야 할 어떤 합격 기준, 그리고 통과하지 못할 경우의 롤백 계획. PCCP 봉투 안에 머무는 재학습은 예견치 못한 변경이 아니라 계획되고 문서화된 사건입니다. 봉투 밖의 변경(새 아키텍처, 새 입력)은 계획에서 벗어나 다시 완전한 재검정으로 떨어집니다. PCCP는 검증-대-학습 간극을 가로지르는 다리이며, MLOps 장이 그것이 실제 재학습 루프를 추동하는 것을 보여 줍니다.

GAMP 5와 컴퓨터 소프트웨어 보증(CSA). 제약은 ML이 도착하기 전에 이미 소프트웨어를 신뢰하는 규율을 가지고 있었습니다. GAMP 5(우수 자동화 제조 관행)는 전산화 시스템을 검증하기 위한 위험 기반 프레임워크로, 소프트웨어를 얼마나 맞춤형이고 얼마나 중요한지로 분류하고 검증 노력을 그에 맞춰 조정합니다. 컴퓨터 소프트웨어 보증(CSA)은 그 노력에 대한 FDA의 2022년경 재구성입니다 — 모든 것을 문서화하는 망라적 시험에서 비판적 사고와 위험 기반 보증으로의 의도적 전환으로, 모든 화면과 필드에 균일하게가 아니라 환자 위험이 있는 곳에 검증 노력을 씁니다. ML에 적용하면, GAMP 5와 CSA는 이렇게 말합니다. 사람에게 자문만 하는 소프트 센서는 CQA에 작용하도록 연결된 것보다 더 적은 위험 — 그리고 더 가벼운 보증 부담 — 을 지며, 모으는 증거는 그 위험에 비례해야 합니다. ISPE GAMP AI 가이드(초판, 2025년 7월)는 이 확립된 전산화 시스템 검증 사고를 특별히 AI/ML로 확장합니다 — 위험 기반, 생애주기 지향, 일회성 시험이 아니라 지속적 성능 증거를 요구함 — "소프트웨어를 검증하라"를 "모델을 검증하고 영원히 모니터링하라"로 번역합니다 [5].

FDA 7단계 모델 신뢰성 프레임워크. 계산 모델의 신뢰성에 대한 FDA의 사고 — ASME V&V 40 합의 표준에 닻을 내리고 규제 의사결정을 위한 AI에 관한 기관의 2025년 초안 지침에 메아리침 — 는 위험 비례적 척추를 줍니다. 개요로, 단계는 이렇습니다. 관심 질문을 진술하고; 모델의 사용 맥락을 정의하고(그것이 결정에서 정확히 어떤 역할을 하는지); 모델 위험 — 결정이 모델에 얼마나 의존하는지(모델 영향력)와 틀렸을 때 얼마나 심각한지(결정 결과)의 곱 — 을 평가하고; 그 위험에 비례하는 신뢰성 활동을 계획하고; 그것들을 실행하고; 결과를 문서화하고; 진술된 사용에 대한 적절성을 결정하되, 사용이 바뀔 때마다 재평가합니다. (기관 자체 보고서는 몇 개의 하위 단계와 여덟 범주의 신뢰성 증거를 더 열거합니다. 이 장은 같은 위험 정보 프레임워크에 "7단계" 약칭을 씁니다 — 개수는 다르지만 논리는 같습니다.) 깊은 아이디어는 단순하고 강력합니다. 모델은 돌아갔기 때문에 신뢰받는 것이 아니라, 틀렸을 때의 결과에 맞춘 엄밀성으로, 사전에 진술된 합격 기준에 비추어 증거가 산출되고 점검되었기 때문에 신뢰받습니다 [6]. 단지 자문만 하는 소프트 센서는 위험 축에서 낮게 앉아 더 가벼운 증거가 필요하고, 로트를 출하하도록 연결된 모델은 꼭대기에 앉아 가장 무거운 것이 필요합니다.

예제 모음의 run_all.py 하네스는 정확히 이것의 작은 소프트웨어 유사물입니다 — 모음 전체를 한꺼번에 보는 컴퓨터 소프트웨어 보증 관점. 그것은 일부러 또 다른 모델이 아닙니다. 모든 모듈을 하위 프로세스로 돌리고, 각 모듈의 종료 assert를 사전에 진술된 합격 게이트로 다루며, 종료 코드를 평결로 포착하고(깨끗한 종료는 게이트가 통과했다는 증거; 0이 아닌 종료는 모델이 자신의 기준을 통과하지 못했다는 문서화된 증거이며, PCCP 아래에서는 조용히 무시되는 대신 배치를 막음), 각 모델이 적합된 모든 데이터셋의 SHA-256을 기록합니다 — 운전을 기록으로 바꾸는 "검증 시점에 동결됨" 고정. 출력은 벤치마크가 아니라 검증 요약으로 읽힙니다.

# run_all.py — a model is credible because EVIDENCE cleared a pre-stated gate
# on a PINNED dataset, not because it ran. The script analogue of the FDA framework.
@dataclass(frozen=True)              # shown abridged — the real struct also
class ModelEvidence:                 # carries a `chapter` int and a `slow` flag
    module: str            # the model that produces the evidence
    gate: str              # the pre-stated acceptance criterion (its own assert)
    datasets: tuple        # the data it was fitted on, pinned by sha256
    passed: bool | None    # did the evidence clear the gate?

LEDGER = [
    ModelEvidence("soft_sensor_pls.py",  "Raman->titer R2 > 0.85 (within-batch interpolation)",
                  ("raman_spectra.parquet",)),
    ModelEvidence("mspc.py",             "MSPC flags ONLY the OOS batch; SPE points at HCP",
                  ("hplc_results.csv",)),
    # ... every module ends in an assert == an acceptance criterion in a protocol.
]

모음 전체에 걸쳐 그것을 돌리면 기계로 점검 가능한 신뢰성 원장을 내보냅니다 — 모듈, 장, 합격 게이트, 그것이 적합된 데이터셋 해시, 그리고 합격/불합격 — 가장 중요한 줄로 닫으면서.

model-credibility evidence harness — Book 5 suite
  acceptance gate per model is the module's own assert

  PASS  soft_sensor_pls.py       ch11  [raman_spectra.parquet:4d7f12c463eb]
        gate: Raman->titer R2 > 0.85 (within-batch interpolation)
  PASS  soft_sensor_deep.py      ch11  [raman_spectra.parquet:4d7f12c463eb]
        gate: deep soft sensor R2 > 0.85
  PASS  mspc.py                  ch18  [hplc_results.csv:e3d529ac583b, batches.csv:e3a78c7291c8]
        gate: MSPC flags ONLY the OOS batch; SPE points at HCP
  PASS  batch_mvda.py            ch18  [(simulator):(simulator)]
        gate: DTW+unfold+MPCA flags the stressed batches as trajectory outliers
  PASS  lifecycle_retrain.py     ch22  [fedbatch_state.parquet:aba381af160e, offline_assays.csv:d5cae737bcad]
        gate: challenger beats champion, back in control -> governed PROMOTE
  ... (21 models total)

credibility summary: 21/21 models cleared their acceptance gate on the pinned datasets
  NOTE: passing the gate is necessary, not sufficient — GMP credibility
  also needs intended-use scope, change control, and human oversight.

그 닫는 NOTE가 규율입니다. 하네스는 신뢰성의 형식 — 진술된 게이트, 그것에 대한 증거, 합격/불합격, 데이터 해시 — 을 증명하지만, 실질은 증명할 수 없습니다. 실질은 여전히 문서화된 의도된 사용, 변경관리, 그리고 루프 안의 사람을 필요로 합니다. 고정된 데이터 위 스무 개의 녹색 게이트는 바닥이지 천장이 아닙니다. 동일한 raman_spectra.parquet:4d7f12c463eb 해시를 공유하는 두 소프트 센서 행은 정면 대결의 재현성을 감사 가능하게 만든 것입니다. 같은 연료, 같은 게이트, 두 엔진.

초안 Annex 22, 고도에서. 초안 EU/PIC/S GMP Annex 22(2025년 7월 의견수렴용 공개)는 가장 단호한 선을 긋습니다. 그것은 정적 모델 — 매개변수 고정, 결정적 출력 — 에만 적용되며, 중요한 GMP 응용에 쓰이는 AI가 정적(잠김)이어야 한다고 요구하고, 사용 중에 성능을 적응시키는 모델을 명시적으로 금하며, 자기학습 AI, 생성형 AI, LLM을 그러한 중요 사용에서 배제하는 한편, 어떤 갱신에든 사전결정 변경관리 접근을 요구합니다 [7]. 다시 말해, 그 초안은 모델이 제품 품질, 환자 안전, 또는 데이터 무결성에 닿는 곳에서 잠긴 모델 더하기 PCCP를 유일하게 받아들일 수 있는 패턴으로 성문화합니다 — 지속 학습 모델은 지금으로서는 중요 결정에 대해 규제적으로 논외이며, GenAI 장의 생성형 코파일럿은 같은 선에 의해 자문 역할에 갇힙니다. (규제 중심 장들이 Annex 22와 FDA 프레임워크를 더 깊이 다룹니다. 이 장은 책의 모든 모델이 맞춰야 할 형태만 확립합니다.)

모델 모니터링, 설명가능성, 문서화. 위의 모든 것을 관통하고 이후 모든 장에서 되풀이되는 세 가지 기대가 있습니다. 모니터링: 검증된 모델은 배치 후 표류에 대해 감시되는데, 살아 있는 공정과 그 하드웨어가 움직이면서 성능이 조용히 쇠퇴할 수 있기 때문입니다 — MLOps 장이 모음의 drift.py가 시제품으로 만드는 탐지기(잔차 관리도, 모집단 안정성 지수)를 짓습니다. 설명가능성: GMP 결정에 쓰이는 모델은 사람이 그 추론을 이해하고 방어할 수 있을 만큼 충분히 해석 가능해야 합니다 — 이 분야에서 PLS의 심사 가능한 계수가 딥 네트의 불투명성을 이기는 단연 가장 큰 실용적 이유이자, 초안 Annex 22가 기대로 굳혀 가는 연성 요구사항입니다. 문서화: 의도된 사용, 학습 데이터 출처, 검증 증거, 합격 기준, 운전 범위, 변경관리 이력은 모델 에 관한 서류 작업이 아닙니다. GxP 아래에서 그것들이 곧 모델이며, .pkl 파일과 검증된 객체의 차이입니다.

기술이전, 다중 사이트 배포, 그리고 장비 재자격. 검증된 모델이 한 작업대에만 사는 일은 드뭅니다. 공정이 기술이전되는 — 상업 제품을 만들기 전에 발신 사이트의 증거에 비추어 수신 사이트에서 자격이 부여되는 — 것과 똑같이, 모델도 이동할 때 재자격되어야 합니다. 개발 사이트에서 BR101의 라만 탐침으로 검증된 소프트 센서는 다른 탐침, 다른 생물반응기, 또는 위탁생산업체의 라인에서 자동으로 유효하지 않은데, 스펙트럼 베이스라인, 산란, 그리고 기기 자체의 표류가 모델이 학습한 것의 일부이기 때문입니다. 실무 규칙은 모델의 의도된 사용과 운전 범위는 함께 이동하지만 그 합격 증거는 새 사이트나 새 하드웨어에서 재생성되어야 한다는 것입니다 — 동일한 사전 진술 게이트를 통과하는 홀드아웃 자격 운전 — 그리고 이 재자격은 비공식 복사가 아니라 PCCP 아래의 계획된 사건입니다. 두 장비 사건이 이 일의 날카로운 가장자리에 앉아 있습니다. 탐침 교체 또는 재표준화는 스펙트럼 베이스라인을 모니터링상의 잡음이 아니라 변경관리 및 재자격 촉발 사유가 될 만큼 이동시키고, 원자재 또는 컬럼 재로트(re-lot)는 공정을 모델이 결코 본 적 없는 구석으로 옮길 수 있습니다. MLOps 장이 이것들을 흡수하는 통제된 재학습 루프를 짓습니다. 여기서 요점은 "검증됨"이 언제나 진술된 사이트, 기기, 범위에 대해 검증됨이며, 그중 어느 경계를 넘든 증거 질문이 다시 열린다는 것입니다.

환경이 잠금의 일부입니다. GMP 아래의 재현성은 동결된 모델이 내일도 같은 숫자를 산출함을 뜻하는데, 그 아래의 소프트웨어가 바뀌면 그것은 불가능합니다. 동반 모음은 오픈소스 스택 — scikit-learn과 PyTorch, 관대하게 라이선스됨(Apache-2.0 / BSD), 그래서 분석은 벤더 블랙박스가 아니라 검사 가능하고 실행 가능 — 에 기대지만, 열린 스택은 고정될 때만 재현됩니다. 모든 분할과 적합에 대한 고정된 난수 시드, 고정된 의존성 집합, 그리고 run_all.py 하네스가 기록하는 MANIFEST.sha256 데이터셋 해시. 라이브러리 버전이 떠다니는 잠긴 모델은 실은 잠긴 것이 아니며, 그래서 잠금은 가중치, 전처리, 스케일러, 운전 범위, 그리고 그것들을 돌리는 환경에 걸칩니다 — 그래서 오픈소스 분석 장과 MLOps 장은 고정된 가중치뿐 아니라 고정된 환경을 검증의 단위로 다룹니다.

미해결 과제: 움직이는 공정을 지켜보는 정적 모델​

이 장이 세우지만 해소하지는 않는 긴장은 책의 후반부 전체가 씨름하는 것입니다. 우리는 방금 신뢰할 만한 GMP 모델이 잠겨 있어야 한다고 주장했고, 데이터 장은 그것이 지켜보는 공정이 살아 있고 두 번 똑같지 않다고 주장했습니다. 움직이는 표적을 겨눈 동결된 모델은 구조상 천천히 틀려 가고 있습니다 — 세포주가 적응하거나, 탐침이 오염되거나, 새 원자재 로트가 도착하는 순간 그 정확도가 쇠퇴하는데, 그중 어느 것도 제자리에서 학습하도록 허용되지 않습니다. 검증은 공정이 가만히 있기를 거부하는 바로 그때 모델을 동결시키고, Annex 22는 그 동결을 선택이 아니라 요구사항으로 만듭니다. 그 역설에는 깔끔한 해소가 없습니다. 관리가 있을 뿐입니다 — 모델을 잠그고, 표류에 대해 모니터링하고, PCCP 아래 새 검증된 버전으로 오프라인 재학습하고, 사람 게이트를 통해 승격하는 것. 그리고 그 관리조차 정직한 한계를 가집니다. 가장 중요한 신호의 다수(출하 HCP, SEC 단량체)는 모델이 채점한 배치보다 며칠 뒤에 도착하므로, 표류는 흔히 느린 참조 데이터가 들어온 뒤에야, 예측이 작용된 한참 후에야 확인됩니다. 그 관리 루프, 그것을 돌게 하는 탐지기, 그리고 참조 데이터가 도착하기 전에 표류를 탐지하는 일의 한계는 MLOps 및 생애주기 장의 주제입니다. 지금으로서는, 모델을 고르는 것과 그것을 참되게 유지하는 것이 한 문제의 두 절반이며, 검증 패러다임은 긴장을 없는 척하기 위해서가 아니라 둘을 함께 붙들기 위해 존재한다는 것이 교훈입니다.

이 장이 모델 모음에 더하는 것​

이 장은 새 모델을 기여한다기보다 데이터 장이 부트스트랩하고 이후 장들이 채워 넣는 모음을 틀 짓습니다. 기존의 두 산물이 그 논지에 닻을 내립니다.

  • soft_sensor_pls.py와 soft_sensor_deep.py — 황금 배치 라만 스펙트럼에서의 PLS-대-1D-CNN 정면 대결 — 같은 데이터(동일한 raman_spectra.parquet 해시), 같은 목표, 같은 배치 내 분할, 사다리의 두 단 — 으로, 딥 모델이 홀드아웃 숫자에서 40년 된 선형 베이스라인을 이기지 못합니다(이 장의 중심 주장을 실행 가능하게 만든 것으로, 숫자는 위 정면 대결에 있습니다).
  • run_all.py — 모델 신뢰성 증거 하네스이자 이 장의 CSA 기여. 그것은 일부러 또 다른 모델이 아닙니다. 모음의 모든 모듈을 돌리고, 각각의 종료 assert를 사전에 진술된 합격 게이트로 다루고, 평결과 각각이 적합된 데이터의 SHA-256을 기록하고, 21/21 models cleared their acceptance gate on the pinned datasets 원장을 내보냅니다 — FDA 7단계 프레임워크의 소프트웨어 보증 유사물로, 신뢰성이 좋은 운전이 아니라 고정된 데이터 위 고정된 기준에 대한 증거임을 코드로 시연합니다. 이후 모든 장의 모듈이 assert로 끝나는 것은 정확히 이 하네스가 그것을 합격 기준으로 읽을 수 있게 하기 위해서입니다.

함께 그것들은 이 장의 두 절반을 구체화합니다. 어떤 엔진이 들어맞는가(증거상 PLS), 그리고 그 엔진이 신뢰받으려면 무엇이 필요한가(고정된 데이터 위에서 통과된 고정된 게이트, 그 위에 의도된 사용과 감독을 얹어서).

왜 중요한가​

바이오공정 ML 프로젝트를 낭비하는 가장 빠른 길은 그것을 문제의 잘못된 절반에 쓰는 것입니다. 새내기는 모델 아키텍처에 노력을 쏟습니다 — 더 깊은 네트, 더 화려한 옵티마이저, 최신 트랜스포머 — 그리고 여섯 배치에서 정교한 모델이 PLS에 지고, 더 비싸고, GPU가 필요하고, 심사자에게 설명될 수 없음을 발견합니다. 한편 모델이 공장에 도달할지를 실제로 결정하는 절반 — 검증, 잠금, 문서화, 규제 당국이 요구하는 신뢰성 증거 — 은 뒷전으로 취급되고, 모델은 심사에서 죽습니다. 이 장은 두 본능을 모두 뒤집습니다. 데이터가 강제하는 것보다 모델 사다리를 더 높이 오르지 마십시오. 바이오공정에서는 들어맞는 가장 단순한 엔진이 거의 항상 배치되는 엔진이기 때문입니다. 그리고 검증을 끝에 볼트로 붙인 서류 작업이 아니라 처음부터 모델 선택을 빚는 일급 설계 제약으로 취급하십시오 — 정확히 그래서 해석가능성이 단 한 번의 적합을 돌리기도 전에 당신을 PLS로 밀어붙입니다. 그 둘을 옳게 하면 모델은 좋고 동시에 신뢰받습니다. 어느 하나를 틀리면 높은 R²는 아무 가치도 없습니다.

실제 현장에서는​

상용 현실은 보기 드물게 깔끔하게 논지와 들어맞습니다. 가장 강하게 배치된 바이오공정 ML은 압도적으로 고전적입니다. 포도당, 젖산, 역가에 대한 PLS 화학계량학 위의 인라인 라만/NIR 소프트 센싱(상용); 같은 화학계량학 위의 폐루프 포도당 제어는 실제이지만 여전히 대체로 (파일럿); 그리고 지속적 공정 검증과 황금 배치 모니터링을 위한 PCA/PLS 다변량 모니터링 — 자토리우스 SIMCA, 아스펜테크 ProMV(상용) [2]. GP-BO는 공정 개발에서 실제이고 성장 중이며, 배지 최적화에 대해 고정 DoE보다 3~30배 적은 실험을 동료심사로 보고합니다(연구/파일럿, 독립 동료심사) [3]. 딥러닝의 진정한 상용 발판은 좁고 구체적입니다 — 풍부한 이미지를 가진 컴퓨터 비전 문제인 바이알 자동 시각 검사(충전-마감 장이 다룸)이지, 그것이 화학계량학 베이스라인을 거듭 이기지 못하는 작은 분광 또는 동역학 데이터셋에서의 소프트 센싱이 아닙니다. 가장 많이 인용되는 외견상 딥-라만 성공은, 들여다보면, KNN이었습니다 [1]. 그리고 검증 패러다임은 이상론이 아닙니다. ISPE Pharma 4.0 조사는 ML이 일관되게 모니터링과 자문 역할에 몰려 있고 자율 제어에는 거의 없음을 발견하는데, 정확히 잠긴-모델-더하기-PCCP 생애주기와 신뢰성 증거가 어렵고, 비싸고, pip install할 수 없는 것이기 때문입니다. 책의 나머지가 상술하는 정직한 판결. 엔진은 대개 단순하고, 신뢰는 항상 비쌉니다.

핵심 용어​

  • GxP / GMP — GxP는 의약품이 만들어지는 Good-x-Practice 규제(우수 제조, 시험, 임상 관리)의 우산이며, GMP(우수 제조 관리)는 그 계열의 제조 구성원으로 배치가 실제로 어떻게 생산되는지를 다스립니다.
  • 역가(titer) — 배양 중 제품(항체)의 농도로, g/L 단위. 소프트 센서의 주된 예측 목표.
  • 라만 스펙트럼 — 빛 산란 화학 지문으로, 여기서는 701개 파수 채널(곡선의 cm⁻¹ x축)이며, 농도를 추론하기 위해 인라인으로 판독됩니다.
  • OOS(규격 외) — 기재된 합격 한계 밖의 결과(예: 100 상한에 대한 숙주세포단백질 128 ng/mg)로, 정식 조사를 촉발합니다.
  • PAT(공정 분석 기술) — 오프라인 실험실 결과를 기다리는 대신 품질을 인라인으로, 실시간으로 측정하는 규율. 소프트 센서가 수행하는 인라인 측정 역할.
  • 교차검증(cross-validation) — 학습 데이터를 적합할 부분과 점수를 매길 홀드아웃 부분으로 거듭 나누어, 모델이 보지 못한 데이터에서 모델이나 하이퍼파라미터 선택이 판단되게 함. 중첩 CV는 튜닝을 내부 루프에 넣고 손대지 않은 외부 폴드 점수만 보고합니다.
  • R² / RMSE — R²는 0에서 1까지의 적합도(높을수록 좋고 1이 완벽함). RMSE(평균제곱근오차)는 목표 자체 단위(역가의 g/L)로 나타낸 전형적 예측 오차로, 낮을수록 좋습니다.
  • AUROC / AUPRC — 분류기가 합격 대 불합격 배치를 얼마나 잘 순위 매기는지에 대한 0에서 1까지의 점수(높을수록 좋음). AUPRC는 불합격이 드물 때 둘 중 더 정직합니다.
  • PLS(부분 최소제곱법) — 많은 공선 예측변수(예: 701개 라만 채널)를 목표와의 공분산이 최대인 몇 개의 성분에 투영하는 지도 잠재변수 방법. 바이오공정 소프트 센싱의 소규모 데이터 일꾼.
  • PCA(주성분 분석) — 공분산을 고유분해하여 분산이 가장 큰 방향을 찾는 비지도 사촌. 호텔링 T²와 SPE 통계량을 갖춘 다변량 모니터링(MSPC)의 엔진.
  • 트리 앙상블 / 그래디언트 부스팅 — 랜덤 포레스트(배깅된, 탈상관된 트리)와 부스팅 트리(순차적 잔차 적합). 표 형식, 비선형, 중간 규모 바이오공정 데이터에 대한 강하고 합리적으로 해석 가능한 기본값이지만, 평평한 외삽기.
  • 가우시안 프로세스(GP) — 커널을 통해 모든 입력에서 보정된 예측 분포(평균과 불확실성)를 돌려주는 모델. 베이지안 최적화를 추동하는 대리 모델. 학습 지점 수에 대해 3차.
  • 베이지안 최적화(BO) — GP의 불확실성과 획득 함수를 사용해 다음 실험을 고르는 피드백 루프로, 고정 DoE 격자보다 훨씬 적은 운전에서 최적점에 도달함. 바이오공정의 실험 희소성을 위해 만들어짐.
  • 1D-CNN — 스펙트럼을 공유 필터를 가진 1차원 신호로 다루는 합성곱 네트워크. 라만/NIR에 대한 아키텍처적으로 올바른 딥 모델이자, 소규모 데이터에서 대략 8배의 매개변수로도 PLS를 여전히 이기지 못하는 것(여기서는 R² 0.9924로 PLS의 0.9944에 뒤집니다).
  • 보정(Brier / ECE) — 분류기의 예측된 확률이 관측 빈도와 일치하는지를 측정하는 지표로, 단지 순위가 좋은지가 아닙니다. 브라이어 점수(Brier score, 확률의 평균제곱오차)와 기대 보정 오차(Expected Calibration Error, ECE — 확률 구간 전반에서 신뢰도와 정확도 사이의 간극). 둘 다 낮을수록 좋으며, 이제 모음의 중첩 CV 출하 예측에 대해 보고되고 등위회귀 재보정(isotonic recalibration)으로 개선됩니다.
  • 등각 예측(conformal prediction) — 보정 집합에서 모델의 과거 오차의 분위수를 읽어, 어떤 모델의 예측이든 유한 표본 포함 보장을 갖춘 구간으로 감싸는 분포 무관 방법(보브크가 형식화하고 안젤로풀로스와 베이츠가 대중화함). 그 보장은 교환가능성 아래에서만 성립하며, 분포 변화와 분포 밖 입력이 그것을 깹니다.
  • 분위수 회귀 / 예측 구간 — 분포의 가장자리(예: 핀볼 손실로 5번째와 95번째 백분위수)를 적합하여 예측이 점이 아니라 띠로 도착하게 하는 것. 모음의 viral_lrv.py는 각 로그 감소값을 90% 띠로 묶고 그 경험적 포함률을 점검합니다.
  • 적용 영역(applicability domain, AD) — 입력이 모델이 학습된 영역 밖에 있을 때 표시하여, 예측을 맹목적으로 신뢰하는 대신 보류하거나 단서를 다는 예측별 게이트. soft_sensor_pls.py에서는 들어오는 각 스펙트럼에 대한 호텔링 T²와 SPE 점검입니다.
  • 오토인코더 / VAE — 이상 탐지(높은 재구성 오차가 계열에서 벗어난 배치를 표시)에, 그리고 VAE의 확률적 잠재 공간의 경우 합성 표본 생성에 쓰이는 비지도 압축-및-재구성 네트워크.
  • 편향-분산 트레이드오프 — 기대 오차를 너무 단순함(편향²), 잡음 적합(분산), 줄일 수 없는 잡음으로 분해함. 소규모 데이터에서는 분산이 지배하므로 더 낮은 분산의 모델이 이김.
  • 배치 하나 빼기(leave-one-batch-out) CV / 계보 그룹화 — 같은 유가배양 운전으로 거슬러 올라가는 계보를 공유하는 모든 행이 함께 홀드아웃되는 배치 그룹 분할. 그룹화 키는 각 로트를 세포은행에 뿌리내리게 하는 Book 4의 추이적 bp:derivedFrom 에지이므로, 정직한 검증은 기억된 관례가 아니라 지식 그래프에서 곧장 읽힘.
  • SHACL 입력 계약 — 로트를 출하 시점에 게이트하는 바로 그 닫힌 세계 bp:ReleaseShape(완전성, 단일 값성, 선언된 범위)에 비추어 학습 집합을 검증하여, 모델이 적합하는 데이터가 사후에 해시로 고정만 되는 것이 아니라 적합 전에 완전하고 채택 가능함이 증명됨.
  • 잠긴 모델 — 상용에서 동결된 모델(가중치, 전처리, 스케일러, 운전 범위, 그리고 고정된 소프트웨어 환경과 시드)로, 버전 고정되어 제자리에서 결코 편집되지 않음. 초안 Annex 22가 중요 응용에 허용하는 유일한 패턴.
  • PCCP(사전결정 변경관리 계획) — 모델이 어떻게 재학습될 수 있는지(데이터, 고정 알고리즘, 합격 기준, 롤백)에 대한 사전 승인된 기록된 명세로, 봉투 안의 재학습을 새로운 규제 협상이 아니라 계획된 사건으로 만듦.
  • GAMP 5 / CSA — 전산화 시스템 검증을 위한 위험 기반 프레임워크(GAMP 5)와 검증 노력에 대한 FDA의 비판적 사고, 위험 비례적 재구성(컴퓨터 소프트웨어 보증)으로, 둘 다 ISPE GAMP AI 가이드에 의해 ML로 확장됨.
  • FDA 7단계 모델 신뢰성 프레임워크 — 질문과 사용 맥락을 진술하고, 모델 위험(영향력 × 결과)을 평가하고, 그 위험에 비례하는 신뢰성 증거를 모음. "돌아갔기 때문에 신뢰할 만함"이 아니라 "증거가 사전에 진술된 게이트를 통과했기 때문에 신뢰할 만함".
  • 증거 등급 / 성숙도 — 이 책의 모든 주장에 대한 두 축 채점. 등급(독립 동료심사, 자체 저자 동료심사, 벤더 자체보고, 보도자료 한정)과 성숙도(상용, 파일럿, 연구)를 분리해 유지하여, 벤더 슬라이드가 결코 사실로 세탁되지 않게 함.

다음 이야기​

우리는 엔진과 그것을 신뢰하는 패러다임을 가졌습니다. 데이터가 강제하는 것보다 모델 사다리를 더 높이 오르지 말고, 무엇을 고르든 검증하고, 잠그고, 문서화하라. 그러나 "어떤 모델"은 우리가 무엇을 예측하는지와 왜 그것이 옳은 표적으로 셈해지는지를 이미 안다고 가정합니다. 다음 장 표적과 개념은 그 선행 질문으로 한 걸음 물러섭니다 — 막연한 사업 목표("더 나은 배치를 만들라")가 어떻게 정의된 사용 맥락을 갖춘 정밀하고 학습 가능한 표적이 되는지, 표적 제품 프로파일과 CQA가 어떻게 "좋음"의 뜻을 못박는지, 그리고 표적의 선택이 어떻게 모델이 신뢰받을 수 있는 것과 없는 것 모두를 조용히 결정하는지. 여기서 우리가 틀 지은 정직한 검증은 표적 자체가 옳은 것일 때만 비로소 의미를 가집니다.