본문으로 건너뛰기

QC와 출하: MSPC, 실시간 출하, 그리고 OOS 예측하기

📍 현재 위치: 5부 · 충전-마감 및 출하, 학습된(Fill-Finish & Release, Learned) — 18장. 제제화와 충전-마감(Formulation and fill-finish)이 DS-001을 검사된 DP-001 충전 바이알로 바꾸었고, 모든 상용 ML 사례 중 가장 강력한 심층학습 영상(vision)을 만났습니다. 그러나 로트가 출하되기 전까지는 어떤 단위도 출고되지 않으며 — 이 장은 모든 배치가 통과해야 하는 그 게이트입니다.

제품은 존재합니다. 바이알 안에 있습니다. 아직 갖지 못한 것은 건물을 떠날 허가입니다. 출하란 품질 부서(배치 출하를 소유하는 독립적 품질보증 조직)가 한 배치의 전체 증거 패키지 — 그 분석성적서(Certificate of Analysis)를 이루는 출하 분석(release assays), 제조 중 제기된 일탈, 환경 모니터링(environmental monitoring) 기록 — 를 살펴보고, 모든 중대 품질 속성(CQA — 제품이 충족해야 하는 필수 통과 속성)이 그 규격 안에 들어왔는지 판단하는 순간입니다. 우리의 진행 중 캠페인에서는 다섯 형제가 통과하고 하나, BATCH-2026-004는 그러지 못합니다. 그것의 숙주세포 단백질(HCP — 잔류 공정 불순물, 안전한 미량까지 제거되어야 하는 생산 세포에서 남은 단백질) 결과가 100 ng/mg 이하(not-more-than, NMT) 한계 대비 128.0 ng/mg(제품 밀리그램당 불순물 나노그램)로 읽혀 — 데이터셋의 0–100 띠에서 0은 목표가 아니라 하한 자리표시자인데, HCP는 어떤 민감한 ELISA(특정 단백질을 측정하는 표준 항체-기반 실험실 시험)로도 진정으로 0이 되지 않기 때문입니다 — 어떤 처분(disposition — 로트를 출하·거부·격리할지 결정하는 공식 결정) 이전에도 조사되어야 하는 규격이탈(OOS) 결과입니다. HCP, 숙주세포 DNA, 엔도톡신(세균 세포벽에서 나오는 발열 유발 독소), 생물부하(제품 내 살아 있는 미생물의 수)는 모두 이런 종류의 한쪽-단(one-sided) NMT 상한입니다 — 가능한 한 낮기를 바라는 불순물과 오염물. Book 1은 이 출하 분석 각각을 분석과 제제화(analytical and formulation)에서 정의합니다. 이 장은 그 게이트에서 기계학습이 진정으로 돕는 곳 — 그리고 똑같이 중요하게, 돕지 못하는 곳 — 에 관한 것입니다.

정직한 표제는 출하가 공정 전체에서 가장 보수적인 구석이라는 것입니다. 모델은 출하 결정을 조언할 수 있지만, 거의 결코 그것을 내리지는 않습니다. 그래서 여기서 중요한 학습은 자율성이 아니라 모니터링입니다. 좋은 배치들의 가족에서 벗어나 표류한 배치를 잡아내고, 행동하기에 충분히 일찍 가능성 있는 실패를 예측하며, 조밀하고 다변량인 품질 기록을 단 하나의 방어 가능한 평결로 바꾸는 것. 다변량 통계 공정 감시(MSPM, MSPC라고도 씀)가 상용급 도구이며, 이 장의 척추입니다.

쉽게 말하면

정상 여행객 만 명을 통과시켜 온 세관원을 떠올려 보세요. 그들은 거대한 규정집에 한 명 한 명 대조하지 않습니다. 그들은 정상의 형태 — 자세, 걸음걸이, 서류 — 를 학습했고, 단 하나도 기술적으로 잘못된 것이 없더라도 누군가가 그 형태에 맞지 않을 때 알아챕니다. 다변량 모니터링은 한 배치에 대한 그 세관원입니다. 좋은 배치들에서 모든 품질 결과의 결합된 형태를 학습하고, 가족에 맞지 않는 하나를 표시한 뒤, 정확히 어느 속성이 그 패턴을 깼는지 가리킵니다. OOS 예측은 값싼 초기 신호로부터 누가 검사대에 닿기도 전에 검사에서 떨어질지를 짐작하는 그 세관원입니다 — 유용하지만, 결코 검사 자체를 대체하지는 못합니다.

이 장에서 다루는 내용​

  • 다변량 SPM(MSPC): 출하 패널 위의 PCA, Hotelling의 T²(평면-내 거리)와 SPE / Q(평면-밖 잔차), 그리고 두 통계가 서로 다른 실패를 잡는 이유.
  • 황금-배치와 다방향(multiway) PCA: 배치 × 변수 × 시간 큐브를 펼쳐, 한 숫자가 아니라 궤적 전체를 감시하기.
  • 실시간 출하 시험(RTRT): 그것이 약속하는 것, 소분자 연속 제조에서 흔한 이유, 그리고 바이오의약품에서는 진정으로 희소한 이유.
  • OOS 예측: 공정 중 특징으로부터 만든 보정된, 해석 가능한 출하-결과 분류기 — 그리고 정확도가 아니라 임계값이 품질 부서의 위험 감내가 사는 곳인 이유.
  • MSPC 평결 한 건의 해부 — 플래그가 어떻게 자신의 모델, 통계, 한계, 기여도, 확인 분석, 처분을 나르는지 — 그리고 모든 출하 모델을 조언적으로 유지하는 GMP(Good Manufacturing Practice, 우수 제조 관리 기준 — 모든 의약품 제조가 그 아래 돌아가는 구속력 있는 품질 규정) 틀. (MSPC의 SPE 통계가 바로 이 장의 이상 탐지기입니다: 좋은-배치 가족에 적합되어, 새 배치 각각을 그 가족에 대해 새로운지-아닌지로 채점합니다.)

MSPC: 좋은 배치의 형태를 학습하다​

단변량 SPC(statistical process control, 통계 공정 관리 — 한 측정량을 관리 한계에 대해 시간에 걸쳐 지켜보는 것) — Book 3의 분석 장(Book 3's analytics chapter)이 코드로 만드는 I-MR 차트와 Cpk(개별값의 운전 차트와 공정-능력 지수) — 는 한 번에 한 속성을 도표화합니다("단변량" = 변수 하나, "다변량" = 한 번에 여럿). 그것은 필요하지만 충분하지는 않습니다. 한 배치는 모든 개별 결과가 자기 규격 안에 넉넉히 들어와 있으면서도 미묘하게, 위험하게 비정상일 수 있는데, 속성들 사이의 관계가 움직였기 때문입니다. 동일한 단량체 순도(제품 중 뭉친 응집체나 단편이 아니라 온전한 단일 항체인 비율)를 가진 두 배치가 전하 변이체(서로 다른 전하를 띠는, 약간 변형된 분자 형태), 응집체(뭉친 분자들), 불순물이 어떻게 함께 변하는지에서 완전히 다를 수 있습니다. 그 결합 구조가 바로 단변량 SPC가 버리는 것이고 다변량 모니터링이 다시 읽어내는 것입니다. 단변량 차트가 규모에서 실패하는 더 깊은 이유는 다중 비교(multiple-comparison) 문제입니다. 한 배치에 독립적인 3σ 차트 열한 개를 돌리면, 모든 속성이 진정으로 관리 상태에 있더라도 적어도 하나의 차트가 거짓경보를 낼 확률은 배치당 1 − 0.9973^11 ≈ 2.9%입니다(단일 3-시그마 차트는 관리 상태에서 1 − 0.9973 = 0.27%의 거짓경보 가능성을 남기므로, 그 열한 개가 복리로 쌓입니다) — 그리고 거꾸로, 한 배치는 열한 개 개별 한계 모두 안에 머물면서도 어떤 좋은 배치도 차지한 적 없는 결합 공간의 영역에 앉아 있을 수 있습니다. MSPC는 열한 개의 분리된 한계를 상관된 전체에 대한 하나의 결합 한계로 대체합니다.

PCA 모델 평면​

역마는 주성분 분석(Principal Component Analysis, PCA) 입니다. 직관적으로, PCA는 좋은 배치가 실제로 변동하는 방향을 포착하는 몇 개의 새로운 결합 축 — 각각은 원래 속성들의 가중 혼합 — 을 찾습니다. 한 배치를 그 몇 개 축 위로 투영한 것이 아래의 모든 것이 대조하는 저차원 "정상의 형태"입니다. 이 절의 나머지는 그 한 발상의 형식적 버전이며, 행렬 대수에 익숙하지 않은 독자는 기호를 훑어 넘기고 직관만 간직해도 됩니다. 출하 패널을 n × k 형태의 행렬 X로 잡습니다. 배치당 한 행(n개 배치), 품질 속성당 한 열(k개 속성). 각 열을 평균 0, 단위 분산으로 표준화하여 — z_ij = (x_ij − μ_j) / s_j — 백만분율 불순물과 백분율 순도가 비교 가능한 발판 위에 놓이게 합니다. 이 단계가 없으면 가장 큰 크기의 속성이 분산을 지배하고 PCA는 단지 그것을 추적할 것입니다. 표준화된 행렬을 Z라 부릅니다. PCA는 Z를 특이값 분해(singular value decomposition) Z = U S Vᵀ로 분해하고, V의 처음 a개 열을 적재(loadings) P(가장 큰 결합 변동의 정규직교 방향들을 열로 갖는 k × a 행렬)로 유지합니다. 동등하게, P는 상관행렬 R = Zᵀ Z / (n − 1)의 선도 고유벡터를 담고, 고윳값 λ₁ ≥ λ₂ ≥ …(S²/(n−1)의 대각)는 각 성분이 설명하는 분산입니다. 그 처음 a개 성분 — a는 당신이 유지하는 성분의 개수 — 이 저차원 모델 평면 — "정상 배치의 형태" — 을 정의합니다. 실무에서 a는 유지된 성분이 결합 분산의 대부분을 설명하도록 선택됩니다(스크리(scree) / 분산-설명 기준). 우리의 의도적으로 작은 다섯-배치 패널에서는 a = 2로 고정하는데, 그것이 데이터가 책임 있게 뒷받침할 수 있는 전부입니다.

각 배치는 그 평면 위로 점수(scores) t = z P(a차원 평면 안의 한 점)의 행으로 투영되고, ẑ = t Pᵀ = z P Pᵀ로 근사 재구성됩니다. 재구성은 a = k일 때만 정확합니다. a < k이면 평면이 표현할 수 없는 z의 부분이 잔차(residual) e = z − ẑ입니다. 그 두 조각 — 평면-내 투영과 평면-밖 잔차 — 이 바로 모니터링 통계가 측정하는 두 가지입니다.

두 통계, 두 종류의 실패​

MSPC를 군집화 연습이 아니라 모니터링 방법으로 만드는 것은 한 가지 규율 잡힌 동작입니다. 모델을 좋은-배치 가족에만 적합시킨 뒤, 새롭고 미지인 것을 포함한 모든 배치를 그것에 대해 채점하는 것. 모델은 좋음이 어떻게 생겼는지를 부호화하고, 새 배치는 학습된 정상에서 얼마나 멀리 앉아 있는지로 채점됩니다. 두 가지 보완적 거리가 채점을 하며, 그들은 구성상 직교합니다 — 하나는 평면 안에 살고, 다른 하나는 평면 밖에:

  • Hotelling의 T² 는 한 배치가 모델 평면 안에서 좋은-배치 구름의 중심으로부터 얼마나 멀리 앉아 있는지를 측정합니다. 그것은 점수를 자신의 분산으로 배율한 것입니다. T² = Σ_{r=1..a} t_r² / λ_r, 즉 점수 공간에서의 제곱 마할라노비스(Mahalanobis) 거리(좋은 배치가 각 방향에서 얼마나 변동하는지로 그 방향을 늘리는 거리이므로, 평소 안정적인 방향을 따른 이례적 움직임이 자연히 변동하는 방향을 따른 같은 움직임보다 더 큰 비중을 가집니다). 성분별 λ_r로 나누기가 중요합니다 — 빡빡한 저분산 성분을 따라 0.1단위 움직이는 것이 느슨한 고분산 성분을 따라 같은 만큼 움직이는 것보다 훨씬 더 큰 비중을 갖는데, 전자가 좋은 배치에 대해 진정으로 이례적이기 때문입니다. 높은 T²는 "극단적이지만 여전히 알아볼 수 있는 가족 구성원"을 뜻합니다 — 좋은 배치들이 실제로 변동한 방향을 따라 이례적인 것.
  • SPE(squared prediction error, 제곱 예측 오차), Q-통계량이라고도 함, 은 평면 밖의 거리를 측정합니다. SPE = Σ_{j=1..k} e_j² = ‖z − ẑ‖², 즉 잔차의 제곱 길이. 높은 SPE는 "우리가 한 번도 본 적 없는 무언가"를 뜻합니다 — 새로운 상관, 새로운 불순물, 어떤 좋은 배치도 보인 적 없는 행동인데, 그 행동이 모델이 잡음으로 버린 차원들로 투영되기 때문입니다. 이것이 진정으로 새로운 실패 모드를 잡는 통계이며, 보통 가장 먼저 발사되는 것입니다.

관리 한계가 오는 곳​

통계는 한계에 대해서만 행동 가능합니다. 둘은 서로 다른 분포 이론을 갖습니다. T² 한계 는 F-분포를 따릅니다. n개 배치에 적합된 a개 성분에 대해, 유의수준 α에서, T²_lim = a(n−1)(n+1) / (n(n−a)) · F_{α; a, n−a}. (n ≫ a이면 이것은 친숙한 χ²_{α; a}로 무너지지만, 소표본 F 형태는 우리가 가진 배치가 얼마나 적은지에 대해 정직합니다.) SPE 한계 는 깔끔한 닫힌 형태가 없습니다. 엄밀한 경로는 Box / Jackson–Mudholkar 가중-χ² 근사 SPE_lim = g·χ²_{α; h}로, 좋은-배치 SPE의 평균 m과 분산 ν로부터 g = ν/2m, h = 2m²/ν입니다. 우리의 의도적으로 작은 예제에서는 더 단순하고 투명한 좋은-배치 SPE의 평균 + 3σ 를 씁니다 — 그것은 검증된 한계가 아니라 다섯-표본 근사이며, 우리는 그렇게 말합니다. 어느 쪽이든 한계는 좋은 가족으로부터 학습되지, 결코 가정되지 않습니다. 두 형태 모두 근사-정규성 가정에 기댑니다 — F-형 T² 한계는 다변량-정규 점수에, 가중-χ² SPE 한계는 근사적으로 정규인 잔차에 — 작은 바이오의약품 데이터셋은 그것을 검증하기에 충분한 배치를 좀처럼 주지 않습니다. 뒤의 미해결 과제(unsolved part) 절이 두꺼운 꼬리와 한 줌의 배치가 이 한계들을 어떻게 미결정 상태로 남기는지로 돌아옵니다.

둘이 함께가 모든 상용 배치-모니터링 모음의 심장입니다. Sartorius의 SIMCA 와 SIMCA-online, 그리고 AspenTech의 ProMV 는 정확히 이 T²와 SPE 차트에 기여도 그림(contribution plot)을 더한, 제품화된 PCA/PLS(Partial Least Squares, 부분 최소제곱 — 속성을 목표 결과에 연결하는 PCA의 지도(supervised) 사촌) 모니터링입니다. 그들은 상업 바이오의약품 전반에 걸쳐 지속적 공정 검증(CPV — 검증된 공정이 유지하도록 요구되는, 지속적이고 평생에 걸친 모니터링), 황금-배치 모니터링, 결함 탐지에 쓰이는 (상용) 도구입니다 [1]. Amgen의 Juncos 시설은 상업적 GMP 수확 및 공정 중 데이터 위에서 돌아가는 SIMCA 기반 OPLS 모델을 공개적으로 기술했습니다 (상용, 제1자/자체보고) [2]. 우리가 아래에서 만드는 것은 그 모음들이 감싸는 공개 핵심입니다.

증거

PCA/PLS를 동반한 MSPC는 바이오 제조에서 가장 강력한 (상용) 다변량-모니터링 사례이며, 증거는 견고합니다. 그것은 수십 년 묵은 동료심사 방법론 문헌(배치 모니터링을 위한 Nomikos와 MacGregor의 다방향 PCA, 1994–1995)에 기대고 [3], 독립적으로 판매되고 널리 배포된 두 상용 플랫폼(Sartorius SIMCA, AspenTech ProMV)에 기댑니다 [1]. 주의점은 규모입니다. 믿을 만한 MSPC 모델은 우리가 여기서 가진 다섯이 아니라 수십에서 수백 개의 역사적 배치에 적합됩니다. 우리 예제는 의도적으로 작은 데이터셋 위의 올바른 방법입니다 — 검증된 모니터가 아니라 교육 모델입니다.

출하 패널 위의 MSPC: BATCH-2026-004 표시하기​

MSPC의 가장 구체적인 버전은 또한 우리의 OOS 배치를 잡는 버전입니다. 우리는 hplc_results.csv에서 실제 출하 패널을 읽어, 배치당 한 행과 속성당 한 열로 피벗하고, 생물부하(bioburden) 열을 떨어뜨린 뒤(그것은 캠페인 전체에 걸쳐 상수 0이므로 분산을 담지 않고 표준화를 미정의로 만들 것입니다 — s_j = 0으로 나누기), 다섯 PASS 형제에 PCA를 적합합니다. 열 개 속성이 남습니다(열한 번째인 생물부하는 단변량 SPC라면 여전히 도표화할 테지만 PCA는 분산 부족으로 버려야 하는 것입니다 — 같은 열한-대-열 패널을 두 방식으로 본 것). SEC(size-exclusion chromatography, 크기-배제 크로마토그래피 — 분자를 크기로 단량체, HMW = 고분자량 응집체, LMW = 저분자량 단편으로 분리)에 의한 응집, CEX(cation-exchange chromatography, 양이온-교환 크로마토그래피 — 메인·산성·염기성 전하 변이체를 분리)에 의한 전하 이질성, HCP, 잔류 Protein A(포집 컬럼에서 누출된 정제 시약의 미량), 숙주세포 DNA, 그리고 엔도톡신. 그다음 우리는 두 성분짜리 그 좋은-배치 모델에 대해 — 보류된 OOS 형제를 포함하여 — 여섯 배치 전부를 채점합니다.

결과는 명백합니다. BATCH-2026-004의 SEC, CEX, 잔류 Protein A, DNA, 엔도톡신 결과는 모두 개별적으로 규격 안에 있습니다. 오직 그 HCP만 벗어났습니다. 단량체 순도 위의 단변량 차트는 아무것도 보지 못할 것입니다. MSPC는 그 배치가 평면을 완전히 떠나는 것을 보는데, 어떤 좋은 배치도 이 HCP 수준을 이 외에는 정상인 결과들과 짝지은 적이 없기 때문입니다 — 그 위반 점은 평면 안으로는 거의 완벽하게 투영되지만(그 T²는 평범함) 평면 밖에는 멀리 앉아 있습니다(그 SPE가 폭발함). 그 평면-밖 행동 뒤에는 우연이 아니라 메커니즘이 있습니다: HCP는 구성상 SEC/CEX 제품-품질 블록에 거의 직교(상관 없음 — 독립적으로 움직임)하는데, HCP는 포집과 정제(바이오리액터 이후의 정제 단계: 포집은 항체를 붙잡는 첫 컬럼, 정제는 잔류 불순물을 제거하는 이후 컬럼들)에서의 하류 불순물 제거가 지배하는 반면 단량체 순도와 전하 변이체는 제품 분자 자체를 반영하기 때문입니다. 둘은 배치-간에 거의 함께 변하지 않으므로, 제거 실패는 제품-품질 속성이 한 번도 펼친 적 없는 방향에 착지합니다 — 통계적이 아니라 기계론적으로 좋은-배치 평면 밖입니다.

출하 패널 위 다변량 통계 공정 관리의 히어로 도해: 처음 두 주성분에서 녹색 95퍼센트 신뢰 타원 안에 군집한 다섯 좋은 배치 BATCH-2026-001 002 003 005 006과, 그 타원 가장자리에 앉은 OOS 형제 BATCH-2026-004 — 그 Hotelling T-제곱이 가족 중 가장 크지만 여전히 한계 아래여서 평면 안 가족에 머무름 — 을 보여 주는 PCA 점수 그림; 오른쪽에는 두 관리 패널, BATCH-2026-004를 포함한 모든 배치가 T-제곱 한계 아래에 있는 Hotelling T-제곱 막대 차트와, 오직 BATCH-2026-004만 SPE 한계 위로 멀리 치솟는 SPE Q-통계량 막대 차트; 바닥의 기여도 막대가 그 SPE를 열 개 출하 속성으로 분해하는데, 숙주세포-단백질 HCP 막대가 83퍼센트로 지배하고 다른 모든 속성은 0에 가깝다. MSPC는 단변량 SPC가 할 수 없는 것을 잡는다: 모든 개별 결과가 규격 안에 있고 T²는 모든 배치에서 한계 아래에 머물지만, SPE 통계 — 좋은-배치 평면 밖의 거리 — 가 BATCH-2026-004 하나만을 표시하며, 기여도 그림이 조사자를 곧장 HCP로 가리킨다. 저자가 AI의 도움을 받아 직접 제작한 그림입니다.

구현은 examples/platform/ml/mspc.py에 있습니다. 그것은 커밋된 데이터셋 위의 순수 NumPy와 SciPy이므로, 어떤 서비스도 없이 돌아가고 CI는 OOS 배치가 유일하게 표시된 것임을 단언합니다. 모음의 가상환경 안에서 examples/platform/ml/로부터 그것을 실행하세요 — .venv/bin/python mspc.py(일회성 설정: python3 -m venv .venv && .venv/bin/pip install -r requirements.txt, 그 디렉터리의 README 참조). 아래의 간단한 python mspc.py 약식 표기는 그 환경이 활성화되어 있다고 가정합니다. 두 함수가 수학을 나릅니다 — 적합과, 한 쌍의 통계:

# examples/platform/ml/mspc.py
def fit_pca(X: np.ndarray, n_components: int = 2):
    """Mean-centre + unit-scale on the GOOD batches, then PCA by SVD."""
    mu = X.mean(axis=0)
    sd = X.std(axis=0, ddof=1)
    Z = (X - mu) / sd
    U, S, Vt = np.linalg.svd(Z, full_matrices=False)
    P = Vt[:n_components].T                       # loadings (k x a)
    eig = (S[:n_components] ** 2) / (len(X) - 1)  # variance per component
    return {"mu": mu, "sd": sd, "P": P, "eig": eig,
            "n_components": n_components, "n": len(X)}

def t2_spe(model: dict, X: np.ndarray):
    """Hotelling's T2 (in-plane) and SPE/Q (off-plane) for each row."""
    Z = (X - model["mu"]) / model["sd"]
    T = Z @ model["P"]                            # scores
    t2 = np.sum(T ** 2 / model["eig"], axis=1)    # in-model-plane distance
    Z_hat = T @ model["P"].T                      # reconstruction
    spe = np.sum((Z - Z_hat) ** 2, axis=1)        # off-plane residual
    return t2, spe

T² 한계는 위의 F-분포 형태에서 곧장 오며, 소표본 배율을 명시적으로 만드는 다섯 줄입니다:

# examples/platform/ml/mspc.py
def t2_limit(model: dict, alpha: float = 0.05) -> float:
    """Small-sample Hotelling T2 limit via the F-distribution."""
    n, a = model["n"], model["n_components"]
    f = stats.f.ppf(1 - alpha, a, n - a)
    return a * (n - 1) * (n + 1) / (n * (n - a)) * f

스크립트는 다섯 PASS 배치에 적합하고, 여섯 전부를 채점하며, 표시된 배치의 SPE를 원래 속성으로 도로 분해합니다 — 조사자에게 어느 변수가 패턴을 깼는지 말해 주는 기여도 분석(contribution analysis) 입니다. 그 분해는 방법 전체에서 가장 깨끗한 부분입니다. SPE = Σ_j e_j²이므로, 각 속성의 잔차에 대한 몫은 그저 e_j² / Σ e_j²이고, 따라서 범인을 명명하는 것은 변수별 제곱 잔차에 대한 argmax 하나입니다:

# examples/platform/ml/mspc.py
contrib = (Z[oos_i] - Z_hat[oos_i]) ** 2          # per-attribute SPE share
top = ATTRS[int(np.argmax(contrib))]              # the variable that broke the pattern

python mspc.py를 실행하면 정확히 이것을 출력합니다:

MSPC on the release panel (PCA fit on 5 PASS batches, 2 components):
  T2 limit (alpha=0.05) = 30.57   SPE limit (good-batch mean+3sd) = 4.95
  BATCH-2026-001: T2=  0.95  SPE=    2.76  release=PASS
  BATCH-2026-002: T2=  0.85  SPE=    2.73  release=PASS
  BATCH-2026-003: T2=  2.73  SPE=    0.56  release=PASS
  BATCH-2026-004: T2=  8.36  SPE=  356.59  release=OOS  <-- FLAGGED
  BATCH-2026-005: T2=  2.18  SPE=    1.17  release=PASS
  BATCH-2026-006: T2=  1.29  SPE=    2.42  release=PASS

SPE contribution for BATCH-2026-004: top driver = HCP_ng_per_mg (83% of the residual)
ASSERT ok: MSPC flags only BATCH-2026-004, and SPE points at HCP.

품질 엔지니어가 읽을 방식으로 읽으세요. 모든 배치의 T²는 그 한계 30.57보다 한참 아래입니다 — BATCH-2026-004조차 8.36으로 평면-내에서 알아볼 수 있는데, 그 순도와 전하 결과가 정상으로 보이고 모델이 여전히 그것을 군집 근처에 둘 수 있기 때문입니다. 그러나 그 SPE 356.59는 다음으로 큰 좋은-배치 SPE(2.76)보다 대략 두 자릿수(약 백 배) 위이고 4.95 한계를 한참 넘습니다. 그 잔차가 폭발했습니다. 그 간극 — T²는 조용하고 SPE는 비명을 지르는 — 이 새로운 실패 모드의 교과서적 시그니처로, 모델이 잡음으로 버리고 PCA가 한 번도 펼치도록 훈련받지 않은 새로운 방향입니다. 그다음 기여도 분석이 잔차의 83%를 HCP_ng_per_mg — 정확히 OOS인 그 속성 — 에 귀속시키고, 나머지 17%는 다른 아홉 개에 얇게 번져 있는데, 이것이 단일 변수가 지배할 때 기대하는 잔여(residue)입니다. MSPC는 그저 "이 배치는 나쁘다"고 말하지 않았습니다. 그것은 "이 배치는 어떤 좋은 배치도 아니었던 방식으로 나쁘고, 여기를 보아라"고 말했습니다. 그 진단 — 이진 플래그가 아니라 — 이 조사자가 행동하는 가치이며, 정확히 열한 개의 분리된 차트로 된 단변량 패널이 당신에게 건넬 수 없는 것입니다. 각 차트가 구성상 잔차를 해석 가능하게 만드는 속성-간 구조를 버렸기 때문입니다.

궤적 관점: 황금 배치와 다방향 PCA​

출하 패널은 종점 관점입니다 — 배치당 완성된 결과 한 행. 그러나 배치는 또한 궤적입니다. 생산 바이오리액터(production bioreactor)는 14일 동안 돌아갔고, 모든 태그("태그"란 연속적으로 기록되는 하나의 센서 채널 — 온도, pH, 용존산소 등)가 시간에 걸쳐 함께 움직였습니다. 종점 위의 MSPC는 가족 밖으로 끝난 배치를 잡습니다. 궤적 위의 MSPC는 아직 돌아가는 중에, 실패하기 몇 시간 전에 가족을 떠나고 있는 배치를 잡습니다.

그 방법은 Nomikos와 MacGregor의 기초적 배치-모니터링 묘기, 다방향 PCA(multiway PCA, MPCA) 입니다 [3]. 한 배치 데이터셋은 3차원입니다. I × J × K 형태의 큐브 X — I개 배치 × J개 변수 × K개 시점. 보통의 PCA는 평평한 행렬을 기대하므로 큐브를 펼칩니다(unfold). 표준 배치별(batch-wise) 펼침은 각 배치가 한 긴 행이 되도록 그것을 조각내, 모든 변수-각-시점을 열로 나란히 놓습니다 — 큐브가 I × (J·K) 행렬이 됩니다. 시간당 주기(K ≈ 336)로 일곱 태그의 14일 배치는 대략 7 × 336 ≈ 2,300개 열의 한 행으로 펼쳐집니다. 그다음 루프는 기계적입니다:

  1. 좋은 역사적 배치들을 I × (J·K) 배치별 행렬로 펼친다(완료된 배치당 한 행).
  2. 그 행렬에 PCA를 적합한다 — 모델은 이제 "정상 궤적의 형태", 정상 종점뿐 아니라 변수 상관 과 그것들의 시간에 따른 진화를 부호화한다.
  3. 새 배치를 모델에 대해 채점하여 배치 시간의 각 점에서 T²와 SPE를 얻어, 편차가 단일한 운전-종료 숫자가 아니라 시간-분해된다.
  4. 어떤 일탈이든 기여도 그림으로 진단하여, 경보를 울리는 시점의 SPE를 분해해 어느 변수가, 어느 단계에서 그것을 일으켰는지 본다.

공식이 숨기는 미묘함: 진행 중인 배치는 미래가 없습니다. 시각 h에서 그것을 채점하려면 측정되지 않은 K − h개 열을 채워야 하고, 고전적인 Nomikos–MacGregor 장치는 현재 편차가 지속된다고 가정하는 것(또는 더 정교한 결측-데이터 투영을 쓰는 것)입니다. 이것이 실시간 MPCA 한계가 운전 초기에는 더 넓고 배치가 채워지면서 좁아지는 이유입니다 — 궤적이 끝나기 전에 그것을 판단하는 정직한 불확실성.

정준(canonical) 방법을 정확히 명명할 가치가 있는데, 그것이 모든 상용 궤적 모니터의 척추이기 때문입니다. Nomikos와 MacGregor의 다방향 PCA(multiway PCA, MPCA)와 그 지도(supervised) 형제 다방향 PLS(multiway PLS, MPLS)가 바로 그 배치-공정 모니터링 방법입니다. 둘 다 (시간 × 변수) 궤적을 펼쳐, 좋은 운전들에서 학습된 황금-배치 외피(golden-batch envelope)에 대해 그것을 채점하는데, MPCA는 공정 태그만으로, MPLS는 그 펼쳐진 태그를 최종 품질 결과에 회귀시키며 합니다. 배치가-진행되는-대로 형태 — 때로 진화하는(evolving) MPCA라 불리는 — 가 배치 이후가 아니라 도중에 돌아가는 것이고, 위의 결측-미래-데이터 문제가 다뤄져야 하는 곳이 바로 여기입니다. 시각 h에서 모델은 대부분 비어 있는 행을 채점하고 있으므로, 한계가 넓어지고 편차 추정이 아직 끝나지 않은 궤적의 불확실성을 나릅니다. 우리가 "궤적 MSPC", "황금-배치 모니터링", 또는 batch_mvda.py가 구현하는 것을 말할 때, 명명되는 방법은 이 Nomikos–MacGregor MPCA/MPLS 계열입니다.

이것이 일반화된 황금-배치 발상입니다: 단일 태그 위의 평균 ± 3σ 외피(Book 3이 코드로 만드는 것) 대신, 모델은 모든 태그와 배치 시간에 걸친 그들의 상관의 결합 외피를 담습니다. 우리 시뮬레이터가 심는 7일째 온도 일탈은 그 시점에서 국소화된 SPE 스파이크로 나타나고, 그 순간의 기여도 그림은 온도 태그를 가리킵니다 — 분석이 아직 존재하지 않는 종점이 아니라. 진정한 이득은 조기 경고입니다. 비정상 배치가 어떤 종점 분석이 존재하기도 전에 궤적으로서 잡히며, 이것이 상용 모음들이 종점 모니터링만이 아니라 다방향 PCA를 출하하는 모든 이유입니다.

비용은 데이터와 정렬입니다. 궤적 모델은 많은 완전하고, 정렬된 좋은 배치를 필요로 하는데, 배치는 좀처럼 같은 길이도 완벽한 시간 정렬도 아닙니다 — 가변 배치 길이와 단계 이동은 한 배치의 열 J·(t−1)+5가 다른 배치에서와 같은 공정 순간이 아님을 뜻하므로, 워핑(warping) 또는 랜드마크-정렬 단계(흔히 벽시계 시간이 아니라 누적 공급 속도, 또는 적분 생존세포밀도(integral viable-cell density, IVCD) 같은 지표 변수에 대해 — 생존세포밀도는 단위 부피당 살아 있는 세포의 수이고, 그 시간에 걸친 적분은 배양이 축적한 세포-시간의 누적 총량입니다)가 펼침에 앞서야 합니다. IVCD는 14일 CHO 유가식의 자연스러운 랜드마크입니다. 같은 IVCD에 있는 두 배치는 각자 거기에 닿기까지 며칠이 걸렸든 같은 대사 나이(metabolic age) 에 있으며, IVCD는 이미 이 모음의 다른 곳에서 특징으로 나타납니다. 그 정렬 부담과 수십-배치 최소 요건이, 종점 MSPC(우리가 여섯 행에서 돌릴 수 있는)가 초기 캠페인에서 완전한 다방향 궤적 모니터링(성숙한 공정 이력을 원하는)보다 훨씬 더 흔한 이유입니다. 둘은 같은 통계입니다. 그들은 무엇을 감시하는지와 얼마나 많은 이력을 요구하는지에서만 다릅니다.

이제 이 모음은 이 이야기 전체를 examples/platform/ml/batch_mvda.py에서 실행 가능하게 만듭니다. 그것은 배치 성장-곡선 궤적의 코호트를 그려내, 그것들을 DTW(dynamic time warping, 동적 시간 워핑)로 정렬하고(같은 공정 랜드마크가 비교 전에 배치들에 걸쳐 줄을 맞추도록 각 배치의 시간 축을 늘리고 압축하는, 프로즈가 논증한 워핑 단계), 배치 × 변수 × 시간 큐브를 배치당 한 긴 행으로 배치별로 펼치며, 좋은-배치 가족에 다방향 PCA를 적합하고, 종점 모델이 쓰는 것과 같은 기여도 분석으로 스트레스받은(굶주린) 배치를 SPE로 표시합니다. 그것을 실행하면 다음을 출력합니다:

trajectory MSPC: DTW-aligned, batch-wise unfolded (14 batches x 4 vars x 15 days = 60 columns), MPCA on 12 PASS batches
  SPE limit (good-batch mean+3sd) = 48.50
  batch 12: SPE=  356.95  label=STRESS  <-- FLAGGED
  batch 13: SPE=  375.47  label=STRESS  <-- FLAGGED
  worst batch 13 SPE contribution: top driver = glc at day 3 (19% of the residual)
ASSERT ok: DTW+unfold+MPCA flags the stressed batches as trajectory outliers, and SPE attributes the deviation to a process variable over time.

프로즈가 예측한 대로 읽으세요. 두 굶주린 배치는 궤적 모델에서 좋은-배치 가족 밖에 멀리 착지합니다 — SPE 356.95와 375.47이 48.50 한계 대비 — 그리고 기여도 분석은 3일째 즈음의 포도당, 즉 굶주림 시그니처를 가리키는데, 정확히 이 절이 논증한 조기-궤적 경고가 이제 주장이 아니라 증명된 것입니다. 이것은 mspc.py의 종점 MSPC에 대한 궤적 보완물입니다. 종점 모델이 운전 이후에 완성된-배치 HCP 일탈을 잡는 곳에서, 궤적-MSPC는 배치가 아직 바이오리액터 안에 있고 행동할 시간이 아직 있을 때, 편차를 펼쳐지는 대로 잡습니다.

실시간 출하 시험: 정직한 희소성​

한 모델이 CQA를 충분히 정확하게 예측할 수 있다면, 애타게 만드는 전망은 실시간 출하 시험(real-time release testing, RTRT) 입니다. 최종-제품 실험실 시험을 공정 중 측정(또는 공정 중 측정 위의 모델)으로 대체하여, 결과가 며칠 뒤가 아니라 제조가 끝나는 순간에 가용하게 만드는 것. RTRT는 인정된 규제 경로입니다 — ICH Q8(R2)은 그것을 제품 품질을 "공정 데이터, 전형적으로 측정된 물질 속성과 공정 관리의 타당한 결합을 포함하는 데이터에 기반하여" 평가하고 보장하는 것으로 정의합니다 — 그리고 그것은 PAT(process analytical technology, 공정 분석 기술 — 나중에 실험실에서만이 아니라 공정 도중에 인라인으로 품질을 측정)와 QbD(Quality-by-Design — 끝에서 시험으로 품질을 넣는 대신 설계로 공정에 품질을 짓는 것) 프로그램 전체가 가리키는 목적지입니다 [4]. (ICH Q8(R2)은 제약 개발을 규율하는 국제 규제 지침 중 하나입니다.) 핵심은 규격을 약화시키는 것이 아닙니다. 모델-플러스-공정-관리는 그것이 대체하는 시험에 대한 동등성을 입증해야 하며, 관리 전략의 영구적 일부로 검증되어야 합니다.

소분자에 대해서 RTRT는 실재하고 출하 중입니다. 가장 분명한 예는 Janssen의 Prezista(다루나비르) 연속-제조 라인으로, 거기서 NIR 기반 RTRT 모델이 함량 균일성 같은 속성에 대한 종래의 최종-제품 시험을 대체합니다 (상용) — 시판 제품을 배치에서 연속 제조로 전환한 최초의 FDA 승인으로, 출하 일정을 대략 두 주에서 약 하루로 무너뜨렸습니다 [5]. 연속 경구-고형-제형 제조는 RTRT를 자연스럽게 만듭니다. CQA(혼합 균일성, 용출, 함량)가 화학계량 PLS 보정(화학계량학(chemometrics)은 PLS 같은 통계 모델로 그런 스펙트럼에서 화학량을 추출하는 실무)을 통해 NIR 스펙트럼(near-infrared spectroscopy, 근적외 분광법 — 그 곡선인 스펙트럼이 시료의 화학 조성을 지문처럼 찍는 빠른 광학 측정)에 깔끔하게 매핑되고, 공정이 빠르고 정상 상태이며, 화학이 작고, 잘 정의되고, 안정합니다.

바이오의약품에 대해서 RTRT는 진정으로 희소하며, 그 이유에 대해 정직한 것이 가치 있습니다. 단클론 항체의 출하 패널은 한 숫자가 아닙니다 — 그것은 hplc_results.csv의 십여-속성 배터리입니다: SEC에 의한 응집, CEX에 의한 전하 이질성, 숙주세포 단백질, 잔류 Protein A, 숙주세포 DNA, 엔도톡신, 생물부하. 이 중 여럿은 빠른 인라인 대용물이 없는 안전 속성(HCP, DNA, 엔도톡신, 무균성)이고, 분자의 미세-이질성(바이오의약품이 존재하는 약간씩 다른 수많은 분자 형태 — 글리코실화는 항체에 붙은 가변 당쇄, 전하 변이체는 전하가 옮겨진 형태, 단편화는 깨진 조각)은 바로 바이오의약품을 바이오의약품으로 만드는 것입니다 — 그것은 소분자의 함량이 그러는 방식으로 단일 스펙트럼 판독으로 무너지지 않습니다. 소프트 센서(쉬운 인라인 신호로부터 측정하기 어려운 값을 직접 재는 대신 추론하는 모델)는 역가(배양이 만들어 낸 제품의 농도)를 높은 정확도로 실시간 예측할 수 있지만(라만 PLS 모델(Raman PLS model)이 우리 데이터에서 R² 약 0.99에 도달합니다), 역가는 품질 속성이 아니라 양(quantity)입니다. 출하 결정이 요구하는 정확도로 인라인 프로브에서 응집이나 HCP를 예측하는 것은 다르고 훨씬 더 어려운 문제인데, 안전에 가장 중요한 바로 그 매우 저농도 불순물이 빠른 인라인 측정의 탐지 바닥 근처나 그 아래에 앉아 있기 때문입니다. 특히 무균 시험은 오늘날 규제기관이 바이오의약품 출하에 받아들일 실시간 대체물이 없습니다 — 신속-미생물학적-방법이 그것을 단축할 수는 있지만, 출하가 여전히 의존하는 배양을 제거하지는 못합니다.

경제적 상품은 크고 때로 공격적으로 인용됩니다. Ferring은 RTRT가 제조원가를 약 25% 수준으로 절감할 수 있다고 추정했습니다 — 그러나 그것은 특정 연속-제조 시제품 프로그램에 대한 개발-단계 내부 추정이지 업계가 확립한 수치가 아니며, 예시적인 것으로 읽혀야 합니다 (개발-단계 추정, 예시적) [6]. 바이오의약품에 대한 정직한 최신 기술 수준은 부분적 RTRT입니다 — 공정 중 모델을 써서 일부 속성을 더 빨리 출하(또는 방어 가능한 대용물을 가진 속성의 모수적 출하를 지원)하는 한편, 안전 패널은 여전히 종래대로 돌아갑니다 — 그리고 그조차 드물고 어렵게 얻어집니다. 진정으로 떠오르는 발판은 패널의 가장자리에 있습니다. 엔도톡신은 검증된 재조합 Factor C 또는 동역학 LAL 분석으로, 생물부하는 신속 미생물학적 방법(성장-기반 또는 ATP-생물발광)으로, 둘 다 며칠이 아니라 몇 시간으로 압축될 수 있습니다. 그러나 단백질-불순물 속성 — 무엇보다 HCP — 은 출하-등급 정확도의 빠른 인라인 대용물이 없는 단단한 벽으로 남습니다. 최전선은 "실험실 시험 없음"이 아닙니다. 그것은 "방어 가능한 인라인 대용물을 가진 속성에 대한, 더 적고, 더 빠르고, 모델-지원되는 시험"입니다.

분석이 돌기 전에 OOS 예측하기​

MSPC는 이미 가족 밖으로 나간 배치를 잡습니다. 더 이르고 더 어려운 질문은 이것입니다. 한 배치가 배양 종료까지 축적한 공정 중 요약으로부터 — 느린 출하 패널이 돌기 전에 — 그것이 통과할지 OOS로 갈지를 예측할 수 있는가? 이것이 정직한, 조언적 형태의 출하 예측입니다. 핵심은 분석을 건너뛰는 것이 아닙니다. 가능성 있는 실패를 조사하거나, 격리하거나, 재시험을 일정 잡기에 충분히 일찍 표시하는 것이고, 그것을 품질 부서가 결정 임계값을 통제하는 보정된, 해석 가능한 모델로 하는 것입니다.

이 장이 정면으로 마주하는 데이터 문제가 있습니다. 출하된 캠페인은 정확히 하나의 OOS 배치를 가집니다. 단일 양성으로는 분류기를 훈련하거나 정직하게 평가할 수 없습니다 — 단일 점은 분산을 주지 않고, 어떤 교차검증 폴드도 그것을 보류하면서 훈련에서 양성을 볼 수 없으며, 어떤 지표든 미정의이거나 퇴화합니다. 그래서 examples/platform/ml/release_predict.py는 기계론적 유가식 모델(fed-batch model)(model_fedbatch.py)에서 120개 배치의 코호트를 그려내, 운전별로 생물을 섭동하며(성장 속도, 비생산성, 공급 속도, 락트산 억제), 교훈을 아첨이 아니라 충실하게 만들도록 선택된 두 가지 심은 실패 메커니즘을 동반합니다:

  • 스트레스 경로 — 과소공급이 높은 락트산과 암모니아, 낮은 생존율을 몰고, 세포 용해가 HCP를 높입니다. 이 실패는 공정 중 대사 흔적을 남기므로, 모델이 배양 요약만으로 그것을 학습할 수 있습니다.
  • 오염 경로 — 날카로운 HCP 추가. 실제 미생물 오염도 배양에 스트레스를 줍니다(더 낮은 생존율, 더 높은 락트산), 따라서 그것은 약한 대사 발자국을 남깁니다 — 스트레스 경로보다 훨씬 약한. 이것은 의도적입니다. 가장 잡아야 하는 OOS는 흔히 상류 신호가 가장 희미한 것입니다. 핵심은 특징 사각지대이지 오염이 탐지 불가능하다는 것이 아닙니다 — 실제 공장에서 미생물 오염은 공정 중 생물부하 및 무균 시험과 급격한 pH, 용존산소, 산소소비율 일탈로 가장 먼저 잡히는데, 이 중 어느 것도 이 모델이 의도적으로 제한된 배양-종료 대사 요약에는 나타나지 않습니다.

한 배치는 실제 분석이 적용하는 것과 같은 규칙 — HCP > 100 ng/mg 또는 monomer < 95% — 으로 OOS 라벨이 붙으므로, 시뮬레이션된 라벨은 덧붙여진 것이 아니라 공정 중 상태에 기계론적으로 묶여 있습니다. 분류기는 StandardScaler(먼저 모든 특징을 공통 폭으로 재배율)에 균형 클래스 가중치를 가진 L2-정규화 LogisticRegression입니다 — 로지스틱 회귀는 양성 클래스의 확률을 출력하는 단순한 모델이고, "L2-정규화"는 페널티(그 강도가 손잡이 C)가 과도하게 큰 계수를 억제해 과적합을 줄인다는 뜻이며, "균형 클래스 가중치"는 모델이 무시하지 않도록 희소한 실패에 가중을 더 줍니다 — 생짜 위력이 아니라 보정과 해석 가능성을 위해 선택되었는데, 출하-인접 모델은 자신을 정당화해야 하기 때문입니다. 그것의 로그-오즈(log-odds)는 표준화된 특징에 선형이므로, 각 계수가 곧장 "이 신호가 OOS 쪽으로 얼마나 강하게 미는가"로 읽힙니다. 양성 클래스는 실패이고, 평가는 중첩 교차검증입니다. 보통의 교차검증은 데이터를 여러 동일한 부분("폴드")으로 나눠, 하나만 빼고 모두로 훈련하고 보류된 폴드에서 채점하며, 모든 배치가 자신이 훈련하지 않은 데이터에서 한 번씩 채점되도록 돌립니다. 중첩 CV는 이것을 이중으로 합니다: L2 강도 C가 각 훈련 분할의 내부 루프에서 조정되고, C가 선택되는 것을 결코 보지 못한 외부 폴드가 모델을 채점하므로, 보고된 숫자가 조정으로 낙관적으로 편향되지 않습니다. 같은 중첩 루프가 아래의 임계값과 보정 분석이 의존하는 보류 확률을 만들어 냅니다:

# examples/platform/ml/release_predict.py
FEATURES = [
    "final_titer_g_L", "peak_VCD_e6_per_mL", "peak_lactate_g_L",
    "final_lactate_g_L", "final_ammonia_mM", "end_viability_pct",
    "integral_VCD",
]

def evaluate(df: pd.DataFrame, seed: int = SEED) -> dict:
    """Nested CV over independent runs: tune C inside, score on the outer fold."""
    X = df[FEATURES].to_numpy(float)
    y = (df["release"] == "OOS").astype(int).to_numpy()   # positive = failure
    pipe = make_pipeline(StandardScaler(),
                         LogisticRegression(max_iter=2000, class_weight="balanced"))
    grid = {"logisticregression__C": [0.01, 0.1, 1.0, 10.0, 100.0]}
    inner = StratifiedKFold(n_splits=5, shuffle=True, random_state=seed)
    outer = StratifiedKFold(n_splits=5, shuffle=True, random_state=seed + 1)

    # optimistic: tune AND read off the same inner folds
    gs = GridSearchCV(pipe, grid, scoring="roc_auc", cv=inner).fit(X, y)
    auroc_naive = float(gs.best_score_)

    # honest: outer folds never participate in selecting C
    proba = cross_val_predict(
        GridSearchCV(pipe, grid, scoring="roc_auc", cv=inner),
        X, y, cv=outer, method="predict_proba")[:, 1]
    return {"y": y, "proba": proba,
            "auroc": round(float(roc_auc_score(y, proba)), 3),
            "auprc": round(float(average_precision_score(y, proba)), 3),
            "auroc_naive": round(auroc_naive, 3),
            "optimism": round(auroc_naive - float(roc_auc_score(y, proba)), 3),
            "prevalence": round(float(y.mean()), 3)}

임계값 스윕은 자기만의 작은 함수인데, 교육적 핵심 전부가 임계값 — 적합된 모델이 아니라 — 이 결정이라는 것이기 때문입니다. 그것은 그저 확률 컷오프에서 혼동행렬을 세는데, 놓친 OOS(거짓음성)가 값비싼 오류로 지목됩니다:

# examples/platform/ml/release_predict.py
def confusion_at(y, proba, thr: float) -> dict:
    pred = (proba >= thr).astype(int)
    fn = int(((pred == 0) & (y == 1)).sum())   # a MISSED OOS -- the costly error
    fp = int(((pred == 1) & (y == 0)).sum())   # a false alarm -- an extra investigation
    ...

python release_predict.py를 실행하면 다음을 출력합니다(모든 숫자는 예시적이며, 시뮬레이션된 코호트에서 나옴). 아래 블록의 모든 지표 — AUROC, AUPRC, 95% CI, 무기력 베이스라인, 재현율, 정밀도 — 는 뒤따르는 두 소절에서 풀어집니다. 지금은 숫자를 훑고, 아래에서 제대로 읽으세요:

release-prediction cohort: 120 simulated batches, 10 OOS (8%)  # illustrative

logistic release predictor (NESTED 5x5 CV; C tuned in the inner loop):
  AUROC = 0.923 (95% CI (0.781, 1.0))   AUPRC = 0.805 (95% CI (0.521, 1.0))   (prevalence 0.083 = the no-skill AUPRC baseline)   # illustrative
  naive (tuned-and-read-off the same folds) AUROC = 0.968  -> optimism removed by nesting = +0.045  (selected C=100.0)
  calibration of the probabilities: Brier = 0.0524  ECE = 0.0769  (lower is better-calibrated)

  operating points (positive = predicted OOS):
    thr=0.50: recall=0.8 precision=0.571 | missed OOS (FN)=2  false alarms (FP)=6
    thr=0.30: recall=0.8 precision=0.444 | missed OOS (FN)=2  false alarms (FP)=10

  standardized logistic coefficients (log-odds of OOS):
    end_viability_pct        -2.85
    peak_lactate_g_L         +2.74
    final_ammonia_mM         -0.89
    integral_VCD             -0.89
    final_lactate_g_L        -0.80
    peak_VCD_e6_per_mL       +0.67
    final_titer_g_L          -0.58

ASSERT ok: in-process features predict the release outcome (illustrative).

표제 AUROC 0.923보다 더 중요한 세 가지 교훈이 있습니다. 첫째, 희소 사건에서는 AUROC가 아니라 AUPRC가 정직한 지표입니다. 아래에서 두 양이 거듭 나옵니다: 재현율(recall)은 모델이 실제로 표시하는 참 OOS 배치의 비율(잡아내는 비율)이고, 정밀도(precision)는 그 표시 중 실제 OOS인 비율(경보가 얼마나 믿을 만한가)입니다. AUROC와 AUPRC는 각각 재현율-대-무언가의 곡선 전체를 0과 1 사이의 단일한 곡선아래면적(area-under-the-curve) 숫자로 요약하며, 높을수록 좋습니다. OOS 유병률(실제로 OOS인 배치의 비율)이 8% 근처일 때, 무기력(no-skill) 모델 — 예측 능력이 없는 모델 — 은 AUPRC에서 0.083을 받습니다(유병률 자체가 베이스라인입니다). 우리의 0.805는 우연보다 진정으로 낫지만, 인상적으로 보이는 AUROC 0.923과 더 진중한 AUPRC 0.805 사이의 간극이 정확히 ROC 곡선이 불균형 데이터에서 제공하는 아첨입니다 — ROC의 x축(거짓양성률)은 음성이 양성을 압도할 때 관대한 반면, 정밀도-재현율은 모델에게 그 경보 중 얼마나 많은 것이 거짓인지를 들이댑니다. 둘째, 그리고 가장 중요하게, 결정은 모델이 아니라 임계값입니다. 두 작동점이 품질 부서가 소유하는 진짜 거래를 보여 주는데 — 작은 양성 개수가 그것을 유난히 극명하게 만듭니다. 두 임계값은 같은 실패를 잡습니다. 컷오프가 0.50이든 0.30이든 재현율은 0.8로 머물고(열 개 OOS 중 둘은 여전히 놓침), 임계값을 낮추는 것은 거짓경보의 그물만 6에서 10으로 넓히고 정밀도는 0.571에서 0.444로 미끄러집니다. 여기서 재현율이 눈에 보이는 0.1 단위로 움직이는 것은 놓친 OOS 하나하나가 그 작은 양성 클래스의 10분의 1이기 때문입니다 — 그 양자화 자체가 소량-데이터 교훈입니다. 양성이 그토록 적으면 조정할 매끄러운 재현율-정밀도 거래가 존재하지 않습니다. 그럼에도 낮은 쪽으로 치우치는 것을 정당화하는 것은 비용 비대칭입니다 — 놓친 OOS는 잠재적으로 안전하지 않은 로트의 거짓 출하인 반면, 거짓경보는 추가 조사 한 건일 뿐입니다 — 그래서 품질 부서는 의도적으로 보수적 임계값을 돌려, 놓친 실패를 0으로 밀기 위해 추가 거짓경보를 받아들입니다. 셋째, 그 임계값이 어디에 앉는지는 변경 관리 아래 인간이 내리는 위험-감내 결정이며, 시스템 전체에서 가장 결과가 큰 단일 숫자입니다. 모델의 정확도는 쉬운 부분입니다. 임계값이 책임이 사는 곳입니다.

계수가 정직성의 고리를 닫고, 특징이 표준화되어 있으므로 그것들은 크기에서 직접 비교 가능합니다. 낮은 end_viability_pct(−2.85)와 높은 peak_lactate_g_L(+2.74)이 단연 가장 강한 OOS 예측 인자입니다 — 정확히 스트레스-경로 시그니처 — 이것이 이 모델이 스트레스-구동 실패를 잘 잡는 이유입니다. 나머지 계수는 그것들의 5분의 1 이하 크기입니다. 그것은 오염-구동 실패는 형편없이 잡는데, 설계상 그 메커니즘이 그 같은 특징들이 거의 등록하지 않는 희미한 대사 흔적만 남기기 때문입니다. 출하 예측기는 실재하지만, 상류에서 자신을 알리는 실패에 가장 강하고 그러지 않는 것에 가장 약합니다 — 그리고 그러지 않는 것이 흔히 가장 잡아야 하는 것입니다.

AUROC가 정직한 이유: 중첩 교차검증과 보정​

위의 출력 블록은 이미 그것을 믿을 만하게 만드는 세 숫자를 나릅니다 — 순진한 0.968, 정직한 중첩 0.923, 그리고 보정 쌍 — 그러나 그것들은 풀어 볼 가치가 있는데, 출하-인접 모델이 숨겨서는 안 되는 두 가지 실패에 대해 평가된 같은 모델이기 때문입니다. 첫째는 조정으로 인한 선택 편향(selection bias)입니다. 로지스틱 모델은 초매개변수 — L2 강도 C — 를 갖는데, 그것을 교차검증으로 고른 뒤 같은 교차검증 점수를 보고하면 그 점수는 낙관적으로 편향됩니다. C를 고른 폴드가 이미 자신이 채점받는 데이터를 보았기 때문입니다. 그 낙관적 숫자가 순진한 0.968입니다. 중첩 교차검증(nested cross-validation)은 조정을 각 훈련 분할의 내부 루프에 넣어 그것을 제거하므로, 외부 폴드는 C가 결코 그것을 건드리지 않고 선택된 모델을 채점합니다 — 정직한 0.923입니다. 여기서 중첩은 대략 +0.045의 선택 낙관을 제거합니다. 그 간극을 깔끔한 분해가 아니라 낙관의 추정치로 읽으세요. 두 AUROC도 약간 다르게 계산되기 때문입니다(순진한 쪽은 내부 폴드 점수들의 평균, 정직한 쪽은 합쳐진 폴드-밖 예측에 대한 단일 점수). 따라서 그 차이의 일부는 조정 편향이 아니라 그 장부 처리 방식입니다. 부트스트랩 95% 신뢰구간 — AUROC에서 0.781에서 1.0, AUPRC에서 0.521에서 1.0 — 은 넓고, 그 폭은 방법의 결함이 아니라 증거의 정직한 보고입니다. 유병률이 8% 근처일 때 코호트 전체가 표본 밖 OOS 배치를 약 열 개만 담으므로, 구간이 1.0까지 닿고 점추정만으로는 우리가 아는 것을 과장할 것입니다.

둘째 문제는 AUROC가 순위만 매긴다는 것입니다. 그것은 OOS 배치가 PASS 배치보다 더 높게 점수받는 경향이 있는지 말해 주지만, 품질 부서는 순위를 읽지 않고 확률을 읽어 그것에 대해 임계값을 설정합니다. 보정(calibration)은 직교하는 질문을 묻습니다 — 모델이 0.7이라고 말할 때, 배치가 실제로 약 70%의 경우에 실패하는가? Brier 점수(Brier score)(확률의 평균 제곱 오차)와 ECE(expected calibration error, 기대 보정 오차)(확률 구간들에 걸친 예측 빈도와 관측 빈도의 평균 간극)가 정확히 그것을 측정합니다. 둘 다 낮을수록 좋습니다. 모델은 높은 AUROC와 형편없이 잘못-보정된 확률을 동시에 가질 수 있고, 그러면 어떤 고정 출하 임계값이든 품질 부서가 의도한 것과 다른 무언가를 뜻하게 됩니다. 여기서 보정은 안심시키는 부분입니다. Brier 0.0524와 ECE 0.0769는 예측 확률이 관측 빈도에 충분히 가까워 품질 부서가 확률 자체에 출하 임계값을 설정해도 그것이 말하는 바를 대략 뜻하게 함을 의미합니다 — 정확히 위의 임계값 논의가 의존하는 속성입니다.

MSPC 평결 한 건의 해부​

출하 결정은 한 숫자가 아닙니다. 그것은 구조화된 평결이며, 플래그와 함께 따라가는 것이 그것을 행동 가능하고 방어 가능하게 만듭니다. MSPC가 BATCH-2026-004를 채점할 때, 그것은 그저 "FAIL"을 내뱉지 않습니다. 그것은 평결을 그것을 만든 모델, 두 통계와 그 한계, 범인을 명명하는 기여도, 그리고 그것이 촉발하는 처분에 잇는 기록을 내놓습니다.

라벨 붙은 신원 카드로서의 MSPC 출하 평결 한 건의 해부: 감시된 배치 BATCH-2026-004와 다섯 PASS 배치 위 두-성분 적합인 모델 release_mspc_pca를 명명하는 인디고 헤더; X 행을 이루는 열 개 표준화 출하 속성을 나열하는 입력 블록; 두 통계를 보여 주는 녹색-그다음-장미색 핵심으로, Hotelling T-제곱이 8.36으로 그 30.57 한계 아래에 관리-내로 표시되고, SPE가 356.59로 그 4.95 한계 위 멀리 발사되는 경보로 표시됨; 열 개 속성을 순위 매기는 기여도 패널로, HCP가 83퍼센트로 지배하고 다른 모든 것은 0에 가까움; 0에서 100 규격 대비 확인 오프라인 HCP 분석값 128.0 ng/mg를 담은 화해 행; 그리고 평결을 좋은-배치 훈련 가족, 그것이 여는 일탈 및 OOS 조사, 그것이 입력할 수 있는 CAPA, 그리고 모델이 오직 조언만 하는 인간 처분에 잇는 보라색 관계 패널. MSPC 평결 한 건은 하나의 완전한 기록이다: 표준화된 속성 행, 그 한계에 대한 두 통계(T²는 관리-내, SPE는 경보), HCP를 구동자로 명명하는 기여도, 확인 오프라인 분석, 그리고 모델이 조언하지만 결코 내리지 않는 인간 처분. 저자가 AI의 도움을 받아 직접 제작한 그림입니다.

카드를 위에서 아래로 읽으면 이 장의 논증이 필드(field)로 펼쳐집니다. 입력은 열 개 출하 속성의 표준화된 행 — 이 배치의 z 벡터로, 좋은-배치 통계에 대해 평균-중심화되고 단위-배율된 것 — 이므로, 모든 필드가 이미 "정상 배치에서 표준편차로 얼마나 떨어졌는가"로 표현됩니다. 핵심은 두 통계를 그 한계와 함께 담습니다: T² = 8.36 대 30.57(관리-내, 배치가 평면-내에서 알아볼 수 있는데 그 순도와 전하 점수가 구름 안에 들어오기 때문)과 SPE = 356.59 대 4.95(경보, 배치가 평면 밖인데 그 잔차 e가 거대하기 때문). 기여도 패널은 속성을 SPE 잔차에 대한 그 몫 e_j² / Σ e_j²으로 순위 매기며, HCP_ng_per_mg가 83%입니다 — 플래그를 단서로 바꾸는 진단인데, "평면 밖"을 "HCP 때문에 평면 밖"으로 바꾸기 때문입니다. 화해 행은 확인 오프라인 분석값 128.0 ng/mg를 0–100 규격 대비 나르는데, 모델의 경보를 채점하는 지상 진실(ground truth)이자 — 결정적으로 — 기록의 법적 기록입니다. 모델은 조언했고, 분석이 결정했습니다. 그리고 관계 패널은 평결이 어디서 왔고 어디로 가는지를 기록합니다: 좋은-배치 가족(다섯 PASS 형제, 특정 모델 버전으로 추적 가능)에 fit_on, OOS 조사를 opens, CAPA(Corrective and Preventive Action, 시정 및 예방 조치 — 확인된 일탈이 촉발하는 공식 수정-및-예방 워크플로)를 may_feed, 그리고 — 가장 중요한 필드 — 인간 처분을 내리는 대신 advises. 그 마지막 필드는 장식이 아닙니다. 그것은 규제 경계입니다. 모델은 표시하고 설명합니다. 로트를 출하할 권한을 가진 품질 부서의 사람이 결정합니다. 카드 위의 다른 모든 것은 그 사람이 빠르고 방어 가능하게 결정할 수 있도록 존재합니다: 발사된 통계, 그것이 깬 한계, 그것을 구동한 변수, 그리고 그것을 확인하는 분석. 이 유형화된-관계 기록은 형식적 모델의 비형식적 버전입니다: Book 4는 같은 출하 게이트를 출하 게이트와 SHACL(The Release Gate and SHACL)에서 닫힌-세계 SHACL 검증으로 바꿉니다.

출하 게이트는 모델의 입력 계약이기도 합니다​

해부 카드의 유형화된 필드들은 표현상의 편의가 아닙니다. 그것은 지식 그래프가 이 장 전체를 신뢰 가능하게 만드는 이음매이며, 그 이음매가 하중을 견디는 세 곳을 명시할 가치가 있습니다.

첫째, 출하 결정을 게이트하는 바로 그 SHACL 셰이프가 모델의 입력이 완전하고 범위 내에 있음도 보장합니다. Book 4의 bp:ReleaseShape는 출하된 로트가 모든 필수 CQA — 단량체, HMW, CEX-main, HCP, 단백질 농도 — 에 대해 규격-내 값을 정확히 하나 나른다고 닫힌-세계로 단언하며, 누락되거나 중복된 결과는 열린 질문이 아니라 지금 실패입니다(출하 게이트와 SHACL 참조). MSPC의 표준화 단계 z = (x − μ) / s는 바로 그것을 조용히 가정합니다. 속성당 하나의 수치 값이, 존재하고, 제정신인 척도 위에 있다는 것. HCP 행을 떨어뜨리거나 두 번째 IRI 아래에 반복을 철하는 LIMS 통합은 모델을 죽이지 않습니다 — 그것은 손상된 z 벡터 위에서 확신에 찬 잘못된 점수를 만들어 내는데, 모든 것 중 가장 위험한 실패입니다. 로트의 그래프 위에 출하 셰이프를 t2_spe()에 도달하기 전에 돌리면 "모든 모니터링 속성이 존재하고 단일한가?"가 희망에서 검증된 전제조건으로 바뀝니다. 출하 게이트와 모델의 입력 계약은 두 번 읽힌 같은 닫힌-세계 셰이프입니다.

둘째, 온톨로지 IRI로 당겨진 피처는 깨지기 쉬운 조회를 망가뜨리는 컬럼 이름 변경에서 살아남습니다. 기여도 플롯은 HCP_ng_per_mg를 명명합니다. 그래프에서 그 속성은 로트에 걸린 유형화된, 단위-나르는 속성 bp:hcpPpm이며, 데이터 그림자(data shadow)가 흩어져 있는 ELN, LIMS, MES에 걸쳐 같은 IRI입니다. 모니터링 패널을 깨지기 쉬운 df["HCP"]가 아니라 IRI로 소싱하는 것이 시스템 업그레이드가 컬럼 이름을 바꾼 뒤에도 모니터가 같은 것을 의미하게 하는 것 — 모델과 검증(models-and-validation) 장이 주장하는 의미론적으로-근거된-피처 규율을 출하 게이트에 적용한 것입니다. 그리고 QUDT/UCUM 단위가 각 값과 함께 다니므로, 총-단백질-당 비율로 보고된 HCP가 단량체 백분율과 조용히 비교될 수 없습니다 — 어떤 데이터타입도 잡지 못하지만 단위 IRI는 잡는 오류 부류입니다.

셋째, 계보 에지가 궤적 코호트를 정직하게 유지하는 그룹화 키입니다. batch_mvda.py가 좋은-배치 가족에 다방향 PCA를 적합할 때, "어떤 배치들이 검증에 독립적인가?"는 정확히 bp:derivedFrom 질문 — 모든 로트를 한 홉씩 동결 세포은행 WCB-CHO-001에 뿌리내리는 하나의 전이적 척추(관계와 계보(relations and genealogy)) — 입니다. 이름으로는 독립적으로 보이지만 같은 종배양에서 내려온 두 궤적은 독립적이지 않으며, 그것을 무시하는 leave-one-batch-out 분할은 보류된 배치를 적합에 누설합니다 — 그래서 리콜을 범위 짓는 바로 그 에지가 폴드도 범위 짓습니다. 상위 온톨로지(upper ontology)의 연속체/발생체(continuant/occurrent) 구분이 그 아래 장부를 똑바로 유지합니다: 출하 결과(연속체 — 지속하는 값)는 그것이 측정된 배양 운전(발생체 — 일어난 과정)과는 다른 종류이므로, 그래프는 측정을 운전과 조용히 혼동하거나 배치별 레이블을 시점별 피처로 누설되게 둘 수 없습니다.

규제 프레이밍이 고리를 닫습니다. 평결 카드의 advised 대 decided 경계가 모든 출하 모델을 결정-내리는 시스템의 검증 부담이 아니라 CSA-경량으로 유지하는 것입니다 — FDA의 컴퓨터 소프트웨어 보증(Computer Software Assurance, CSA)이 CSV(전산화 시스템 검증)를 재구성한 아래에서, 그 출력을 자격자가 항상 확인하는 조언적 모니터는 로트를 스스로 처분한 시스템보다 훨씬 가벼운 검증 무게를 나릅니다. 카드의 각 필드는 구체화된 ALCOA+ 데이터-무결성 속성입니다 — release_mspc_pca 모델 버전은 귀속 가능하고, 128.0 ng/mg 확인 분석은 모델이 단지 조언한 원본 기록의 기록이며, 유형화된 fit_on 에지는 평결을 그것이 채점된 정확한 좋은-배치 가족까지 추적 가능하게 만듭니다 — 그래서 그 기록은 구성상 Part 11 / Annex 11 감사-추적 가능합니다. 사전결정 변경관리 계획(Predetermined Change Control Plan) 아래에서 변할 수 있는 모델도 같은 경계 뒤에 삽니다. 그래프는 어떤 버전이 어떤 로트를 조언했는지의 감사 추적이 파일 이름에 묻히지 않고 질의 가능한 곳입니다.

미해결 과제: 실패가 거의 없는데 표류 탐지하기​

출하 ML에서 가장 어려운 미해결 문제는 이 책의 모든 모델을 괴롭히는 바로 그것이지만, 여기서 가장 날카롭습니다: 당신은 거의 본 적 없는 사건으로 희소-사건 탐지기를 검증할 수 없습니다. 출하-결과 분류기나 MSPC 모니터는 OOS 배치를 잡도록 의도되었고, 잘 운영되는 공정은 OOS 배치를 매우 드물게 — 설계상 — 만듭니다. 그래서 양성 클래스가 작고, 어떤 실패-탐지 지표에 대한 신뢰구간이든 거대하며, 모델은 단지 실제 실패가 그것을 시험하지 않았기 때문에 일 년 동안 탁월해 보일 수 있습니다. 산수는 가차없습니다. 한 공정이 쉰 배치당 하나의 OOS를 돌린다면, 완벽한 쉰 배치의 한 해조차 당신의 증거에 단 하나의 양성을 보태고, 하나의 참양성으로 추정된 탐지기 재현율의 95% 신뢰구간은 거의 [0, 1] 전체 구간에 걸칩니다. 당신은 거의 불나지 않는 건물에서 화재경보기를 검증하고 있는 것입니다.

이것은 두 가지로 뭅니다. 첫째, 모델이 조용히 쇠퇴합니다. 새 원자재 로트, 노화하는 프로브, 공정 미세조정, 또는 세포주의 느린 이동이 세계를 훈련 데이터에서 멀어지게 하고, MSPC 한계나 분류기 보정이 표류합니다 — 그러나 당신은 실패가 빠져나가거나 거짓경보의 물결이 터질 때만 그 표류를 발견하는데, 둘 다 비싸고 늦습니다. 그 표류는 구성상 후행(lagging) 지표입니다. 실패를 잡을 가치가 있게 만드는 바로 그 희소성이 당신의 탐지기가 낡아가는 것에 당신을 눈멀게 합니다. 둘째, 한계 자체가 미결정(under-determined)입니다. 우리의 SPE 한계는 다섯 좋은 배치에서 추정되었습니다. 실제 수십-배치 캠페인조차 넓은 구간을 주고, F-분포 T² 한계는 작은 바이오의약품 데이터셋이 좀처럼 지키지 않는 다변량-정규성을 가정합니다 — 점수가 흔히 치우쳐 있고, 한 줌의 배치는 두꺼운-꼬리 분포를 가우시안과 구별할 수 없습니다. 통계는 원칙적입니다. 한계는 그 불확실성이 경보와 나란히 좀처럼 보고되지 않는 근사이므로, "SPE = 356.59 대 한계 4.95"가 그 한계 자체가 뚱뚱한 오차 막대를 나르는데도 또렷한 확실성으로 읽힙니다.

깔끔한 해결책은 없고, 돕는 규율들만 있으며, 각각은 알려진 약점을 부분적 보호와 맞바꿉니다. 입력을 모니터링하라 — 들어오는 배치의 속성이 여전히 훈련 분포처럼 보이는가? — 를 표류에 대한 선행(leading) 대용물로, 입력 표류(생짜 신호 위의 모집단-안정성 이동)가 실패-탐지 표류에 선행하고 실패하는 배치만이 아니라 모든 배치에서 관측 가능하기 때문입니다. 이력이 쌓이면서 한계를 주기적으로 재자격화하라, F와 SPE 근사를 그 대표본 형태 쪽으로 조이며. 비용 비대칭이 그것을 선호하므로 놓침을 억제하기 위해 거짓경보를 받아들이는 보수적 임계값을 유지하라. 그리고 어떤 통계 모델도 스스로 잡지 못할 불가능한 출력(음의 농도, 분석 잡음 아래의 HCP)을 표시하는 물리- 또는 지식-기반 타당성 점검을 유지하라. 그러나 이 중 어느 것도 실제 실패가 제공하는 지상 진실을 대체하지 못하며, 이 분야는 그것을 압니다. FDA의 2023년 논의 문서는 정확히 이것 — 배포 후 성능이 조용히 쇠퇴할 수 있는 모델을 모니터링하고 재검증하는 것 — 을 cGMP(current Good Manufacturing Practice, 현행 우수 제조 관리 기준 — 모든 출하 결정이 그 아래 사는 GMP 규정의 최신 형태) 아래 AI를 위한 미해결 질문으로 명명하면서, 정착된 답을 처방하지 않습니다 [7]. OOS 사건이 탐지기를 연속적으로 시험하기에 충분히 흔해질 때까지(아무도 원하지 않는 일), 출하-모니터링 모델은 일정에 따라 불신되어야 합니다. 좁게 검증되고, 그 입력에 대해 모니터링되며, 증거가 쌓이면서 재자격화되고, 입증되기 전까지는 쇠퇴하고 있다는 상존하는 가정과 함께.

이 장이 모델 모음에 더하는 것​

이 장은 examples/platform/ml/에 세 개의 실행 가능 모듈을 기여하며, 모두 커밋된 데이터셋 위의 순수 scikit-learn / NumPy / SciPy이고, 모두 단단한 CI 단언으로 끝나 책의 주장이 조용히 썩을 수 없게 합니다:

  • mspc.py — hplc_results.csv의 실제 출하 패널 위 다변량 SPC. 그것은 다섯 PASS 형제에 PCA를 적합하고, 여섯 배치 전부를 Hotelling의 T²와 SPE로 채점하며, 표시된 배치의 SPE를 기여도 분석으로 분해하고, 오직 BATCH-2026-004만 표시되고 SPE가 HCP를 가리킨다고 단언합니다. 그것은 상류 소프트 센서의 출하-측 동반물입니다. 한 양을 예측하는 대신, 그것은 모니터링 질문을 묻습니다 — 이 완성된 배치가 좋은 배치들의 가족처럼 보이는가?
  • batch_mvda.py — 궤적 MSPC. 그것은 배치 궤적의 코호트를 DTW로 정렬하고, 배치 × 변수 × 시간 큐브를 배치별로 펼치며, 좋은 배치에 다방향 PCA를 적합하고, 3일째 즈음의 포도당을 가리키는 기여도 분석으로 스트레스받은(굶주린) 배치를 SPE로 표시합니다. 그것은 이 장의 황금-배치 / 다방향-PCA 이야기를 실행 가능하게 만들고, DTW + 펼침 + MPCA가 스트레스받은 배치를 표시하고 SPE가 편차를 시간에 걸친 공정 변수에 귀속시킨다고 단언합니다 — mspc.py의 종점 관점에 대한 조기-궤적 대응물입니다.
  • release_predict.py — 보정된, 해석 가능한 출하-결과 분류기. 출하된 캠페인에 OOS가 하나뿐이므로, 그것은 기계론적 유가식 모델에서 두 가지 심은 실패 메커니즘(스트레스와 오염)을 가진 120-배치 코호트를 그려내고, 중첩 교차검증(C를 내부 루프에서 조정하고, 외부 폴드에서 채점)으로 평가하며, 부트스트랩 신뢰구간과 함께 AUROC 와 AUPRC를 보고하고, 확률 보정(Brier, ECE)을 측정하며, 임계값 거래를 명시적으로 만들도록 두 작동점을 출력합니다. 그것은 의도적으로 batch_outcome.py(23장)의 공장-수율 모델이 아닙니다. 그 주제는 출하 결정과 그것을 둘러싼 비용 비대칭입니다.

셋 모두 같은 방식으로 돌며, 재현성 계약은 의도적으로 엄격한데, 다시 돌릴 수 없는 책의 주장은 썩을 주장이기 때문입니다. examples/platform/ml/에서 일회성 설정이 환경을 고정합니다 — python3 -m venv .venv && .venv/bin/pip install -r requirements.txt가 모든 의존성을 고정된 버전으로 해소하므로, SVD와 F-분포 한계가 어떤 기계에서든 같은 30.57, 4.95, 356.59를 만들어 냅니다 — 그리고 .venv/bin/python mspc.py(또는 batch_mvda.py, 또는 release_predict.py)가 위의 그대로의 출력 블록을 재현합니다. 모든 모듈이 난수 시드를 고정하므로 120-배치 코호트와 중첩-CV 폴드가 운전마다 동일하고, run_all.py가 커밋된 각 데이터셋의 MANIFEST.sha256 내용 해시를 기록해 출력된 모든 숫자를 정확히 어떤 바이트가 만들었는지에 고정합니다. 모음 전체가 저장소의 라이선스 아래 오픈소스이며, 세울 서비스 없는 순수 scikit-learn / NumPy / SciPy인데, 이것이 오픈소스 분석 장(open-source analytics chapter)이 상용 모니터에 대해 짚는 핵심입니다: SIMCA와 ProMV가 제품화하는 T²/SPE 산술은 여기서 읽고, 돌리고, 감사할 수 있는 같은 numpy.linalg.svd입니다.

함께 이들은 실제로 중요한 두 출하-ML 질문을 다룹니다: 이 완성된 배치가 가족에 있는가?(MSPC, 종점과 궤적)와 분석이 우리에게 말해 주기 전에 이 배치가 실패할 것인가?(출하 예측).

왜 중요한가​

출하는 마지막 게이트이며, 틀리는 것이 양방향 모두에서 가장 비싼 게이트입니다. 나쁜 로트를 출하하면 환자가 위험에 처하고, 좋은 로트를 거부하면 수백만 달러짜리 배치가 파괴됩니다. MSPC는 정확히 자율성을 가장하지 않기 때문에 여기서 제값을 합니다 — 그것은 십여-속성 품질 기록을 두 개의 해석 가능한 통계로 압축하고, 모든 개별 결과가 규격 안에 있을 때조차 가족 밖으로 표류한 배치를 잡으며, 조사자를 책임 있는 속성으로 가리킵니다. 우리 예제는 정확히 그것을 하여, 열한 개의 분리된 단변량 차트라면 열한 개의 녹색등과 하나의 조용한 빨간등을 보였을 때, SPE에서 BATCH-2026-004를 표시하고 HCP를 명명합니다. 출하 예측은 경고의 두 번째 층을 더해, 경보를 시간상 더 일찍 옮깁니다 — 그러나 오직 상류에서 자신을 알리는 실패에 대해서만, 그리고 오직 조언으로서만. 관통선은 이 책 전체가 거듭 닿는 그것과 같습니다: 가장 중요한 게이트에서 ML은 강력한 모니터이자 설명자이며, 결정은 인간에게 남습니다.

실제 현장에서는​

상업 바이오의약품 공장은 검증된 모음 — 가장 흔히 Sartorius SIMCA / SIMCA-online 또는 AspenTech ProMV — 위에서 지속적 공정 검증, 황금-배치 모니터링, 결함 탐지를 위해 MSPC를 돌립니다 (상용) [1]. Amgen의 Juncos 시설은 상업적 수확 및 공정 중 데이터 위 SIMCA 기반 OPLS 모델을 공개적으로 기술했는데, 기록상 더 구체적인 제1자 MSPC 배포 중 하나입니다 (상용, 자체보고) [2]. 그 밑의 다방향-PCA 방법은 동료심사된 Nomikos–MacGregor 틀이고 [3], 오픈소스 핵심 — numpy.linalg.svd에 이 장이 보여 주는 T²/SPE 산수 — 은 그 모음들이 제품화하는 것과 같은 수학으로, 검증된 GUI, 감사 추적, 배치-시간 점수 오버레이, 기여도 그림으로 감싸진 것입니다.

RTRT는 더 진중하게 만드는 현실입니다. 그것이 실재하는 곳에서 — Janssen의 Prezista NIR 기반 출하 같은 소분자 연속 제조 (상용) [5] — 그것은 두-주짜리 출하를 약 하루로 무너뜨린 진정한, 규제기관-수용된 성취입니다. 바이오의약품에 대해서는 희소하고 부분적으로 남아 있습니다. 역가는 일상적으로 소프트 센싱되지만, 안전 패널(HCP, DNA, 엔도톡신, 무균성)은 오늘날 규제기관이 출하에 받아들일 인라인 대용물이 없고, 자주 인용되는 비용 절감(Ferring의 ~25% COGS)은 확립된 결과가 아니라 개발-단계 추정입니다 (예시적) [6]. 광범위-업계 그림이 부합합니다: ISPE Pharma 4.0 설문은 ML이 모니터링 — 정확히 이 장의 MSPC와 이상-탐지 작업 — 에 군집해 있고 자율 출하 결정에는 거의 없음을 일관되게 찾아냅니다 [8]. 출하 ML에 대한 정직한 평결은 모니터링이 성숙하고 상용급이며, 예측이 유용하고 조언적이고, 바이오의약품을 위한 자율 실시간 출하는 여전히 지평선 너머라는 것입니다.

핵심 용어​

  • MSPC / MSPM — 다변량 통계 공정 관리/모니터링; 가족 밖인 배치를 표시하기 위해 많은 상관된 품질 속성(과 그 관계)을 한 번에 모델링하는 것.
  • PCA(주성분 분석)(PCA (Principal Component Analysis)) — 많은 상관된 속성을 "좋은 배치의 형태"를 정의하는 몇 개의 직교 주성분으로 압축하는 분해 Z = U S Vᵀ; 적재 P는 상관행렬의 선도 고유벡터.
  • PLS(부분 최소제곱)(PLS (Partial Least Squares)) — PCA의 지도(supervised) 사촌: 속성을 그저 압축하는 대신, 목표 결과(역가, 어떤 CQA)를 가장 잘 예측하는 그 안의 방향을 찾음; 아래 MPLS 뒤의 부모 방법.
  • 점수 / 적재 / 잔차(Scores / loadings / residual) — 모델 평면 안 배치의 좌표(t = z P), 평면을 정의하는 방향(P), 그리고 평면이 표현할 수 없는 배치의 부분(e = z − z P Pᵀ).
  • Hotelling의 T²(Hotelling's T²) — 좋은-배치 구름의 중심으로부터의 평면-내 거리, Σ t_r²/λ_r; 높은 값은 극단적이지만 알아볼 수 있는 배치를 뜻함. 한계는 소표본 F-분포로부터.
  • SPE / Q-통계량(SPE / Q-statistic) — 평면-밖 제곱 예측 오차 ‖e‖²; 높은 값은 어떤 좋은 배치도 보인 적 없는 진정으로 새로운 행동을 뜻함. 보통 가장 먼저 발사되는 통계.
  • 기여도 그림(Contribution plot) — 한계 밖 T² 또는 SPE를 원래 속성으로 도로 분해한 것(SPE의 경우 각 속성의 몫 e_j²/Σe_j²)으로, 어느 변수가 일탈을 구동했는지 명명함.
  • 황금 배치 / 다방향 PCA(MPCA), 다방향 PLS(MPLS)(Golden batch / multiway PCA (MPCA), multiway PLS (MPLS)) — Nomikos와 MacGregor의 배치-공정 궤적 모니터링; I × J × K 배치 × 변수 × 시간 큐브를 I × (J·K) 행렬로 펼쳐, 종점만이 아니라 운전 전체가 정상(황금-배치) 외피에 대해 채점됨. MPCA는 공정 태그를 모니터링하고, MPLS는 그것들을 품질 결과에 회귀시킴. 진화하는(evolving) 형태는 배치가 진행되는 대로 채점하며, 측정되지 않은 미래를 채우고 운전 초기에 한계를 넓힘.
  • RTRT(실시간 출하 시험)(RTRT (real-time release testing)) — 최종-제품 시험을 공정 중 측정이나 모델로 대체하여 제조가 끝날 때 결과가 가용하게 하는 것; 소분자 CM에서 흔하고, 바이오의약품에는 희소함.
  • OOS(규격이탈)(OOS (out-of-specification)) — 수용 기준 밖의 결과로, 처분 전에 조사를 요함; 우리 예제는 0–100 규격 대비 BATCH-2026-004의 128.0 ng/mg HCP.
  • 출하 예측(Release prediction) — 느린 출하 패널이 돌기 전에, 공정 중 특징으로부터 한 배치가 통과할지 OOS로 갈지를 추정하는 조언적 분류기.
  • AUPRC 대 AUROC(AUPRC vs AUROC) — 희소 사건에서는 정밀도-재현율 곡선(유병률을 무기력 베이스라인으로 갖는)이 정직한 성능 지표; ROC는 불균형 분류기를 아첨함.
  • 중첩 교차검증(Nested cross-validation) — 내부 CV 루프에서 초매개변수를 조정하면서 외부 폴드에서 성능을 추정하여, 보고된 점수가 선택으로 낙관적으로 편향되지 않게 하는 것; 여기서 그것은 +0.045의 AUROC 낙관을 제거함(순진한 0.968 대 정직한 0.923).
  • 보정(Brier / ECE)(Calibration (Brier / ECE)) — 예측 확률이 관측된 실패 빈도와 일치하는지(예측된 0.7은 약 70%의 경우에 실패해야 함); Brier 점수와 기대 보정 오차(ECE)가 그것을 측정하며, 낮을수록 좋고, 확률을 출하 임계값 설정에 쓸 수 있게 만드는 것.
  • 결정 임계값(Decision threshold) — 모델의 점수를 수용/표시 결정으로 바꾸는 확률 컷오프; 품질 부서의 위험 감내 — 그리고 놓친-OOS 대 거짓경보 거래 — 가 실제로 사는 곳.
  • 입력 계약(SHACL 출하 셰이프)(Input contract) — 출하 결정을 게이트하는 닫힌-세계 셰이프가 모니터의 입력이 완전하고, 단일하며, 범위 내에 있음을 보장하는 것을 겸함; 채점 전에 그것을 돌리면 "모든 모니터링 속성이 존재하는가?"가 MSPC의 표준화가 조용히 하는 가정이 아니라 검증된 전제조건이 됨.
  • 의미론적으로-근거된 피처(Semantically-grounded feature) — 깨지기 쉬운 컬럼 이름이 아니라 온톨로지 IRI(bp:hcpPpm, 단위-나르는)로 당겨진 모니터링 속성으로, ELN·LIMS·MES에 걸쳐 같은 것을 의미하고 시스템 이름 변경에서 살아남음; 출하 게이트와 모델이 하나의 어휘를 공유하게 하는 규율.
  • CSA / ALCOA+ / Part 11 — 컴퓨터 소프트웨어 보증(조언적이고 인간-확인된 모니터를 결정 시스템보다 훨씬 가벼운 검증 등급에 두는, CSV의 위험-기반 재구성), 평결 카드가 구체화하는 ALCOA+ 데이터-무결성 속성(귀속 가능한 모델 버전, 원본 확인 분석, 추적 가능한 fit_on 가족), 그리고 유형화된 기록이 구성상 만족하는 21 CFR Part 11 / EU Annex 11 감사-추적 규칙.

다음 이야기​

로트가 출하되고, 좋은 단위들이 세어지고 출고가 승인됩니다. 그러나 단 한 바이알이 창고를 떠나기 전에, 그것은 라벨이 붙고, 상자에 담기고, 공급망을 통해 추적될 수 있게 하는 고유 일련번호를 받아야 합니다. 다음 장 포장과 일련번호화: 영상, 추적-추적, 그리고 이상(Packaging and Serialization: Vision, Track-and-Trace, and Anomalies)은 출하된 제품을 포장 라인으로 따라갑니다 — 거기서 머신 비전이 라벨과 코드를 읽고, 추적-추적 데이터가 제품의 하류 계보를 쌓으며, 이상 탐지가 일련번호화가 막으려고 존재하는 유용(diversion)과 위조를 경계합니다.