데이터, 그 연료: 준비도, 특징, 그리고 콜드스타트의 현실

📍 현재 위치: 1부 · 바이오공정에서 학습의 기초 — 2장. 지난 장은 데이터가 작고, 느리고, 살아 있기 때문에 바이오공정이 데이터과학의 규칙서를 깨뜨린다고 논했습니다. 이 장은 한 단계 더 내려갑니다. 어떤 모델이든 학습되기 전에, 데이터는 쓸 수 있는 모양으로 존재해야 하는데 — 대부분의 공장에서는 그렇지 못합니다. 알고리즘 선택이 아니라 데이터 준비도가 1번 장벽입니다.

바이오제조에서 기계학습을 다룬 모든 서베이는 한결같이 멋없는 결론에 도달합니다. 병목은 좀처럼 모델이 아니라는 것. 그것은 데이터입니다 — 접근성, 모양, 출처, 그리고 무엇보다 학습이 가장 필요로 하는 바로 그 순간의 희소성입니다. 한 팀이 scikit-learn, PyTorch, GPU 클러스터, 그리고 리뷰 논문 한 더미를 갖추고도 쓸 만한 것을 아무것도 학습시키지 못할 수 있는데, 배치 기록의 절반은 종이에 살고, 히스토리안과 LIMS는 배치 ID에 합의하지 못하며, 그들이 예측하고 싶은 것의 유일한 정답 측정값은 벤치 분석에서 하루 두 번 도착하기 때문입니다. 이 장은 실제의, 너저분한 바이오공정 데이터 자산을 모델이 실제로 태울 수 있는 연료로 바꾸는 일에 관한 것입니다.

우리는 시종일관 구체적일 것입니다. 달리는 예시는 이 시리즈 전체가 쓰는 바로 그것입니다 — 골든 런 BATCH-2026-001과 그 형제들, 시뮬레이터가 만들어 낸 라만(Raman) 스펙트럼과 오프라인 분석값, 그리고 examples/datasets/hplc_results.csv의 출하 결과입니다. 이 장이 끝날 무렵 여러분은 응용 바이오공정 ML에서 가장 중대한 단 하나의 질문에 대해 방어 가능한 답을 갖게 될 것입니다. 여러분이 보고하는 점수가 실제로 상용에서 얻게 될 점수가 되도록, 데이터를 어떻게 나눌 것인가?

쉽게 말하면

냄새만으로 케이크가 다 익었는지 판단하도록 누군가를 가르치고 싶다고 상상해 보세요. 케이크 백 개를 굽고, 여러 순간마다 각각을 킁킁 맡으며 "다 됨 / 안 됨"을 적습니다 — 그런데 진짜 답은 케이크당 두 번만 쓸 수 있는 온도계에서만 나옵니다. 그것이 바이오공정 데이터입니다. 값싸고 빠른 신호의 홍수(냄새, 매 분)와 느리고 비싼 진실의 졸졸 흐름(온도계, 배치당 두 번)이지요. 두 가지 실수가 수업을 망칩니다. 첫째, 백 개의 케이크가 포스트잇, 공책, 그리고 시간을 다르게 표시하는 세 대의 오븐에 흩어져 있다면, 냄새를 온도계 판독값과 줄 맞추는 것조차 할 수 없습니다 — 그것이 데이터 준비도 문제입니다. 둘째, 학생에게 시험에 나올 바로 그 케이크의 냄새로 연습하게 하면, 시험은 만점을 받지만 다음 케이크에서 실패합니다 — 그것이 데이터 누수이며, 해법은 케이크 통째 — 배치 통째 — 를 경계선의 한쪽에만 온전히 두는 것입니다.

이 장에서 다루는 내용

• 1번 장벽으로서의 데이터 준비도: 사일로, 비-FAIR 데이터, 종이/디지털 혼합, 그리고 "AI 준비된" 데이터가 실제로 요구하는 것.
• 연료가 사는 곳: 히스토리안 / 데이터 그림자(빽빽한 온라인 신호)와 맥락화(숫자에 의미를 부여하는 메타데이터).
• 배치를 위한 특징 공학: 시간 정렬과 워핑, 리샘플링, MPCA를 위한 배치 단위 펼침(unfolding), 그리고 스펙트럼 전처리(기준선 보정, SNV, Savitzky-Golay 도함수).
• 누수의 분류 체계: 행 대 배치 대 시간 분할, 타깃 누수, 그리고 분할 전 스케일링 함정 — 바이오공정 ML에서 가장 흔하고 가장 해로운 실수 계열.
• 하나의 학습 예시의 해부: 이 책의 모든 모델이 소비하는, 맥락화되고 누수를 인식하는 단 하나의 단위를 필드 하나하나 풀어내기.
• 콜드스타트 박자: 하루 한두 번 측정되는 오프라인 기준값, 그리고 왜 "더 많은 데이터"가 항상 "더 많은 정보"를 뜻하지는 않는가.
• 데이터 무결성(ALCOA+): 왜 신뢰할 수 없는 기록으로 학습된 모델은 GxP 아래에서 그 자체로 신뢰할 수 없는가.
• 이 장이 기여하는 모듈: examples/platform/ml/dataio.py, 이후 모든 장이 임포트하는 공유 로더와 배치 인식 분할 헬퍼.

데이터 준비도가 1번 장벽이다

제약 제조에서 AI를 가로막는 것이 무엇인지 실무자들에게 물으면, 답은 압도적으로 모델이 아니라 데이터입니다. 널리 인용된 2024년 산업 연구는 대략 조직의 70%가 AI에 필요한 데이터에 접근하기를 어려워한다는 것을 발견했는데, 데이터가 사일로에 갇혀 있기 때문이며, 그것을 기술하는 데 표준화된 형식이나 온톨로지를 쓰는 곳은 약 39%에 불과합니다 [1] (벤더 자체보고). 바이오공정 문헌이 그리는 그림은 일관됩니다. 데이터는 "사일로화되고, 파편화되고, 활용이 부족한" 채로 남아 있으며, 한 배치의 진실이 검증된 MES, 과학자의 공책, 장비의 로컬 드라이브, 그리고 PDF 사이에 쪼개진 종이-디지털 혼합 기록(hybrid paper-and-digital records) 탓에 더 나빠집니다 (연구/합의) [2].

세 가지 실패 양상이 반복되며, 각각은 모델링 문제이기 한참 전에 공학 문제입니다:

• 사일로. 히스토리안은 온라인 태그를 쥐고, LIMS는 분석값을 쥐며, MES는 배치 기록을 쥐고, 크로마토그래피 스키드는 자기 크로마토그램을 쥡니다. 각자는 내부적으로는 멀쩡하지만 서로에게는 닿을 수 없습니다. 모델은 이 넷 모두를 하나의 배치 정체성으로 조인해야 하는데, 그 조인이 프로젝트에서 가장 어려운 공학인 경우가 많습니다 — 테이블을 조인하는 일이 어려워서가 아니라, 네 시스템이 배치가 무엇인지에 대해 서로 합의하지 못하기 때문입니다. 히스토리안은 장비와 연속 타임스탬프로 키를 잡고, LIMS는 분석가가 타이핑한 샘플 ID로 키를 잡으며, MES는 캠페인-과-로트 문자열로 키를 잡고, 스키드는 전원이 들어올 때마다 1로 리셋되는 런 번호를 기록합니다. 이 네 가지 정체성 관념을 화해시키는 일이 바이오공정 ML 프로젝트 노력의 소리 없는 대다수입니다.
• 비-FAIR 데이터. 데이터셋에 닿을 수 있을 때조차, 그것은 찾을 수 있고(Findable), 접근 가능하고(Accessible), 상호운용 가능하고(Interoperable), 재사용 가능한(Reusable) — 네 가지 FAIR 원칙 — 것이 아닐 수 있습니다 [3]. 사람이 읽을 수 있는 헤더에만 단위가 있고, 스키마가 없으며, 그것이 기술하는 배치로의 링크가 없는 final_FINAL_v3.xlsx라는 이름의 스프레드시트는 기술적으로는 접근 가능하지만 자동화된 파이프라인에는 실질적으로 쓸모가 없습니다. 실무에서 가장 자주 빠지는 것이 상호운용성입니다. 두 공장이 용존 산소를 DO, pO2, dissolved_oxygen_pct로, %, % air saturation, mmHg 단위로 기록하면서, 어느 것이 어느 것인지 기계가 읽을 수 있는 진술이 없습니다. 한쪽으로 학습된 모델은 다른 쪽을 소비할 수 없고, 사람이 모든 열을 손으로 번역해야 하는데 — 그것은 규모를 감당하지 못하고 감사를 견디지 못합니다.
• 종이/디지털 혼합. 양식에 적힌 뒤 나중에 시스템에 키 입력된 측정값은 고유한 타임스탬프 해상도, 장비 메타데이터, 그리고 흔히 불확실성을 잃습니다. 디지털로 포착된 적이 없는 것을 재구성할 수는 없습니다. "4.2 g/L, 14:30"으로 옮겨 적힌 포도당 판독값은 분석기 일련번호, 교정 상태, 정확한 초, 그리고 그것을 돌린 작업자를 잃었습니다 — 모델이 그것에 가중치를 주거나 불신하는 데 쓸 모든 속성, 그리고 규제기관이 물을 모든 속성을 말입니다. 혼합 기록은 단지 불완전한 것이 아니라 되돌릴 수 없게 불완전합니다.

"AI 준비된 데이터"가 제안된 처방이며, 업계 자신의 틀짜기 — BioPhorum의 "제품으로서의 데이터(data as a product)" 워크스트림이 두드러진 예입니다 — 는 데이터셋을 공장을 돌린 부산물이 아니라 소유자, 스키마, 품질 계약, 그리고 소비자를 가진 무언가로 다룹니다 (산업 합의) [2]. 이 책에 깊은 지점은, 이 시리즈의 2권, 3권, 4권이 그 셋을 합쳐 바로 데이터 준비도 해법이라는 것입니다. 2권은 통치된 데이터 점과 히스토리안을 짓고, 3권은 그것을 포착·맥락화·저장하는 오픈소스 스택을 지으며, 4권은 그 척추 전체를 지식 그래프로 모델링해 기계가 그것을 찾고 조인할 수 있게 합니다. 5권은 그 작업이 끝났다고 가정하며 — 이 장이 그 가정을 현금화하는 곳입니다. 이 분야의 모든 서베이가 되풀이하는 정직한 틀짜기는, 이 준비 작업이 노동의 80%이자 헤드라인의 0%라는 것입니다. R²를 보고하는 논문에는 결코 등장하지 않지만, 그것 없이는 R²가 허구입니다.

연료가 사는 곳: 히스토리안과 맥락화

바이오공정 ML은 모양이 이보다 더 다를 수 없는 두 종류의 데이터에서 길어 오며, 이 둘을 혼동하는 것이 흔한 초기 실수입니다.

빽빽한 온라인 스트림은 히스토리안 — 모든 용기의 모든 프로브를, 몇 초마다, 영원히 기록하는 시계열 데이터베이스 — 에 삽니다. 2권에서 이것은 데이터 그림자입니다. 물리적 배치와 나란히 달리는 디지털 흔적이지요. 히스토리안(AVEVA PI System(옛 OSIsoft PI) 아카이브, 또는 오픈소스 대응물)은 바로 이 부하를 위해 지어졌습니다. 대부분-추가(append-mostly), 수십억 개의 타임스탬프 찍힌 태그 값, 그리고 안정된 프로브가 표본 사이에 거의 움직이지 않는다는 사실을 이용하는 압축. 우리 데이터셋에서 데이터 그림자는 fedbatch_timeseries.parquet와 분 단위 박자의 fedbatch_state.parquet(골든 배치만 해도 내부 상태 — 온도, pH, 용존 산소, 교반, 공급 이벤트 — 14일에 걸쳐 20,160행)에 더해, 인라인 raman_spectra.parquet, 동역학 상태와 나란히 읽히는 701개 강도 채널(wn_400 … wn_1800)입니다. 이 신호들은 값싸고 빠릅니다. 배치당 태그당 수천 개의 점이지요. 그것들이 모델의 입력, 곧 특징입니다.

인라인 프로브 메뉴는 라만 하나보다 넓습니다. 근적외(NIR)는 배음(overtone)과 결합(combination) 띠를 읽고, 유전(정전용량, dielectric/capacitance) 분광법은 분극 가능한 세포막을 통해 생존 바이오매스를 추적하며, 2차원 형광(여기-방출 행렬, excitation–emission matrix, EEM) 분광법은 여기 파장 × 방출 파장의 격자를 훑어 방향족 아미노산과 보조인자(트립토판, NAD(P)H, 플라빈)의 고유 형광을 읽어, 바이오매스와 일부 대사물의 소프트 센서 입력으로 쓸 수 있는 다방향(multi-way) 데이터 큐브를 내놓습니다. EEM은 라만과 상보적이며 — 다른 물리를 감지합니다 — 또한 라만 전처리(아래의 SNV와 도함수 단계)가 제거해야 하는 바로 그 넓은 형광 기준선의 원천이기도 하니, 두 프로브는 같은 신호의 양면입니다.

드문드문한 오프라인 기준값은 LIMS와 벤치에 삽니다. offline_assays.csv(생존 세포 밀도, 포도당, 젖산, 글루타민, 암모니아, 삼투압, 역가(titer), 오프라인 pH)와 hplc_results.csv의 출하 결과입니다. 이것들은 비싸고 느립니다. 우리의 시뮬레이션 캠페인에서 각 배치는 정확히 14일에 걸쳐 28개의 오프라인 샘플 — 하루 두 개 — 과 공정 끝의 단 하나의 출하 분석성적서(Certificate of Analysis)를 가집니다. 그것들이 모델의 타깃, 곧 정답이며, 그 수가 사라질 듯 적습니다. 골든 런 BATCH-2026-001은 단량체(monomer) 98.611%와 깨끗한 HCP로 출하되고, 그 OOS 형제 BATCH-2026-004는 규격 최대치 100에 대해 HCP = 128 ng/mg로 실패합니다 — 그리고 그 단 하나의 배치 끝 라벨이, 배치 수준 모델에는, 14일치 빽빽한 입력으로부터 예측하려는 전부입니다.

그러나 날것의 히스토리안 값은 아직 특징이 아닙니다. 숫자 36.51은 그것이 섭씨로 표시된 BR101.Temp.PV(점으로 구분된 태그 이름은 생물반응기 BR101, Temp 측정값, 그 실시간 공정값 PV로 읽힙니다)이고, Good 품질이며, 특정 타임스탬프에, 생산 단계 동안 BATCH-2026-001에 속한다는 것을 알기 전까지는 아무 의미가 없습니다. 그 정체성을 붙이는 일이 맥락화(contextualization)입니다 — 3권이 그 맥락화 계층에서 문자 그대로 만드는 규율이자, 2권이 데이터 점의 생애주기를 통해 추적하는 것입니다. 맥락화는 시스템 간 조인을 가능하게 만드는 것입니다. 라만 스펙트럼 행과 오프라인 역가 행과 출하 판정이 모두 같은 batch_id와 같은 배치 시간 지점으로 키를 잡을 수 있는 이유입니다.

학습에는 두 조각의 맥락이 가장 중요합니다:

• batch_id는 네 사일로를 하나의 조인 가능한 데이터셋으로 바꾸며 — 다음 절이 잔인하게 분명히 하듯이 — 학습 대 시험을 결정하는 필드이기도 합니다.
• 품질 플래그(OPC-UA StatusCode 삼총사 Good / Uncertain / Bad)는 프로브 판독값과 프로브 아티팩트의 차이입니다. Bad 품질 구간으로 학습하는 모델은 생물학이 아니라 센서 고장을 학습합니다 — 그러나 물리적으로는 유효하지만 그래도 배제해야 하는 구간은 다르게 플래그됩니다. 단회용(single-use) 교정 중에 공기에 맞춰 재영점된 DO 프로브는 Good 상태로 "멀쩡하게" 읽히며, 오직 단계/이벤트 맥락(교정 또는 정비 이벤트)만이 그것을 가려야 한다고 알려 줍니다. 장비가 단언한 불량 품질 코드와 교정/정비 구간은 둘 다 학습에서 배제되지만, 서로 다른 필드를 통해 찾습니다 — 상태 코드 대 단계 맥락입니다.

이 책의 예제 모음에 있는 모든 로더는 맥락화된 데이터 — 모든 테이블에 batch_id 열과 비교 가능한 타임스탬프 — 를 가정하는데, 그 가정이 바로 장비-및-센서 장과 맥락화 장이 벌어다 주는 것이기 때문입니다.

그 아래의 온톨로지: 특징은 열 이름이 아니라 타이핑된 엣지다

맥락화는 조인을 풉니다. 온톨로지(ontology)(각 사물이 무엇인지와 사물끼리 어떻게 관계 맺는지를 고정하는, 기계-판독 가능한 공유 어휘 — Book 4)는 그 조인이 공장, 장비, 연식을 가로질러 같은 것을 의미하게 유지합니다. 위의 상호운용 실패 — 한 공장의 DO, 다른 공장의 pO2, 세 번째의 dissolved_oxygen_pct — 는 바로 지식 그래프가 녹여 없애는 문제입니다. 취약한 문자열 열 이름 대신, 특징은 그 IRI(국제화 자원 식별자, 웹-식 전역 이름)로 끌어와지므로, 생물반응기 BR101 위의 용존산소는 어느 사이트가 어떤 히스토리언 태그 문자열을 입력했든 단 하나의 타이핑된 술어 bp:dissolvedOxygenPct입니다. 3권이 이것을 문자 그대로 만듭니다 — BATCH-2026-001 bp:monomerPct 98.611은 저장된 삼중항이고, 그 술어는 다음 분기에 누군가 이름을 바꿀 헤더가 아니라 온톨로지에서 끌어온 IRI입니다. IRI로 끌어온 특징은 장비 교체, 사이트 이전, 그리고 df["DO"]에 키를 잡은 파이프라인을 조용히 깨뜨릴 열 이름 변경을 견뎌 냅니다.

그 시맨틱 접지는 열 이름 파이프라인이 따라올 수 없는 세 가지로 갚아 줍니다:

• 그룹 키는 라벨이 아니라 계보 엣지다. 학습-대-시험을 결정하는 batch_id는, 그래프에서는 bp:derivedFrom 사슬의 머리입니다 — 모든 원료의약품 로트를 그 캡처 풀, 그 생물반응기 배치, 그 시드 트레인을 거쳐 하나의 동결 세포은행 바이알까지 뿌리내리는 추이적 계보 척추입니다. 그 엣지가 추이적으로 선언되어 있기에, "같은 생산 조상을 공유하는 모든 예제"는 취약한 문자열 매칭이 아니라 그래프 질의입니다 — 이것이 바로 배치 하나 빼기(leave-one-batch-out) 분할이 필요로 하는 그루핑입니다. 이름으로는 독립적으로 보이지만 같은 시드 배양에서 내려온 두 로트는 검증에 대해 독립이 아니며, 계보 그래프가 그것을 드러냅니다.
• 측정은 그것을 측정한 운전과 구별되게 유지된다. Book 4는 모든 클래스를 그 상위 온톨로지의 연속체/발생체(continuant/occurrent) 절단 아래에 놓습니다. 역가 값(연속체 — 지속하는 사물)은 그것이 측정된 배양 운전(발생체 — 시간 속에 펼쳐지는 과정)과 다른 종류의 개체입니다. 그 구별은 철학이 아니라, 파이프라인이 실수로 운전별 라벨을 시점별 특징으로 다루는 것을 막는 타입 규율입니다 — 다음 절이 이름 붙이는 바로 그 타깃-누수 함정이지요.
• 출하 셰이프가 곧 훈련-데이터 완전성 점검이다. 로트가 출하될 수 있는지를 결정하는 — 모든 필수 CQA가 존재하고(sh:minCount 1), 단수이며, 범위 안에 있는지 — 바로 그 SHACL 출하 게이트(Shapes Constraint Language — 그래프가 요구된 구조를 갖췄는지를 검증하는 언어)는, 모델 쪽에서 읽으면, 모델이 학습하도록 허용되기 전에 훈련 예제의 입력과 라벨이 완전하고 범위 안에 있다는 보장입니다. 단량체 결과가 빠졌을 때 실패하는 닫힌-세계 셰이프는, 타깃이 결코 도착하지 않은 훈련 행을 실패시켜야 하는 바로 그 셰이프입니다. 훈련 세트를 출하 셰이프에 대해 검증하는 것은 "이 데이터는 학습에 적합한가?"를 희망에서 실제로 돌아가는 게이트로 바꿉니다. 그리고 그것은 실제로 돌아갑니다. 동반 온톨로지의 examples/platform/ontology/train_gate_demo.py는 바로 그 bp:ReleaseShape와 커밋된 출하 레코드를 불러와 허용/거부 판정을 출력합니다 — 출하된 로트(DS-001, DP-001)는 허용하고 규격 이탈 형제 로트(DP-004, bp:hmwPct가 2.0 % 한계 대비 2.41 %에서 걸림)는 거부합니다 — Book 4의 validate.py가 출하를 거르는 그 셰이프 그대로를 여기서는 훈련 허용 결정으로 읽는 것이어서, 주장은 단언이 아니라 점검 가능합니다.

특징이 시맨틱하게 접지되고, 그룹이 계보 엣지이며, 행이 SHACL로 검증된 모델은 그 입력이 구성적으로 FAIR하고 신뢰할 수 있는 모델입니다 — 이것이 Book 4의 온톨로지 작업이 Book 5의 ML에 장식이 아니라 전제 조건인 더 깊은 이유입니다.

완전히 접지된 특징 하나: 단위와 연속체/발생체 BFO 태그를 나르는 IRI로 끌어온 값, 그룹 키 역할을 하는 추이적 bp:derivedFrom 계보 엣지, 그리고 SHACL sh:minCount 1 완전성 게이트 — 이 모두가 모델이 학습하도록 허용되기 전에 훈련 행렬의 한 행으로 조립됩니다. 저자가 AI의 도움을 받아 직접 제작한 그림입니다.

배치를 특징으로 바꾸기

학습된 모델은 직사각형 행렬을 원합니다. 행은 예시, 열은 특징, 그리고 한 열은 타깃입니다. 바이오공정은 그런 것을 전혀 주지 않습니다. 그것은 몇 개의 드문드문한 라벨에 묶인, 불규칙하고, 다중 속도이고, 다중 테이블인 시계열을 줍니다. 네 단계가 그 간극을 잇는데, 각각은 우리가 다시 돌아올 누수 함정을 품고 있습니다.

정렬: 모든 것을 하나의 시계 위에 올리기

온라인 태그, 라만 프로브, 그리고 벤치 분석은 각자 자기 시계와 자기 박자로 돕니다. 첫 번째 일은 정렬(alignment)입니다. 모든 측정값을 공통 시간 틀로 — 보통은 벽시계 시간이 아니라 배치 시간(접종 이후 시간)으로 — 표현해, 한 배치의 7일째가 다른 배치의 7일째와 줄 맞도록 하는 것입니다. 정렬은 또한 사일로를 가로질러 조인하는 곳입니다. 배치 시각 168시에 채취된 오프라인 역가는 바로 그 배치 시각의 라만 스펙트럼 및 온라인 상태와 맞물려야 하며, 그래야 모델이 "이 스펙트럼이 이 역가에 대응한다"를 학습합니다. 조인을 단 몇 시간이라도 틀리면 여러분은 모델에게 거짓을 가르치는 것이며 — 역가가 후반부에 가파르게 오르는 세포 배양에서, 네 시간의 어긋남은 리터당 그램 단위의 실제 오차로서, 라벨에 소리 없이 구워집니다.

배치 시간만으로는 항상 충분하지는 않은데, 두 배치가 서로 다른 경과 시간에 같은 생물학적 상태에 도달할 수 있기 때문입니다 — 느린 시드는 뒤처지고, 빠른 클론은 앞서 달립니다. 궤적을 비교해야 할 때(아래의 배치 수준 모니터링), 순진한 시간별 정렬은 단계를 어긋나게 합니다. 한 배치의 지체기(lag phase)가 다른 배치의 지수기(exponential phase)와 겹치면 비교가 무의미해집니다. 동적 시간 워핑(dynamic time warping, DTW)이 고전적 해법입니다. 한 배치의 시간 축을 다른 배치의 시간 축 위로 비선형으로 늘려, 워핑된 궤적 사이의 총 거리를 최소화함으로써, 모든 배치의 지체기-에서-지수기 전이가 벽시계든 심지어 배치-시계든 언제 일어났든 상관없이 다른 모든 배치의 그것과 줄 맞도록 합니다. DTW가 배치 공정 모니터링에서 표준인 것은 바로 배치 길이와 단계 타이밍 자체가, 모양을 비교하기 전에 보통 제거하고 싶은 변동의 원천이기 때문입니다. 실무에서 성숙 좌표는 흔히 워핑된 시간이 전혀 아니라 적분 생존 세포 밀도(integral viable cell density, IVCD/IVCC) 같은 적분 측도인데 — offline_assays가 이미 나르는 VCD 열이 적분되어 들어가는 그것이며 — 그것에 대해서는 역가와 대사물 상태가 벽시계보다 더 재현성 있게 움직입니다. DTW는 그런 물리적 성숙 변수가 손에 없을 때 쓰는 도구입니다. 비용은 하이퍼파라미터 — 워핑을 얼마나 허용할지 — 와 한 가지 주의입니다. 너무 자유롭게 워핑하면 나쁜 배치를 좋은 배치 위로 정렬해, 잡으려 했던 바로 그 일탈을 지워 버릴 수 있습니다.

리샘플링: 박자 고르기

일단 정렬되면, 신호는 리샘플링(resampling)으로 공유된 박자로 데려와야 합니다 — 고정 격자(10분마다, 또는 1시간마다) 위로 평균 내거나 보간하는 것입니다. 책의 데이터셋이 정확히 이 이유로 10분 격자(fedbatch_timeseries_10min.csv)를 함께 제공합니다. 리샘플링은 형식 절차가 아니라 판단입니다. 너무 촘촘하면 잡음을 나르고 정보 없이 데이터 부피만 부풀리며, 너무 성기면 흔히 신호를 나르는 과도 현상(공급 볼러스, 시뮬레이터가 심는 7일째 온도 일탈)을 흐려 버립니다. 정직한 기본값은 실제로 봐야 하는 가장 느린 것보다 더 촘촘하게 리샘플링하지 않는 것입니다.

리샘플링은 실제 파이프라인을 무는 미묘함을 숨기고 있습니다. 1초 태그를 10분 격자로 다운샘플링할 때는 집계(평균, 마지막값, 최댓값)해야 하며, 그 선택이 중요합니다. 창에 대한 최댓값은 평균이라면 희석해 버렸을 과도 스파이크를 잡습니다. 드문드문한 오프라인 분석값을 스펙트럼과 짝지으려고 빽빽한 격자 위로 업샘플링할 때, 여러분은 라벨을 보간하고 있는 것이며 — 두 벤치 샘플 사이의 역가를 전방 채우기(forward-fill)하거나 선형 보간하는 것은 측정된 적 없는 정답을 지어내는 것입니다. 그 지어낸 라벨은, 보간이 모델이 가져서는 안 되는 정보를 가로질러 닿는다면, 조용한 형태의 타깃 누수입니다. 안전한 패턴은 특징은 자유롭게 리샘플링하되 라벨은 실제로 측정된 시점에서만 짝짓고, 결코 보간하지 않는 것입니다.

배치 단위 펼침: 한 배치 전체를 한 행으로

배치 수준 결과 — 최종 역가, 출하 CQA, 합격/불합격 — 를 예측하려면 각 배치를 한 행으로 만들어야 합니다. 다방향 PCA(multiway PCA, MPCA)와 다방향 PLS(배치 모니터링의 토대, 3권의 분석 장에서 다룸)에서 물려받은 고전적 수법이 펼침(unfold)입니다. (배치 × 변수 × 시간)의 3차원 데이터 큐브를 가져다 각 배치를 하나의 긴 행으로 납작하게 펴고, 모든-시점에서의-모든-변수를 열로 나란히 늘어놓는 것입니다. 이것이 Nomikos-MacGregor 의미의 배치 단위 펼침입니다 — 큐브 I × J × K(배치 × 변수 × 시점)가 행렬 I × (J·K), 배치당 한 행으로 붕괴해, 보통의 PCA나 PLS가 그 위에서 돌 수 있습니다. 7개 태그를 시간 단위 박자로 가진 14일 배치는 대략 2,300개 열의 단일 행으로 펼쳐집니다. 이제 "궤적으로부터 CQA를 예측하라"는 보통의 지도학습 문제입니다 — 배치당 한 행이라는 잔인한 함정과 함께, 그러니 여섯 개의 캠페인 배치는 여섯 개의 학습 행을 줍니다. 이것이 1장의 작은-데이터 벽의 가장 날것 형태이며, 펼쳐진 배치 모델이 심층 신경망이 아니라 차원 축소(PLS, PCA)에 그토록 심하게 기대는 이유입니다. J·K 열이 I 행을 압도적으로 초과하면, 들어맞는 유일한 것은 저랭크 잠재 모델입니다. (배치 단위 펼침은 또한 모든 배치가 같은 길이라고 가정하는데, 바로 그것이 DTW나 다른 궤적 정렬이 보통 먼저 와야 하는 이유입니다.)

시간에 따라 변하는 배치 내 양을 예측하려면 — 지금 당장의 라만 스펙트럼으로부터 지금 당장의 역가 — 펼치지 않습니다. 정렬된 각 시점이 자기 자신의 행이며, 이것이 3권의 MVDA 역가 소프트 센서가 한 줌의 배치로부터 수백 개의 학습 예시를 얻는 방법입니다(이 책 자체의 전용 다룸은 생산 바이오리액터 장입니다). 우리의 raman_spectra.parquet가 정확히 이 모양입니다. 골든 배치 BATCH-2026-001에서 나온 336개 스펙트럼(14일 런에 걸쳐 시뮬레이션된 시간마다 ≈한 개), 각각은 그 순간의 기준 역가와 짝지어진 701채널 행입니다. 이 파일이 단일 배치이기 때문에 그 정직한 검증은 배치 그룹화 분할이 아니라 시간상 앞으로 가는 temporal_split입니다. batch_split은 다중 배치 코호트를 위해 남겨 둡니다. 어느 틀을 고르느냐 — 배치당 한 행이냐, 시점당 한 행이냐 — 가 하류의 모든 것을 좌우하며, 거기에는 분할할 때 그룹이 무엇인가도 포함되는데, 그것이 다음 절의 주제입니다.

스펙트럼 전처리: 기준선, SNV, 그리고 도함수

날것의 라만 또는 근적외(near-infrared) 스펙트럼은 모델에 바로 쓸 수 없습니다. 그것은 기준선 드리프트(baseline drift)(형광과 장비에서 오는 느린 곡률), 곱셈적 산란(multiplicative scatter)(프로브 오염, 기포, 또는 경로 길이 변화로 스펙트럼 전체가 위아래로 스케일됨), 그리고 원하는 화학과는 아무 상관 없는 고주파 검출기 잡음을 나릅니다. 화학계량학(chemometrics)에는 작고 수십 년 된 표준 전처리 단계의 도구함이 있으며, 거의 모든 상용 분광 소프트 센서는 그것들의 어떤 조합을 씁니다 [8]:

• 기준선 보정(baseline correction)은 날카로운 화학 피크 아래에 깔린 느리고 넓은 배경 — 라만에서는 대개 형광 — 을 제거합니다. 방법은 저차 다항식을 적합해 빼는 것부터 비대칭 최소제곱(asymmetric least-squares, AsLS) 기준선까지 다양합니다. 목표는 화학이 실제로 만들어 내는 피크만 남기는 것입니다. 그것 없이는 드리프트하는 형광 배경이 모델에 필요한 바로 그 띠를 압도할 수 있습니다.

• 표준정규변량(Standard Normal Variate, SNV). 각 스펙트럼마다 독립적으로, 자기 자신의 평균을 빼고 자기 자신의 표준편차로 나눕니다:

  x_snv[i] = (x[i] − mean(x)) / std(x)        # for each spectrum, over its 701 channels

  이것은 곱셈적 산란과 스펙트럼별 오프셋을 제거하므로, 살짝 오염된 창과 깨끗한 창을 통해 찍힌 같은 배양액의 두 스펙트럼이 비교 가능해집니다. 이 장에 가장 중요한 SNV의 단 하나의 성질은 이것이 스펙트럼마다, 자기 자신의 채널에 대해 계산된다는 것입니다 — 다른 어떤 스펙트럼도 결코 들여다보지 않으므로 — 따라서 구성상 누수가 없습니다(leak-free by construction). 학습/시험 분할 전이든 후이든 적용해서 동일한 숫자를 얻을 수 있는데, 각 행의 변환이 오직 그 행에만 의존하기 때문입니다. (곱셈적 산란 보정, MSC는 비슷한 목표를 이루지만 평균 스펙트럼(mean spectrum)을 참조하는데 — 그 평균이 시험 행을 포함한 전체 데이터셋에 대해 계산되면 누수가 생깁니다. SNV를 선호하거나, MSC 기준값을 학습 데이터에만 적합시키세요.)

• Savitzky-Golay 평활화와 도함수. 슬라이딩 창 안에서 저차 다항식을 적합한 뒤, 그것을 평가하거나(평활화) 그 1차 또는 2차 도함수를 취합니다. 이것은 기준선을 제거하고(1차 도함수는 상수 오프셋을 죽이고, 2차 도함수는 선형 기울기를 죽임) 잡음을 평활화하며, 겹친 피크를 날카롭게 합니다. 창 길이(window length)와 다항식 차수(polynomial order)는 진짜 하이퍼파라미터이며 — 창이 너무 넓으면 피크를 번지게 하고, 너무 좁으면 잡음을 증폭합니다 — 모든 하이퍼파라미터처럼 학습 폴드 위에서 골라야지, 결코 시험 집합에 맞춰 조정해서는 안 됩니다.

수학은 수수하지만 규율은 그렇지 않습니다. 전처리는 모델의 일부이며 — 곧 스케일링에 대해 보겠지만 — 그 매개변수는 학습 데이터에만 적합되어야 합니다. SNV와 Savitzky-Golay는 스펙트럼별이라 어느 순서로든 안전합니다. 그러나 데이터셋 전체로부터 학습하는 어떤 전처리(스펙트럼 간 평균 중심화, PCA 잡음 제거, 전역 StandardScaler, MSC 기준 스펙트럼)도 분할 전에 적합하면 누수 함정입니다. 이 구별 — 행별 변환은 안전하고, 행 간 변환은 분할을 인식해야 한다 — 이 그 으뜸 죄로 가는 다리입니다.

누수의 분류 체계: 행 대 배치 대 시간, 그리고 그 사이의 함정들

여기가 이 장에서 가장 중요한 절입니다. 데이터 누수(data leakage)는 학습 중에 시험 집합의 정보가 모델에 닿는 어떤 경로든 가리키며, 보고된 점수를 상용에서 얻을 점수보다 좋게 만듭니다. 바이오공정에서 그것은 몇 가지 뚜렷한 형태를 띠며, 이 분야 자신의 리뷰는 — 작은-데이터 체제와 더불어 — 그것을 보고된 성공이 그토록 자주 재현되거나 이전되지 못하는 두 가지 기술적 이유 중 하나로 꼽습니다 (연구/합의) [4]. 각각에 다른 처방이 있으니, 이름을 붙이세요.

1. 행 단위 분할(그 으뜸 죄). 가장 흔하고, 가장 유혹적이며, 가장 해로운 실수는 정렬된 시점 테이블을 가져다 행을 섞고 70/30으로 학습과 시험으로 나누는 것입니다. 보고된 R²는 장관일 것이며 — 그리고 무의미할 것입니다. 그 이유는 시간적 및 배치 내 자기상관(temporal and within-batch autocorrelation)입니다. 같은 배치에서 한 시간 간격으로 찍힌 두 라만 스펙트럼은 거의 동일합니다. 같은 세포, 같은 배지 로트, 같은 프로브, 같은 오염, 거의 같은 역가지요. 그중 하나가 학습 집합에, 다른 하나가 시험 집합에 있으면, 모델은 사실상 답을 본 것입니다 — 일반화하는 게 아니라 거의-중복인 두 점 사이를 보간하는 것이지요. 행 단위 무작위 분할은 모든 배치에서 거의-쌍둥이를 학습/시험 경계 너머로 흩뿌리므로, 시험 집합은 학습 집합과 독립적이지 않습니다. 여러분은 암기를 측정하고 그것을 솜씨라 부릅니다. 처방은 그룹화 분할(grouped splitting)입니다. 주어진 배치의 모든 행이 학습으로 온전히 가거나 시험으로 온전히 가고 — 결코 둘 다 아닙니다. 그러면 시험 배치는 진정으로 보지 못한 공정이고, 점수는 "이것이 다음 배치에서 어떻게 할까?"의 정직한 추정치입니다 — 제조에서 중요한 유일한 질문이지요. 같은 논리가 교차검증에 GroupKFold(배치로 그룹화)를, 배치가 귀할 때 배치 하나 빼기(leave-one-batch-out) 방식을 강제합니다. 하이퍼파라미터를 조정까지 할 때는 정직한 추정치에 중첩 교차검증(nested cross-validation, CV)이 필요합니다 — 안쪽 루프에서 조정하고 손대지 않은 바깥 폴드에서 점수를 매기는 것으로, 출하 예측기에서 시연합니다 — 보고하는 바로 그 폴드에서 선택하는 것은 낙관적으로 편향되기 때문입니다. 올바른 그룹화 분할 안에도 한 가지 미묘함이 숨습니다. 어떤 슬라이딩 창 변환(Savitzky-Golay, 평활화 필터, DTW 정렬)도 학습/시험 절단을 가로질러서는 안 되며, 평균화되거나 다중 프로브로 취득된 복제 스펙트럼은 자기 그룹과 같은 쪽으로 가야 합니다 — 그렇지 않으면 시험 행의 가까운 이웃이, 깨끗하다고 여겼던 경계 너머로 누수됩니다(알려진 화학계량학 검증 실패 양상).

2. 시간적 누수(미래로 학습하기). 단일 배치 안에서조차 — 진짜로 배치가 하나뿐이라 그룹화 분할이 불가능한 경우 — 무작위 분할은 누수를 일으키는데, 모델이 배치 시각 200에서 학습하고 배치 시각 100에서 시험할 수 있어, 과거를 예측하려고 미래를 학습하기 때문입니다. 실시간으로 앞으로 돌 소프트 센서는 시간상 앞으로 검증되어야 합니다. 타임라인의 이른 부분으로 학습하고 나중의 꼬리로 시험하여, 모델이 상용에서 그러할 것처럼 정확히 앞으로 외삽하도록 강제하는 것입니다. 그것이 공유 로더의 temporal_split입니다. 시간적 누수는 특징에도 숨습니다. 미래 값을 몰래 부호화하는 어떤 특징(끝까지 가는 "배치-종료까지의-시간" 열, 끝까지 달리는 누적합, 앞으로 닿는 평활화 창)이든 모델을 추론 시점에 갖지 못할 정보로 학습시킵니다.

3. 타깃 누수. 답의 대리물인 특징 — 또는 예측 시점에 존재하지 않을 특징 — 은 점수를 부풀린 뒤 상용에서 사라집니다. 고전적 바이오공정 판본은 이렇습니다. 그 자체가 최종 역가를 써서 도출된 특징(정규화 수율, 종점으로 계산한 세포당 생산성)으로 최종 역가를 예측하기, 또는 실제로는 하류 재작업 플래그인 인-프로세스 특징으로 출하 OOS를 예측하기. 리샘플링 절의 보간된-라벨 함정도 타깃 누수입니다. 역가 라벨을 한 창에 걸쳐 전방 채우기 하면 다음 벤치 측정값이 그 앞의 행들로 누수됩니다. 처방은 하나의 엄격한 규칙 — 모든 특징은 예측 순간보다 엄격히 이전에 가용한 데이터로부터 계산 가능해야 한다 — 과, 의심스럽게 강한 특징마다 "추론 시점에 내가 정말 이것을 가지고 있을까?"라고 묻는 습관입니다.

4. 분할 전 스케일링(과 전처리). 모든 것 중 가장 조용한 함정. 전체 데이터셋에 StandardScaler, PCA, 또는 어떤 행 간 변환을 적합한 뒤 분할하기. 스케일러의 평균과 표준편차가 이제 시험 행을 부호화하므로, 시험 집합이 학습 변환으로 누수된 것입니다 — 점수는 낙관적이고, 누수는 모든 코드 리뷰에서 보이지 않습니다. 처방은 기계적이고 절대적입니다. 학습된 모든 변환을 학습 폴드에만 적합한 뒤, 시험 폴드에 적용하라. scikit-learn에서 Pipeline이 있는 이유가 바로 이것입니다 — 그것은 "학습에 적합, 시험에 변환"을 기본으로 만들고 누수가 있는 대안을 쓰기 어색하게 만듭니다. 행별 변환(SNV, Savitzky-Golay)은 결코 행을 가로질러 보지 않으므로 예외입니다. 그 밖의 모든 것은 교차검증 루프 안에 살며, 폴드마다 적합되어야 합니다.

이 함정은 숨기 때문에 보이는 것보다 더 나쁩니다. 누수가 있는 분할은 모든 코드 리뷰를 통과하고, 아름다운 예측-대-측정 산점도를 만들며, 모델이 상용에서 일곱 번째 배치를 만나 무너질 때까지 살아남습니다 — 그 시점에 여러분의 인허가 자료 속 검증 증거는 틀린 것입니다. 분할을 제대로 하는 것이 전체 파이프라인에서 가장 값싼 보험이며, examples/platform/ml/dataio.py는 누수 없는 선택을 기본으로 만들어 어떤 후속 장도 우연히 함정에 빠질 수 없게 합니다.

바이오공정 ML의 결정적 선택, 두 번 그려짐: 행 단위 무작위 분할(왼쪽)은 거의-중복인 배치 내 이웃들을 학습/시험 경계 너머로 흩뿌리고 환상적인 점수를 보고하는 반면, 배치 그룹화 분할(오른쪽)은 배치 통째를 한쪽에 두어 떼어 둔 배치가 진정으로 보지 못한 것이 되고 점수는 정직하다 — 정답이 하루에 한두 번만 도착한다는 콜드스타트 현실을 배경으로. 저자가 AI의 도움을 받아 직접 제작한 그림입니다.

공유 로더와 누수 없는 분할, 코드로

이 장은 examples/platform/ml/dataio.py — 이후 모든 장이 임포트하는 토대 모듈 — 를 기여합니다. 그것은 커밋된 데이터셋을 적재하고, 배치 정체성으로 조인하며 — 결정적으로 — 누수 분류 체계를 아우르는 세 가지 분할 헬퍼를 제공합니다. 부풀려진 메트릭을 오로지 시연하기 위해 보관한 의도적으로 누수가 있는 random_split, 단일 배치 소프트 센서를 위한 정직한 배치 내 temporal_split, 그리고 배치가 둘 이상일 때마다 옳은 답인 배치 통째 batch_split입니다. 아래 발췌는 그 모듈의 심장입니다 — load_raman()은 batch_id 열을 지닌 채로 전체 프레임을 돌려주므로, 호출자는 raman_xy()가 돌려주는 X/y 배열과 나란히 그룹 키를 쥐고 있으며, 대비가 놓칠 수 없도록 세 분할이 나란히 놓입니다.

# examples/platform/ml/dataio.py — shared loaders + leakage-aware splits
from pathlib import Path
import numpy as np
import pandas as pd

DATASETS = Path(__file__).resolve().parents[1] / "datasets"   # examples/datasets


def load_raman() -> pd.DataFrame:
    """Golden-batch in-line Raman: 336 spectra x 701 wavenumbers + reference labels."""
    return pd.read_parquet(DATASETS / "raman_spectra.parquet")


def raman_xy(df: pd.DataFrame | None = None, label: str = "titer_g_L"):
    """Return (X spectra, y label, wavenumber column names)."""
    df = load_raman() if df is None else df
    wn = [c for c in df.columns if c.startswith("wn_")]
    return df[wn].to_numpy(float), df[label].to_numpy(float), wn


# --- leakage-aware splits ---------------------------------------------------
def temporal_split(df: pd.DataFrame, ts_col: str = "ts", frac_train: float = 0.7):
    """First `frac_train` of the timeline trains; the later tail tests
    (honest for a SINGLE batch — the model must extrapolate forward in time)."""
    order = df.sort_values(ts_col)
    cut = int(len(order) * frac_train)
    return order.iloc[:cut], order.iloc[cut:]


def random_split(df: pd.DataFrame, frac_train: float = 0.7, seed: int = 2026):
    """A deliberately leaky row-split, kept ONLY to demonstrate the inflated metric."""
    rng = np.random.default_rng(seed)
    idx = rng.permutation(len(df))
    cut = int(len(df) * frac_train)
    return df.iloc[idx[:cut]], df.iloc[idx[cut:]]


def batch_split(df: pd.DataFrame, batch_col: str, test_batches):
    """Hold out WHOLE batches — the only split that estimates performance on a
    genuinely unseen run. Every row of a test batch is wholly on the test side."""
    test_batches = set(test_batches)
    is_test = df[batch_col].isin(test_batches)
    return df[~is_test], df[is_test]

이 세 함수는 위 분류 체계의 작동하는 예시입니다. random_split은 코드 형태의 으뜸 죄이고(그것이 얼마나 심하게 거짓말하는지 데모가 보여 줄 수 있도록 오로지 보관됨), temporal_split은 진짜로 배치가 하나뿐이라 앞으로 외삽해야 할 때의 답이며, batch_split은 배치가 둘 이상이 되는 순간의 답입니다. 분할을 인식하는 전처리 규율은 그것이 속한 곳 — 각 모델의 scikit-learn Pipeline 안, 폴드마다 적합됨 — 에 살므로, 로더는 그저 제공하는 데이터로부터 아무것도 학습할 필요가 없습니다.

살아 있는 소프트 센서를 골든 배치에서 돌리면 매우 높은 점수가 나옵니다 — 그리고 규율은 왜 그런지를 읽는 데 있습니다:

$ python -m soft_sensor_pls
PLS soft sensor (titer from SNV+SavGol Raman): R2=0.9944 RMSE=0.127 g/L
  n_components=5 (inner 5-fold CV, one-SE rule; inner-CV R2=0.9905), 701 wavenumbers, 235 train / 101 test, 702 coefficients
  VIP > 1 on 389 wavenumbers; top bands: 1274cm-1 (VIP 1.41), 1276cm-1 (VIP 1.4), 1272cm-1 (VIP 1.4) ...
  applicability domain (train 99th pct): T2<=17.164, SPE<=503.542 | held-out spectra in-domain=99%, corrupted spectrum flagged=True
ASSERT ok: R2 > 0.85, VIP names the bands, and the AD gate flags an out-of-domain spectrum while passing genuine ones.

이 모듈은 이 장이 가르치는 바로 그 SNV-더하기-Savitzky-Golay 전처리를 적합하고, 안쪽 5-겹 교차검증이 1-표준오차 규칙으로 n_components를 고르게 하며(여기서는 하드코딩된 수가 아니라 5), 그런 다음 골든 배치의 시간별 스펙트럼에서 무작위 조각을 떼어 둡니다 — 그래서 0.9944는 보간(interpolation) 점수입니다. 곧 한 런 안에서, 벤치 샘플 사이에서 센서가 역가를 얼마나 잘 추적하는가입니다. (함께 나오는 RMSE=0.127 g/L는 평균제곱근오차(root mean square error)로, 모델의 전형적 빗나감을 타깃 자신의 단위 — 여기서는 리터당 그램 — 로 표현한 것이며, VIP는 투영 변수 중요도(variable importance in projection)로, 어느 라만 띠가 PLS 예측을 이끄는지 짚는 파수별 점수입니다. VIP가 1을 넘는 띠가 영향력 있는 띠입니다.) 그 숫자는 이 내부적으로 일관된 시뮬레이션 배치에서 옳은 이유로 높습니다 — 스펙트럼이 역가 신호를 깨끗하게 나르고 SNV 변환이 스펙트럼별이라 누수가 없기 때문입니다 — 그러나 그것은 단연코 배치 간 일반화의 척도가 아닙니다. 정직한 배치 간 질문(이 교정이 새 배치에서 살아남을까?)은 바로 위의 행 단위-대-시간 대비가 경고하는 것이며, 기술 이전과 드리프트 장의 다중 배치 교정이 실제로 시험하는 것입니다. 실제 라만에서는 배치 내 보간 점수와 진짜 배치 간 성능 사이의 간극이 보통 크며, 한 배치 안에서 훌륭해 보였던 모델이 첫 새 배치에서 곧장 실패한 것으로 알려져 있습니다.

출력의 마지막 줄은 적용 영역(applicability domain, AD)이라 불리는 안전 게이트입니다. 그것은 새 스펙트럼이 모델이 학습한 것들을 닮기라도 했는지를 묻습니다. 두 거리가 그것을 잽니다 — T²(호텔링의 T-제곱, Hotelling's T-squared, 스펙트럼이 모델의 잠재 인자 안에서 학습 데이터의 중심으로부터 얼마나 멀리 앉아 있는지)와 SPE(제곱 예측 오차, squared prediction error, 모델이 스펙트럼을 도통 설명하지 못하는 양). 둘 중 하나라도 학습 집합이 세운 문턱(여기서는 99번째 백분위수, T2<=17.164, SPE<=503.542)을 넘으면 입력은 영역 밖(out-of-domain)으로 플래그되고 센서는 자기 자신의 예측을 믿기를 거부합니다 — 바로 그것이 점검에서 의도적으로 손상시킨 스펙트럼이 flagged=True인 반면 진짜 떼어 둔 스펙트럼은 통과하는 이유입니다.

하나의 학습 예시의 해부

이 책의 모든 모델은 같은 원자 단위를 소비합니다. 하나의, 맥락화된, 누수를 인식하는 학습 예시(training example)입니다. 하나를 떼어 보면 이 장 전체가 필드로 펼쳐집니다. 아래 예시는 골든 런의 정렬된 한 시점입니다 — 라만 스펙트럼, 그 순간의 온라인 상태, 배치 시간 인덱스, 그것과 짝지어진 오프라인 기준 역가, 그리고 그것을 누수 없이 지키는 그룹 키.

하나의 학습 예시, 완전히 풀어냄: 빽빽하고 값싼 특징(라만에 더해 정렬된 온라인 상태), SNV 전처리된 스펙트럼, LIMS에서 온 드문드문하고 비싼 타깃, 그것이 분할의 어느 쪽에 떨어질지를 홀로 결정하는 batch-id 그룹 키, 그리고 GxP 아래에서 학습할 만큼 신뢰할 수 있게 만드는 출처와 ALCOA+ 속성. 저자가 AI의 도움을 받아 직접 제작한 그림입니다.

카드를 위에서 아래로 읽으면 논증이 완성됩니다.

• 특징은 값싸고 빠른 신호입니다 — 701채널 스펙트럼과 정렬된 온라인 상태(36.51 °C, pH 7.04, 용존 산소, 교반), 연속적으로 가용하고 배치당 수천 행입니다. 그것들은 거의 비용이 들지 않으며 언제든 더 모을 수 있습니다.
• SNV 전처리된 행은 스펙트럼의 모델에 바로 쓸 수 있는 변환으로, 스펙트럼별로 계산되어 누수가 없습니다. 이 정확한 행은 학습에 떨어지든 시험에 떨어지든 동일할 것이며, 그것이 스펙트럼 전처리를 분할 밖에서 안전하게 만드는 성질입니다.
• 초록색 타깃은 느리고 비싼 진실입니다. 배치 시각 168에서 샘플이 뽑혀 벤치에서 돌려졌기 때문에만 존재하는 오프라인 역가 — 14일 배치 전체에서 단 스물여덟 개뿐인 그런 샘플 중 하나입니다. 이것이 이 장 전체가 둘러싸고 조직된 희소 자원입니다.
• 시안색 그룹 키 — batch_id = BATCH-2026-001 — 는 한낱 메타데이터처럼 보이지만 카드에서 가장 강력한 필드입니다. 이 예시가 모델을 학습시킬지 시험할지를 홀로 결정하며, 그것을 틀리는 것이 위의 행 단위 누수입니다. dataio.py의 모든 분할 헬퍼가 키를 잡는 필드이지요.
• 보라색 출처 블록은 GxP 아래에서 이 예시를 애초에 허용 가능하게 만드는 것입니다. 그것을 출처에 묶는 히스토리안 태그 IRI들과 LIMS sample_id, 정확히 어느 데이터인지 못 박는 MANIFEST.sha256의 데이터셋 해시, 그리고 그것을 그저 데이터가 아니라 데이터 무결성으로 만드는 ALCOA+ 속성(귀속 가능, 동시적, 원본).

카드는 또한 콜드스타트 비대칭을 한눈에 보이게 합니다. 특징 블록의 모든 필드는 배치당 수천 번 되풀이되는 반면, 단 하나의 초록색 타깃은 스물여덟 번 되풀이됩니다. 다음 절은 왜 알고리즘이 아니라 그 비대칭이 이 책 나머지의 모양을 짓는 제약인지 이름 붙입니다.

콜드스타트의 현실: 빽빽한 특징, 드문드문한 진실

이제 이후 모든 장의 모양을 짓는 제약에 이름을 붙입니다. 우리 데이터셋에서 비대칭은 정확합니다. 라만 프로브와 온라인 태그는 배치당 수백에서 수천 행을 만들어 내는데(골든 배치만 해도 분 단위 박자 상태 20,160행과 336개 스펙트럼), 오프라인 기준값 — 역가, 대사물, 생존성의 유일한 정답 — 은 하루 두 번 표집되어, 14일 배치에 걸쳐 28번, 그리고 출하 CQA는 정확히 한 번, 끝에 표집됩니다. 바이오공정 ML 문헌은 이것을 콜드스타트 문제(cold-start problem)라 부릅니다. 살아 있는 시스템은 오프라인 기준값에 의해 드문드문하고 낮은 차원으로 관측되며, 런-대-런 변동성이 "이전성을 심하게 훼손하고", 모델은 상용에서 빠르게 부패합니다 (연구/합의) [4].

그 런-대-런 변동성은 단지 서사가 아닙니다. 이름 붙은 기전적 원천 — 원자재(배지) 로트, 세포 계대(passage) 횟수, 그리고 작업자 또는 교대조 — 는 이제 시뮬레이터로 뒷받침되는 코호트에 배치별 메타데이터로 기록되어, 모델이 그것들을 조건화하거나(로트를 특징으로 다루기) 그것들로 층화할 수 있습니다(로트 하나 빼기(leave-one-lot-out) 평가, 또는 로트 고정효과). 시드-트레인 계보 자체가 그런 원천 중 하나입니다. 계보 WCB-CHO-001 → SEED-001 → 생산 배치는 접종원 나이와 계대 이력을 배치별로 나르며(아래 픽스처가 그것을 계대 7–39로 부호화합니다), 접종원 상태는 배지 로트와는 구별되는 주요 CHO 플랫폼 변동성 원천입니다 — 검증이 떼어 두거나 모델이 조건화할 수 있는 또 하나의 층이지요. 이후 장들이 길어 오는 픽스처가 그 오프셋을 구체적으로 보여 줍니다:

cohort: 60 batches; OOS=10 (17%); titer 2.60-10.48 g/L; HCP 19-123 ng/mg
  mean titer by raw-material lot: LOT-A 5.63, LOT-B 4.56, LOT-C 5.39  | passage 7-39

원자재 로트는 평균 역가를 눈에 띄게 이동시키며(LOT-A 5.63과 LOT-C 5.39에 대비해 LOT-B는 4.56 g/L) — 바로 배지 로트 변경이 들이는 종류의 체계적 오프셋이고, 바로 드리프트 검출기의 PSI(개체군 안정성 지수, population stability index)가 잡으려고 만들어진 종류의 입력-분포 이동입니다. 로트를 기록하는 것은 숨은 교란변수를 모델이 쓸 수 있는 특징으로, 또는 검증이 떼어 둘 수 있는 층(stratum)으로 바꿉니다.

가장 큰 그런 이동은 사실 로트 변경이 전혀 아니라 스케일 또는 사이트 변경입니다. 벤치나 파일럿 생물반응기에서 훈련된 교정은 다른 프로브 기하, 다른 혼합·물질전달 영역, 그리고 공정이 제조-규모 용기로 이전될 때 흔히 다른 히스토리언과 태그 사전을 마주합니다 — 그래서 한 스케일에서 정직했던 소프트 센서가, 세포주와 배지를 고정한 채로도, 다음 스케일에서는 체계적으로 편향될 수 있습니다. 이것이 기술이전과 스케일업(technology transfer and scale-up)이며, 콜드스타트 문제의 바이오공정 판본이 그와 함께 되돌아옵니다. 모든 새 스케일이나 사이트는, 사실상, 모델이 그 분포를 결코 본 적 없는 완전히 새로운 배치들의 코호트입니다. 기술이전 장은 이것을 자체의 검증 질문(이 교정이 그 이동을 견뎌 낼까?)으로 다루며, 실무적 방어막은 배지 로트에 대한 것과 같은 계보·메타데이터 규율입니다 — 스케일, 용기, 사이트를 배치별 메타데이터로 기록하여, 로트 하나 빼기(leave-one-lot-out) 평가가 배지 로트를 떼어 두듯, 검증이 한 스케일 전체를 떼어 둘 수 있게 하는 것이지요. 데이터가 무엇을 담을 수 있는지조차 두 가지 제조 사실이 빚습니다. 신호가 존재하는 까닭은 오직 장비와 용기가 설비 자격(equipment qualification)(프로브와 생물반응기가 규격대로 설치·운전·성능을 낸다는 IQ/OQ/PQ 증거 — 교정된 프로브가 신뢰할 수 있는 Good 품질 플래그의 전제 조건입니다)을 통과했기 때문이고, 배치당 단 하나의 출하 CQA가 존재하는 까닭은 오직 품질부서가 기록을 검토하고 로트를 처분하는 배치 출하 워크플로(batch-release workflow)의 끝에서이기 때문입니다. 따라서 모델의 가장 드문 라벨은 측정하기에 비쌀 뿐 아니라 — 규제되는 인간 결정의 산출물이며, 이것이 그것이 느리게 도착하고 주문대로 제조될 수 없는 또 하나의 이유입니다.

이것은 책 나머지가 거듭 부딪히는 세 가지 단단한 결과를 가집니다:

1. 희소 자원은 특징이 아니라 타깃이다. 스펙트럼은 언제든 더 모을 수 있지만, 역가는 쉽게 더 모을 수 없습니다. 바이오공정에서 이기는 모든 방법 — 하이브리드 모델, 전이 학습, 베이지안 사전분포, 준지도 학습 — 은 근본적으로 비싼 라벨을 더 적게 쓰는 방법입니다. 이것이 순수 종단간(end-to-end) 심층 학습이 여기서 그토록 자주 멈추는 이유를 설명하는 관통선입니다 [4]. 수천 개의 가중치를 가진 신경망이 그것을 배울 라벨은 수십 개입니다.
2. 드리프트는 늦게 검출된다. 정답이 하루 두 번 도착하기 때문에, 아침 식사 때 드리프트하기 시작한 소프트 센서는 저녁 샘플이 돌아올 때까지 입증 가능하게 틀리지 않습니다. 드리프트 플래그는 구성상 지연(lagging) 지표입니다 — 2권의 소프트 센서 장이 이름 붙이고 이 책의 22장이 우회 설계해야 하는 문제이지요. 소프트 센서의 요점 전체가 오프라인 샘플 사이의 간극을 메우는 것이며, 그것은 곧 그것이 가장 유용한 바로 그 구간이 그것을 믿을지 아직 알 수 없는 구간이라는 뜻입니다.
3. 데이터 부피는 정보가 아니다. 한 배치에서 나온 백만 개의 라만 점은 여전히 공정이 런-대-런으로 어떻게 거동하는지에 대해 한 배치치 정보입니다. 태그를 1초에서 1분 박자로 리샘플링해도 거의 아무것도 잃지 않는데, 이웃한 초들이 거의-중복이기 때문입니다. 배치 수준 모델을 실제로 제한하는 양은 독립적인 배치의 수이며, 그것은 하나씩, 느리게, 매번 몇 주와 거금의 대가로 늘어납니다. 행을 정보와 혼동하는 것은 옷을 갈아입은 행 단위 분할과 같은 오류이며 — 그것이 모델이 상관된 20,000행에서 0.99를 보고하고도 거의 아무것도 모를 수 있는 이유입니다.

데이터 무결성: 신뢰할 수 없는 데이터로는 학습할 수 없다

모든 공학 위에 자리하는 마지막 준비 관문이 있습니다. GxP 아래에서 모델은 그것이 학습한 데이터만큼만 신뢰할 수 있으며, "신뢰할 수 있는"에는 형식적 정의가 있습니다. ALCOA+는 규제기관이 기대하는 데이터 무결성 표준입니다 — 데이터는 귀속 가능(Attributable), 가독적(Legible), 동시적(Contemporaneous), 원본(Original), 정확(Accurate)해야 하며, 더해서 완전(Complete), 일관(Consistent), 지속(Enduring), 가용(Available)해야 합니다 [5]. 그 속성 하나하나는 종이 작업의 뒷생각이 아니라 정직한 학습의 전제조건입니다:

• 귀속 가능 그리고 원본 — 각 값을 어느 장비, 어느 배치, 어느 작업자가 만들었는지 알아야 하며, 그렇지 않으면 규제기관(또는 디버깅하는 엔지니어)이 물을 출처를 재구성할 수 없습니다. 이것이 해부 카드의 출처 블록입니다. 또한 센서 고장으로 조용히 학습하는 대신 알려진-불량 프로브 구간을 배제하게 해 주는 것이기도 합니다.
• 동시적 — 일어난 시점에 기록된 값은 특징 공학이 의존하는 정렬을 보존합니다. 종이 양식에서 뒤늦게 키 입력된 값은 이미 자기 진짜 시계를 잃었고, 위의 정렬 단계는 그것을 조용히 틀린 스펙트럼에 조인할 것입니다.
• 완전 그리고 일관 — 조용히 떨군 행이나 조용히 화해시킨 이상치는 어떤 검증 집합도 잡지 못할 방식으로 모델을 편향시키는데, 편향이 학습과 시험 양쪽에 구워지기 때문입니다. 누군가 불편한 일탈을 지운 "정제된" 데이터셋은 여러분이 가장 예측해야 할 바로 그 사건을 무시하도록 학습한 데이터셋입니다.

5권이 거듭 돌아오는 규제 프레임워크 — FDA의 2023년 토론 문서와 2025년 신뢰성 프레임워크, 초안 EU/PIC/S GMP Annex 22, 그리고 ISPE GAMP AI 가이드 — 는 모두 데이터 무결성과 데이터 관리를 신뢰할 수 있는 모델의 첫 번째 기둥으로, 알고리즘이나 검증에 대한 어떤 논의보다도 앞서 다룹니다 [6][7]. 일관된 기대는 그 생애주기 내내 ALCOA+ 데이터에 올라탄, 미리 정해진 변경 통제 계획을 가지고 검증 시점에 잠긴(locked at validation) 모델입니다 [7]. 이 장의 실무적 독법은 이렇습니다. 귀속 가능한 출처가 없는 종이/디지털 혼합 데이터셋으로 학습된 소프트 센서는 단지 더 낮은 품질인 것이 아니라 — GMP 결정에는, 그 R²가 아무리 좋아 보여도, 허용 불가능합니다. 이것이 예제 모음의 실행 하니스(run_all.py)가 각 데이터셋을 그 MANIFEST.sha256 콘텐츠 해시로 못 박고 모든 모델의 결과 옆에 함께 기록하는 이유입니다. 정확히 어느 바이트로 학습했는지 말할 수 없는 모델은 원본이나 완전을 충족할 수 없고, 그것들을 충족할 수 없는 모델은 조사관 앞에 놓일 수 없습니다.

그 출처를 단지 기술적으로 깔끔할 뿐 아니라 법적으로 충분하게 만드는 것은 공장 나머지가 이미 올라타 운영되는 전자-기록 기계장치입니다. 미국의 21 CFR Part 11과 유럽의 EU GMP Annex 11 — 전자 기록과 서명을 규율하는 규칙 — 아래에서, 모델이 학습한 모든 값은 귀속 가능한 전자서명(attributable electronic signature)(명명된 인간, 타임스탬프, 그리고 서명의 의미: 작성, 검토, 승인)과 불변의 감사추적(audit trail)(누가 무엇을 언제 왜 바꿨는지의 안전하고 시각이 찍힌 로그)을 나르고 있어야 합니다. 이것은 온톨로지 작업과 평행한 의무가 아니라 — 다른 계층에 있는 같은 의무입니다. 출하 셰이프의 bp:approvedBy 위 sh:minCount 1은 "서명되지 않은 출하는 출하가 아니다"의 SHACL 철자이고, MANIFEST.sha256 해시는 감사추적의 변조-증거에 대응하는 콘텐츠-무결성 짝입니다. 검토된 감사추적과 콘텐츠 해시를 가진 기록으로 모은 훈련 세트는 원본, 완전, 귀속 가능을 한꺼번에 충족합니다. 스프레드시트에서 조용히 내보낸 데이터셋은 그러지 못하며, 어떤 모델 정확도도 그것을 구해 내지 못합니다.

그 기계장치를 검증하는 일 자체의 자세도 바뀌었고, 그 변화가 ML에 중요합니다. CSV(전산화 시스템 검증 — 철저한, 모든 것을 문서화하는 증명)에서 CSA(컴퓨터 소프트웨어 보증 — 위험 기반의 실제 위험에 대한 비판적 사고, FDA 2025년 가이드의 자세)로의 이동은 바로 ML 파이프라인이 필요로 하는 렌즈입니다. 무거운 검증 노력 — 전체 감사추적 검토, 이중 서명, 정식 자격 인증 — 을 고-임계 경로(그 출력이 출하 결정에 영향을 줄 수 있는 소프트 센서)에 집중하고, 같은 데이터로 지은 편의 대시보드에는 더 가벼운 표본 기반 점검을 적용하는 것이지요. 임계도는 알고리즘의 속성이 아니라 예측이 무엇을 결정하는가의 속성이며, 이것이 제어 루프를 먹이는 역가 소프트 센서와 같은 스펙트럼의 탐색적 군집화가 검증 노력의 양 끝에 앉는 까닭입니다. 공장이 시스템 검증에 적용하는 바로 그 위험-비례 논리가 ML 생애주기가 모델 검증에 적용하는 논리입니다 — 그리고 그것이 "모든 것을 같은 깊이로 검증하라"(결코 끝나지 않는)가 "아무것도 엄밀히 검증하지 않는다"(결코 출하되지 않는)가 되지 않게 막는 것입니다.

이 장이 모델 모음에 더하는 것

이 장은 5권 예제 모음의 토대 모듈을 기여합니다:

• examples/platform/ml/dataio.py — 공유 데이터 계층. 그것은 커밋된 데이터셋(raman_spectra.parquet, fedbatch_state.parquet, offline_assays.csv, hplc_results.csv)을 raman_xy()를 통해 모델에 바로 쓸 수 있는 행렬로 적재하는 한편, load_raman()은 돌려준 프레임에 batch_id 그룹 키를 지킵니다. 그것은 누수 분류 체계 전체를 코드로 제공하며 — 의도적으로 누수가 있는 random_split, 배치 내 temporal_split, 그리고 배치 통째 batch_split — 실행 하니스(run_all.py)가 각 데이터셋의 MANIFEST.sha256 콘텐츠 해시를 기록하여, 모든 하류 모델의 결과가 정확히 어느 바이트로 학습했는지에 못 박히게 합니다. 이후 모든 장 — 소프트 센서, 클론 순위 매김, OOS 예측기 — 은 parquet을 다시 읽는 대신 dataio를 임포트하므로, 누수 없는 분할이 선택 사항이 아니라 기본입니다. 이 모듈은 "누수시키지 마라"를 기억해야 하는 규율에서 API가 쉽게 만드는 유일한 경로로 바꿉니다.

왜 중요한가

이 책의 이후 모든 장 — 모든 소프트 센서, 모든 클론 순위 매김, 모든 하이브리드 트윈, 모든 OOS 예측기 — 은 이 한 장의 작업 위에 섭니다. 모델은 데이터에서 결정으로 가는 함수이며, 데이터가 사일로화되어 있으면 조립될 수 없고, 비-FAIR이면 조인될 수 없으며, 행 단위로 분할되면 보고된 솜씨가 허구이고, ALCOA+에 실패하면 허용 불가능합니다. 유망한 바이오공정 ML 프로젝트가 죽는 가장 흔한 이유는 고른 알고리즘이 틀렸기 때문이 아니라, 데이터가 결코 준비되지 않았거나 검증이 결코 정직하지 않았기 때문입니다. 연료를 제대로 잡는 일 — 준비도, 맥락화, 누수 없는 특징, 그리고 콜드스타트 박자에 대한 또렷한 시야 — 이 작업의 멋없는 대다수이자, 하류의 무엇이든 실재하는지를 결정하는 부분입니다.

실제 현장에서는

데이터 준비도 장벽은 이 분야에서 가장 일관되게 보고되는 발견입니다. 서베이는 사일로 접근과 비표준화된 형식을 차단 요인 목록의 맨 위에 두며(벤더 자체보고 그리고 산업 합의) [1][2], 벤더의 "AI 준비된 데이터" 계층 — TetraScience의 Tetra OS와 유사 패브릭들 — 은 정확히 그 간극을 수익화하기 위해 존재합니다 (벤더 자체보고). 상용급 분광 소프트 센싱, 곧 가장 강한 상류 ML 배치는 여기 기술된 전처리-와-교정 규율에 전적으로 의존합니다. 기준선 보정, SNV/Savitzky-Golay 도함수 전처리, 그리고 PLS 화학계량학을 갖춘 인라인 라만은 포도당, 젖산, 역가에 대해, 그리고 CHO 배양에서 폐루프 포도당 제어에 이르기까지 확립된 관행입니다 [8] (상용). 그리고 분할 규율은 학문적 위생이 아닙니다 — 바이오공정 ML 리뷰는 부적절한 검증으로부터의 데이터 누수와 작은-데이터 / 콜드스타트 체제를, 보고된 성공이 그토록 자주 재현되거나 이전되지 못하는 두 가지 기술적 이유로 꼽습니다 (연구/합의) [4]. 모든 방면에서 나오는 멋없는 평결은 같습니다. 데이터를 먼저 고치고, 방어할 수 있는 숫자를 보고하라.

핵심 용어

• 데이터 준비도(data readiness) — 데이터가 접근 가능하고, 조인되고, 잘 기술되고, 모델을 학습시킬 만큼 신뢰할 수 있는 상태. 바이오공정 ML의 1번 장벽.
• FAIR — 찾을 수 있고(Findable), 접근 가능하고(Accessible), 상호운용 가능하고(Interoperable), 재사용 가능한(Reusable): 기계가 위치를 찾아 쓸 수 있는 데이터를 위한 네 원칙.
• 히스토리안 / 데이터 그림자 — 빽빽한 온라인 신호(온도, pH, DO, 라만)의 시계열 저장소. 모델의 값싸고 빠른 특징.
• 오프라인 기준값(offline reference) — 느리고 비싼 벤치/LIMS 측정값(역가, 대사물, 출하 CQA). 모델의 희소한 정답.
• 맥락화(contextualization) — 날것의 값에 정체성(배치, 태그, 단위, 타임스탬프, 품질 플래그)을 붙여 시스템을 가로질러 조인되고 특징이 될 수 있게 하는 것.
• 정렬 / 리샘플링(alignment / resampling) — 모든 신호를 공통 시계(보통 배치 시간)와 공통 박자로 표현해 조인되고 모델에 먹일 수 있게 하는 것.
• 동적 시간 워핑(dynamic time warping, DTW) — 한 배치의 시간 축을 다른 배치의 그것 위로 비선형으로 늘려, 궤적을 비교하기 전에 생물학적 단계(지체기, 지수기)가 줄 맞도록 하는 것.
• 배치 단위 펼침(batch-wise unfolding, MPCA) — (배치 × 변수 × 시간) 큐브를 배치 통째당 한 행으로 납작하게 펴, PCA/PLS가 그 위에서 배치 수준 예측을 위해 돌 수 있게 하는 것.
• 2차원 형광(EEM) — 여기-방출 행렬(excitation–emission matrix) 분광법. 여기 파장 × 방출 파장을 훑어 고유 형광(트립토판, NAD(P)H, 플라빈)을 다방향 소프트 센서 입력으로 읽으며, 라만과 상보적이고 라만 전처리가 제거하는 형광 기준선의 원천.
• 기준선 보정(baseline correction) — 화학 피크 아래에 깔린 느린 배경(예: 라만의 형광)을 제거하는 것.
• SNV(표준정규변량, Standard Normal Variate) — 곱셈적 산란을 제거하는 스펙트럼별 중심화와 스케일링. 행마다 계산되므로 누수가 없음.
• Savitzky-Golay 도함수(Savitzky-Golay derivative) — 스펙트럼 기준선을 제거하고 피크를 날카롭게 하는 슬라이딩 창 다항식 평활화-더하기-도함수.
• 데이터 누수(data leakage) — 학습 중에 시험 집합의 정보가 모델에 닿는 것. 그 분류 체계는 행 단위 분할, 시간적 누수, 타깃 누수, 그리고 분할 전에 적합된 스케일링/전처리.
• 배치 그룹화 분할(batch-grouped split) — 한 배치의 모든 행을 학습 또는 시험에 온전히 두어 떼어 둔 배치가 진정으로 보지 못한 것이 되게 하는 것. 올바른 분할이며, GroupKFold / 배치 하나 빼기(leave-one-batch-out) 교차검증 계열.
• 콜드스타트(cold start) — 모델이 얼마나 빨리 학습할 수 있고 드리프트가 얼마나 늦게 검출되는지를 제한하는, 오프라인 기준 데이터의 하루 한두 번 박자.
• ALCOA+ — 귀속 가능, 가독적, 동시적, 원본, 정확, 더해서 완전, 일관, 지속, 가용: 학습 가능한 데이터셋이 GxP 아래에서 충족해야 하는 데이터 무결성 표준.
• 온톨로지 / IRI(ontology / IRI) — 각 사물이 무엇인지와 사물끼리 어떻게 관계 맺는지를 고정하는 기계-판독 가능한 공유 어휘; 그 IRI(전역 웹-식 이름)로 끌어온 특징은 문자열 열 이름이 취약한 곳에서 견고합니다.
• SHACL — Shapes Constraint Language; 모든 CQA가 존재하고 범위 안에 있기를 요구하는 닫힌-세계 출하 게이트 셰이프는 동시에 훈련-데이터 완전성 점검이기도 합니다.
• 연속체 / 발생체(continuant / occurrent) — 측정된 값(지속하는 사물)을 그것이 측정된 운전(시간 속 과정)과 구별되게 유지하는 상위-온톨로지 절단; 운전별 라벨을 시점별 특징으로 다루는 것을 막는 타입 규율.
• 21 CFR Part 11 / EU Annex 11 — GMP-관련 모델이 학습하는 모든 값에 귀속 가능한 서명과 불변의 감사추적을 요구하는 전자-기록-및-서명 규칙.
• CSV → CSA — 철저한 전산화 시스템 검증에서 위험 기반의 컴퓨터 소프트웨어 보증으로의 이동; 고-임계 모델 경로에 검증 노력을 집중하고 나머지는 표본 점검.
• 기술이전 / 스케일업(technology transfer / scale-up) — 공정과 그 교정을 새 스케일이나 사이트로 옮기기; 소프트 센서가 마주하는 가장 큰 분포 이동이자, 검증이 떼어 두어야 할 보지 못한 배치들의 코호트.

다음 이야기

우리는 연료를 가졌습니다. 준비되고, 맥락화되고, 누수 없는 특징으로 바뀌고, 정직하게 분할된 데이터입니다. 다음 장 모델과 검증: PLS에서 트랜스포머까지, GxP 아래에서는 그 연료를 가져다 엔진을 고릅니다 — 부분최소제곱(partial least squares)에서 트리 앙상블을 거쳐 신경망까지 사다리를 오르며, 각 단마다 그것이 얼마나 많은 데이터를 필요로 하는지, 그리고 약에 대한 결정을 맡길 만큼 신뢰받으려면 어떻게 검증되어야 하는지를 묻습니다. 여기서 우리가 지은 정직한 분할이 바로 그 검증 숫자를 의미 있게 만드는 그 장치입니다.