Walidacja metody: zakres, liniowość, precyzja, odzysk i granice wykrywalności

Streszczenie

Walidacja metody nie polega na zebraniu kilku ładnych wykresów po zakończeniu eksperymentu. Jest zaplanowanym badaniem, które ma wykazać, że procedura pomiarowa spełnia wcześniej ustalone wymagania zamierzonego zastosowania.

Nie wszystkie metody muszą przechodzić identyczny zestaw testów. Inne właściwości są krytyczne dla:

• identyfikacji próbki;
• testu obecność/nieobecność;
• oznaczenia ilościowego;
• pomiaru aktywności;
• kontroli procesu;
• zwalniania partii;
• eksperymentu eksploracyjnego.

Typowa walidacja ilościowa obejmuje:

• selectivity/specyficzność;
• funkcję kalibracyjną;
• zakres roboczy i raportowalny;
• precyzję;
• trueness/bias i recovery;
• granicę wykrywalności oraz oznaczalności, jeśli są istotne;
• robustness;
• wpływ matrycy;
• carryover;
• stabilność;
• kontrolę próbek poza zakresem;
• reguły obliczeń i raportowania.

Wynik „metoda zwalidowana” zawsze powinien mieć dopełnienie: do jakiego measurand, matrycy, zakresu, sprzętu, wersji procedury i decyzji.

Walidacja odpowiada na pytanie użytkowe

Pytanie nie brzmi „czy metoda działa?”, lecz:

Czy ta wersja metody, w rękach określonego laboratorium, dla wskazanych próbek i zakresu, daje wyniki wystarczająco wiarygodne do konkretnego zastosowania?

„Działa” może znaczyć:

• generuje sygnał;
• odróżnia skrajnie różne próbki;
• daje podobne duplikaty;
• koreluje z inną metodą;
• spełnia wymaganie ilościowe;
• prowadzi do poprawnych decyzji.

To różne poziomy dowodu. Korelacja nie dowodzi zgodności, podobne duplikaty nie dowodzą trueness, a dobry sygnał kontroli dodatniej nie dowodzi selectivity w wielu matrycach.

Walidacja, verification i kwalifikacja

Walidacja metody

Walidacja ustanawia obiektywne dowody, że właściwości metody odpowiadają zamierzonemu zastosowaniu. Dotyczy całej procedury:

• pobierania, jeśli jest w zakresie;
• przygotowania próbki;
• odczynników;
• urządzeń;
• parametrów;
• algorytmów;
• obliczeń;
• kryteriów;
• raportowania.

Eurachem w trzecim wydaniu przewodnika z 2025 roku podkreśla podejście fit-for-purpose, uwzględnia sampling i rozwija ocenę funkcji kalibracyjnej.¹

Verification

Verification jest zwykle węższe. Laboratorium potwierdza, że potrafi osiągnąć deklarowane właściwości:

• opublikowanej metody standardowej;
• testu producenta;
• metody przenoszonej z innego laboratorium;
• procedury wcześniej zwalidowanej w tym samym systemie.

Nie wystarczy przepisać parametry z publikacji. Trzeba zweryfikować te, które mogą zależeć od lokalnych operatorów, sprzętu, matrycy i populacji próbek.

Kwalifikacja urządzenia

IQ/OQ/PQ dotyczy systemu aparaturowego i jego działania w środowisku użytkownika. Zwalidowana metoda wymaga kwalifikowanego sprzętu, ale:

• OQ czytnika nie waliduje ELISA;
• PQ pipety nie dowodzi recovery ekstrakcji;
• wzorcowanie termometru nie waliduje stabilności analitu;
• kwalifikacja cytometru nie waliduje bramek.

Te warstwy współpracują, ale nie zastępują się.

Zaczynamy od intended use

Co trzeba zapisać

Przed projektem walidacji należy określić:

• measurand;
• rodzaj wyniku: ilościowy, jakościowy, porządkowy;
• matryce;
• typy próbek;
• zakres oczekiwanych wartości;
• etap procesu;
• użytkownika wyniku;
• decyzję;
• konsekwencje false positive i false negative;
• oczekiwany throughput;
• czas do wyniku;
• dopuszczalny koszt;
• wymaganą niepewność albo dopuszczalny błąd całkowity.

Analytical Target Profile

W regulowanym rozwoju analitycznym funkcję wymagań może pełnić Analytical Target Profile: opis celu procedury i kryteriów jej działania. ICH Q2(R2), obowiązujący w UE od czerwca 2024 roku, wiąże walidację z intended purpose, zakresem raportowalnym i cyklem życia procedury.²

W laboratorium badawczym można użyć prostszego dokumentu:

Metoda ma wyznaczać odsetek komórek marker-dodatnich od 1% do 80% z intermediate precision nie większą niż ustalony limit, rozróżniać populację docelową od autofluorescencji i zachowywać decyzję klasyfikacyjną przy zmianie operatora, dnia i partii odczynnika.

To lepszy punkt wyjścia niż „zwalidować cytometrię”.

Plan walidacji

Elementy protokołu

Protokół powinien powstać przed generowaniem danych i zawierać:

1. cel;
2. zakres;
3. role;
4. wersję metody;
5. materiały i matryce;
6. poziomy;
7. liczbę niezależnych przygotowań;
8. czynniki zmienności;
9. kolejność/randomizację;
10. parametry wydajności;
11. kryteria akceptacji;
12. analizę statystyczną;
13. reguły outliers i brakujących danych;
14. sposób dokumentacji odchyleń;
15. strukturę raportu.

Kryteria przed wynikiem

Kryteria ustalone po obejrzeniu danych są opisem, nie niezależnym testem. Mogą służyć do uczenia się i projektowania kolejnej walidacji, ale nie powinny być przedstawiane jako z góry spełnione wymagania.

Zakres badania oparty na ryzyku

Więcej eksperymentów potrzeba, gdy:

• wynik zwalnia produkt;
• metoda jest nowa;
• matryca jest złożona;
• próbki są rzadkie i niepowtarzalne;
• granica decyzji leży blisko naturalnego rozrzutu;
• proces zawiera wiele ręcznych etapów;
• metoda ma działać w kilku laboratoriach;
• nie ma uznanego odniesienia.

Mniej wystarczy dla stabilnej metody pomocniczej, używanej w szerokim marginesie decyzji.

Próbki do walidacji

Standard nie zastępuje próbki

Roztwór analitu w buforze może ocenić odpowiedź detektora. Nie musi oceniać:

• extraction recovery;
• wiązania z białkami;
• interferencji;
• lepkości;
• autofluorescencji;
• degradacji;
• adsorpcji;
• heterogeniczności komórek.

Walidacja powinna zawierać reprezentatywne matryce.

Pooling

Pooled sample pozwala uzyskać jednorodny materiał i wiele porcji, ale usuwa część różnic osobniczych. Nadaje się do precyzji, niekoniecznie do selectivity.

Spiking

Spike jest użyteczny, gdy:

• blank matrix jest dostępna;
• dodany analit zachowuje się podobnie do endogennego;
• etap dodania odpowiada badanemu recovery.

Spike dodany po ekstrakcji ocenia reakcję detektora, ale nie recovery ekstrakcji. Spike przed lizą obejmuje więcej procesu.

Próbki rzeczywiste

Próbki incurred zawierają analit i matrycę powstałe naturalnie w procesie. Są potrzebne, gdy materiał wzbogacany nie odtwarza:

• wiązania;
• metabolitów;
• modyfikacji;
• lokalizacji komórkowej;
• degradacji;
• heterogeniczności.

ICH M10 kładzie nacisk na dobrze scharakteryzowane, zwalidowane metody bioanalityczne i analizę rzeczywistych próbek dla decyzji farmakokinetycznych i toksykokinetycznych.³

Selectivity i specificity

Co ma zostać rozróżnione

Selectivity to zdolność oznaczenia measurand w obecności innych składników. Specificity bywa używana dla wyższego stopnia jednoznaczności, ale terminologia różni się między dziedzinami. W protokole należy zdefiniować własne użycie.

Potencjalne interferenty:

• związki strukturalnie podobne;
• metabolity;
• hemoliza, lipemia i bilirubina;
• autofluorescencja;
• barwniki o nakładających się widmach;
• heterophile antibodies;
• podobne sekwencje;
• pseudogeny;
• komórki o zbliżonym fenotypie;
• martwe komórki i debris;
• składniki podłoża;
• leki równocześnie stosowane.

Projekt selectivity

Należy używać:

• wielu niezależnych źródeł blank matrix;
• próbek dodatnich;
• pojedynczych interferentów;
• mieszanin realistycznych;
• poziomów blisko granicy decyzji;
• odpowiednich kontroli proceduralnych.

Wynik można oceniać przez:

• bias;
• recovery;
• zmianę klasy;
• sygnał blanku;
• fałszywie dodatnie i ujemne wyniki;
• interferencję zależną od stężenia.

Cytometria

Selectivity w cytometrii obejmuje:

• dobór markerów;
• spillover i compensation;
• autofluorescencję;
• FMO controls;
• martwe komórki;
• dublety;
• nieswoiste wiązanie;
• Fc receptors;
• stabilność bramek.

Samo barwienie jednej linii o wysokiej ekspresji nie waliduje panelu dla tkanki heterogenicznej.

PCR i sekwencjonowanie

Należy sprawdzić:

• podobne sekwencje;
• paralogi i pseudogeny;
• allele w miejscach wiązania starterów;
• zanieczyszczenie;
• index hopping;
• mapping ambiguity;
• minimalną jakość;
• bazę odniesienia;
• wersję pipeline.

Funkcja kalibracyjna

Nie zawsze linia prosta

Funkcja może być:

• liniowa;
• liniowa po transformacji;
• wielomianowa;
• logistyczna 4PL lub 5PL;
• odcinkowa;
• oparta na modelu fizycznym.

Model powinien wynikać z mechanizmu i danych, a nie z tego, który daje najwyższe R².

Przygotowanie kalibratorów

Plan określa:

• niezależność roztworu podstawowego;
• liczbę poziomów;
• liczbę powtórzeń;
• zakres;
• matrycę;
• sposób ważenia/rozcieńczenia;
• kolejność;
• stabilność;
• kryteria odrzucania pojedynczego kalibratora;
• niezależną kontrolę.

Punkty powinny pokrywać cały zakres, szczególnie okolice limitów.

Residua

Residual:

e_i = y_i - ŷ_i

Wykres residuów ujawnia:

• krzywiznę;
• zmianę wariancji;
• pojedyncze odchylenia;
• efekt serii;
• nieodpowiedni model.

Losowy rozkład wokół zera jest ważniejszy niż samo wysokie R².

Heteroscedasticity

W wielu metodach wariancja rośnie ze stężeniem. Nieważona regresja może dobrze dopasować górny koniec i słabo dolny. Możliwe wagi:

• 1/x;
• 1/x²;
• 1/y;
• odwrotność oszacowanej wariancji.

Wybór wagi należy zweryfikować na błędach back-calculated calibrators i niezależnych QC.

Back-calculation

Kalibrator powinien być przeliczony z sygnału z powrotem na stężenie. Oceniamy:

• bias na każdym poziomie;
• rozrzut między seriami;
• wzór zmian;
• stabilność punktów krańcowych.

Nie wystarczy ogólne R².

Liniowość

Liniowość oznacza zdolność do uzyskiwania odpowiedzi proporcjonalnej do wartości w określonym zakresie, bezpośrednio lub po dobrze zdefiniowanej transformacji.

Czego nie dowodzi R²

Wysokie R² może wystąpić:

• dla wyraźnie zakrzywionych danych w szerokim zakresie;
• przy jednym odległym punkcie;
• przy systematycznym bias na dole;
• przy dużej heteroscedasticity;
• gdy powtórzenia są nieliczne.

Należy analizować:

• slope i intercept;
• przedziały;
• residua;
• lack-of-fit;
• back-calculated bias;
• poziomy QC;
• wpływ ważenia.

Liniowość procedury a detektora

Detektor może być liniowy, a cała metoda nie:

• recovery zmienia się ze stężeniem;
• reakcja się wysyca;
• matryca dominuje na dole;
• substrat staje się ograniczający;
• segmentacja zlewa obiekty na górze.

Badanie ma obejmować proceduralne przygotowanie próbek.

Zakres roboczy i raportowalny

Zakres roboczy

Zakres roboczy to przedział, w którym procedura została zastosowana i wykazuje wymagane właściwości.

Zakres kalibracji

To przedział wartości kalibratorów. Nie musi być identyczny z zakresem próbki pierwotnej, jeśli dopuszcza się rozcieńczenie.

Zakres raportowalny

To przedział wyników, które metoda może raportować przy uwzględnieniu przygotowania, rozcieńczeń i zatwierdzonych przeliczeń. ICH Q2(R2) wymaga, aby obejmował odpowiednie limity i był potwierdzony przez response, accuracy i precision.⁴

Ustalanie granic

Dolną granicę może wyznaczać:

• blank;
• bias;
• precision;
• prawdopodobieństwo detekcji;
• wymaganie decyzji.

Górną:

• nasycenie;
• hook effect;
• brak liniowości;
• pogorszenie recovery;
• pojemność układu;
• zlewanie obiektów.

Precision

Repeatability

Repeatability bada krótkoterminowy rozrzut w podobnych warunkach. Projekt powinien obejmować niezależne przygotowania, jeśli przygotowanie jest częścią metody.

Intermediate precision

Obejmuje realistyczne zmiany:

• dni;
• operatorów;
• urządzeń;
• partii odczynników;
• kolumn;
• płytek;
• kalibracji;
• warunków środowiska.

To często najważniejsza precyzja dla pojedynczego laboratorium.

Reproducibility

Reproducibility odnosi się do warunków między laboratoriami. Jest potrzebna dla:

• metod wieloośrodkowych;
• transferu;
• standardów;
• porównań zewnętrznych.

SD i CV

Odchylenie standardowe:

s = √[Σ(x_i - x̄)²/(n-1)]

Współczynnik zmienności:

CV = 100% × s/x̄

CV jest użyteczny dla dodatnich wartości na skali ilorazowej. Staje się niestabilny blisko zera i nie powinien być stosowany bezmyślnie do wartości logarytmicznych.

ANOVA

Model zagnieżdżony może rozdzielić:

• wariancję między dniami;
• między seriami;
• między przygotowaniami;
• residual repeatability.

Projekt musi zawierać odpowiednią strukturę. Jedna seria dziennie nie pozwala oddzielić dnia od serii.

Profile precision

Precyzja może zależeć od poziomu. Warto analizować profil:

• dolny zakres;
• środek;
• górny zakres;
• granicę decyzji.

Jedna zbiorcza wartość CV może ukryć słabość na dole.

Trueness, bias i recovery

Bias

Bias:

bias = x̄ - x_ref

Względny:

bias% = 100% × (x̄ - x_ref)/x_ref

Wartość odniesienia ma własną niepewność. Różnica nie jest automatycznie istotna tylko dlatego, że nie wynosi dokładnie zero.

Źródła odniesienia

Można użyć:

• certyfikowanego materiału odniesienia;
• metody odniesienia;
• porównania międzylaboratoryjnego;
• próbki wzbogacanej;
• standard addition;
• dobrze scharakteryzowanego panelu.

Hierarchia dowodu zależy od measurand.

Recovery

recovery% = 100% × (wynik wzbogacony - wynik bazowy)/wartość dodana

Recovery ocenia odzysk dodanego materiału, nie zawsze trueness dla endogennego analitu.

Trzeba określić:

• etap spike;
• postać analitu;
• czas równoważenia;
• matrycę;
• poziom;
• sposób odjęcia wartości bazowej.

Standard addition

Metoda dodatku wzorca pomaga ocenić matrix effect, lecz opiera się na założeniach o odpowiedzi i zachowaniu dodanego analitu.

Brak idealnego odniesienia

Dla organoidów, potency assay czy złożonego fenotypu może nie istnieć true value. Wtedy dowód buduje się z:

• orthogonal methods;
• próbek o znanym mechanizmie;
• perturbacji dodatnich i ujemnych;
• concordance;
• międzyseryjnej stabilności;
• panelu referencyjnego;
• związku z funkcją.

Nie należy nazywać tego bezpośrednim pomiarem trueness, jeśli nie ma odniesienia.

Accuracy i total error

W różnych wytycznych słowo accuracy bywa używane jako:

• jakościowe połączenie trueness i precision;
• liczbowe porównanie wyniku z nominalnym;
• acceptance of back-calculated QC.

W raporcie trzeba podać definicję.

Total analytical error może łączyć bias i imprecision, ale istnieją różne modele. Kryterium powinno odpowiadać ryzyku decyzji i rozkładowi danych.

Limit of blank

Limit of blank opisuje górną granicę sygnału oczekiwanego dla blank samples według określonego prawdopodobieństwa.

Prosty model przy normalności:

LoB ≈ mean_blank + 1,645 × SD_blank

W praktyce blank może:

• mieć asymetryczny rozkład;
• zawierać wiele zer;
• zależeć od partii;
• dryfować;
• różnić się matrycą.

Wtedy lepsza jest metoda nieparametryczna albo model adekwatny do danych.

Limit of detection

LOD może oznaczać:

• poziom sygnału odróżnialny od blanku;
• stężenie wykrywane z zadanym prawdopodobieństwem;
• poziom wynikający z 3,3σ/slope;
• najniższy poziom spełniający kryterium w badaniu empirycznym.

Bez definicji liczba „LOD = 0,1” jest niepełna.

Podejście probabilistyczne

Dla testu jakościowego można mierzyć probability of detection:

• wiele replikatów na kilku niskich poziomach;
• model logistyczny;
• poziom, przy którym osiąga się np. 95% detekcji.

To bardziej informacyjne niż jeden sygnał ponad blankiem.

Błędy wzoru z nachyleniem

Wzory typu:

LOD = 3,3σ/S

wymagają określenia, skąd pochodzi σ i czy model jest właściwy. Użycie SD residuów z całej szerokiej krzywej może nie reprezentować dolnego końca.

Limit of quantitation

LOQ jest najniższym poziomem, przy którym metoda spełnia wymagania ilościowe:

• precision;
• bias/recovery;
• niepewność;
• stabilność;
• selectivity.

Formuła 10σ/S może być punktem startowym, ale poziom powinien zostać potwierdzony próbkami.

LLOQ i ULOQ

W bioanalizie często określa się:

• LLOQ — dolną granicę ilościowego zakresu kalibracji;
• ULOQ — górną granicę.

Próbki poniżej i powyżej wymagają z góry ustalonego postępowania.

Nie zastępuj wyniku zerem

Wynik poniżej LOQ nie jest równy zero. Możliwe zapisy:

• <LLOQ;
• wykryto, nie oznaczono ilościowo;
• liczba z oznaczeniem zwiększonej niepewności, jeśli zastosowanie na to pozwala.

Reguła zależy od dalszej analizy statystycznej.

Analytical sensitivity

Czułość analityczna jest związana ze zmianą odpowiedzi na zmianę wartości measurand:

S = dy/dx

Duży slope nie gwarantuje niskiego LOD. Jeśli szum jest duży, wysoka odpowiedź nadal może dawać słabą zdolność rozróżniania.

Nie należy mylić z clinical sensitivity, czyli zdolnością testu do poprawnego wykrywania stanu klinicznego.

Matrix effect

Co może robić matryca

Matryca może:

• tłumić albo wzmacniać ionization;
• wiązać analit;
• zmieniać reakcję enzymatyczną;
• powodować autofluorescencję;
• wpływać na lepkość i pipetowanie;
• hamować PCR;
• zmieniać background;
• oddziaływać z przeciwciałami.

Projekt

Należy uwzględnić:

• wiele źródeł matrycy;
• matryce skrajne;
• odpowiednie poziomy;
• blank, post-spike i pre-spike;
• dilution;
• różne partie krytycznych materiałów.

Parallelism

Dla ligand-binding assays rozcieńczenia próbki rzeczywistej powinny zachowywać relację zgodną z kalibracją w uzasadnionym zakresie. Brak równoległości sugeruje matrix effect lub różną immunoreaktywność.

Carryover

Carryover ocenia się sekwencją:

wysoka próbka → blank → blank

Może pochodzić z:

• igły;
• przewodów;
• flow cell;
• autosamplera;
• pipetora;
• optyki;
• kontaminacji powierzchni.

Kryterium powinno odnosić się do LLOQ albo decyzji, nie tylko do procentu sygnału wysokiej próbki.

W mikropłytkach trzeba także badać:

• splash;
• aerosol;
• błędy tips;
• plate sealing;
• sąsiedztwo bardzo wysokich studzienek.

Dilution integrity

Próbki powyżej zakresu mogą być raportowane po rozcieńczeniu tylko wtedy, gdy wykazano:

• prawidłowość współczynnika;
• zgodność matrycy rozcieńczającej;
• brak hook effect;
• recovery;
• precision;
• stabilność;
• brak adsorpcji przy niskim końcowym poziomie.

„Rozcieńczyć aż wejdzie na krzywą” bez walidacji jest zmianą metody.

Hook effect

W immunoassays bardzo wysoki poziom analitu może paradoksalnie obniżyć sygnał. Badanie wymaga próbek znacznie powyżej ULOQ. Brak sygnału nasycenia w standardowym zakresie nie wyklucza prozone/hook.

Stabilność

Rodzaje

Należy rozważyć:

• stabilność w pełnej krwi lub materiale pierwotnym;
• czas do przygotowania;
• bench-top;
• autosampler;
• krótkoterminową temperaturę;
• długoterminowe przechowywanie;
• freeze–thaw;
• stabilność ekstraktu;
• stabilność stock solution;
• światło;
• transport.

Badanie stabilności

Próbki porównuje się z odpowiednio przygotowanym odniesieniem na co najmniej istotnych poziomach. Kryterium powinno obejmować bias i precision.

Nie ekstrapoluj czasu

Stabilność przez 24 godziny nie dowodzi 72 godzin. Stabilność w −80°C nie dowodzi stabilności w frost-free −20°C.

Komórki

Dla komórek stabilność może oznaczać zmianę:

• viability;
• phenotype;
• activation;
• marker shedding;
• agregacji;
• funkcji;
• transcriptome.

Utrzymanie liczby komórek nie gwarantuje utrzymania measurand.

Robustness i ruggedness

Robustness

Robustness bada wpływ małych, celowych zmian parametrów:

• czasu inkubacji;
• temperatury;
• pH;
• objętości;
• szybkości mieszania;
• długości płukania;
• ustawień detektora;
• progu segmentacji.

Ruggedness

Ruggedness bywa używane dla zmian praktycznych:

• operator;
• dzień;
• partia;
• urządzenie;
• lokalizacja.

Terminologia nie jest całkiem jednolita; ważniejszy jest jawny projekt.

One-factor-at-a-time

OFAT jest prosty, ale nie wykrywa interakcji i zużywa wiele prób. Może być odpowiedni dla kilku parametrów o znanym działaniu.

Design of experiments

DOE pozwala badać:

• efekty główne;
• interakcje;
• curvature;
• region operacyjny.

Nie należy mieszać robustness z optymalizacją. Najpierw opracowuje się metodę, potem potwierdza tolerancję wokół wybranych ustawień.

Proven acceptable range

Dla krytycznych parametrów można ustanowić przedział, w którym metoda nadal spełnia wymagania. To podstawa kryteriów proceduralnych, nie pretekst do używania dowolnej wartości w zakresie.

Walidacja testów jakościowych

Test jakościowy wymaga innego języka niż CV.

Parametry mogą obejmować:

• diagnostic/analytical sensitivity;
• specificity;
• false positive rate;
• false negative rate;
• probability of detection;
• cut-off;
• gray zone;
• agreement;
• repeatability decyzji.

Macierz wyników

	Stan dodatni	Stan ujemny
Test dodatni	TP	FP
Test ujemny	FN	TN

Z niej:

sensitivity = TP/(TP+FN)

specificity = TN/(TN+FP)

Wartości zależą od jakości statusu odniesienia i spektrum próbek.

Agreement nie zastępuje odniesienia

Percent agreement dwóch metod może być wysoki przy dominacji jednej klasy. Należy podać:

• positive agreement;
• negative agreement;
• discordant results;
• sposób rozstrzygania;
• niepewność proporcji.

Cut-off

Próg wybiera się względem konsekwencji błędów. ROC pomaga opisać trade-off, ale nie ustala automatycznie optymalnej decyzji. Potrzebny jest kontekst.

Walidacja metod obrazowych

Ground truth

Algorytm segmentacji wymaga panelu referencyjnego:

• ręcznych adnotacji ekspertów;
• syntetycznych obrazów;
• obiektów o znanym rozmiarze;
• orthogonal assay.

Ręczna adnotacja również ma zmienność.

Metryki

• precision/recall;
• intersection over union;
• błąd liczby obiektów;
• błąd powierzchni;
• zgodność cechy końcowej;
• stabilność wobec ekspozycji i focus.

Najlepsza segmentacja pikseli nie zawsze daje najlepszą decyzję biologiczną.

Data leakage

Obrazy z tej samej studzienki, hodowli albo pacjenta nie powinny trafiać jednocześnie do treningu i niezależnego testu. Jednostka podziału musi odpowiadać źródłu zależności.

Wersja pipeline

Zmiana:

• preprocessing;
• modelu;
• progu;
• biblioteki;
• GPU;
• formatu;

może wymagać impact assessment i rewalidacji.

Walidacja potency assay

Potency assay ma wykazywać związek z aktywnością biologiczną produktu.

Wymaga:

• mechanistycznego uzasadnienia;
• odpowiedniej komórki responder;
• standardu referencyjnego;
• zakresu;
• precyzji;
• stabilności;
• zdolności odróżniania partii lub materiału zdegradowanego;
• monitorowania driftu biologicznego.

Relatywna potency często używa równoległych krzywych. Trzeba sprawdzić parallelism i model.

Projekt statystyczny

Niezależność

Liczba odczytów nie jest liczbą niezależnych eksperymentów. Projekt powinien identyfikować:

• preparation;
• run;
• plate;
• day;
• operator;
• donor;
• instrument.

Randomizacja

Randomizacja ogranicza confounding:

• poziomu ze zmianą w czasie;
• grupy z pozycją na płytce;
• operatora z dniem;
• próbki z kolejnością.

Blocking

Blokowanie pozwala kontrolować znane źródła:

• płyta;
• dzień;
• donor;
• partia odczynnika.

Liczebność

Powinna wynikać z wymaganej precyzji oszacowania. Trzy powtórzenia mogą wykazać oczywistą awarię, lecz dają szeroką niepewność SD i procentów.

Przedziały ufności

Samo oszacowanie punktowe nie pokazuje wiedzy. Dla sensitivity 100% przy 5 próbkach dodatnich dolna granica jest daleka od 100%.

Outliers i powtórzenia

Outlier nie znika bez przyczyny

Można wykluczyć wynik, gdy istnieje udokumentowana przyczyna:

• błąd pipetowania;
• clot;
• awaria instrumentu;
• zła identyfikacja;
• utrata kontroli.

Test statystyczny sam nie dowodzi błędu technicznego.

Repeat until pass

Powtarzanie do uzyskania wyniku akceptowalnego zawyża ocenę działania. Protokół musi określać:

• kiedy wolno powtórzyć;
• czy powtarza się całą serię;
• co dzieje się z pierwotnym wynikiem;
• jak raportuje się invalid runs.

Invalid run rate

Częstość nieważnych serii jest parametrem użytkowym. Metoda z dobrymi wynikami w udanych seriach, ale 30% invalid runs, może nie być fit-for-purpose.

Acceptance criteria

Kryteria powinny pochodzić z:

• wymagań decyzji;
• niepewności docelowej;
• danych rozwojowych;
• wytycznych sektorowych;
• benchmarku metod;
• ryzyka.

Nie należy kopiować uniwersalnie:

• CV ≤ 15%;
• recovery 80–120%;
• R² ≥ 0,99.

W pewnych zastosowaniach są za luźne, w innych nierealistyczne, a czasem nieadekwatne.

FDA w przewodniku bioanalitycznym z 2018 roku przedstawia sektorowe oczekiwania dla metod ilościowych, ale laboratorium powinno stosować je w zakresie, do którego dokument jest przeznaczony, a nie jako uniwersalną normę biologii.⁵

Łączenie parametrów

Parametry nie są niezależnymi „checkboxami”.

Przykłady:

• zły model kalibracji zwiększa bias;
• matrix effect zmienia recovery i selectivity;
• niestabilność pogarsza intermediate precision;
• carryover wpływa na blank i LOD;
• brak robustness ujawnia się jako zmienność między dniami;
• zakres zależy od precision i trueness na poziomach.

Raport powinien pokazać spójny obraz metody.

Transfer metody

Przed transferem

Trzeba uzgodnić:

• wersję;
• sprzęt;
• odczynniki;
• critical parameters;
• szkolenie;
• próbki;
• kryteria;
• sposób porównania;
• handling odchyleń.

Modele transferu

• comparative testing;
• co-validation;
• częściowa rewalidacja;
• waiver z uzasadnieniem.

Bland–Altman

Dla metod ilościowych wykres różnic względem średniej może ujawnić:

• stały bias;
• proportional bias;
• rosnący rozrzut;
• outliers.

Wysoka korelacja nie dowodzi wymienności.

Porównanie metod i zmiana platformy

Porównanie nowej metody ze starą nie powinno ograniczać się do współczynnika korelacji. Dwie metody mogą mieć r = 0,99, a jednocześnie różnić się o stałe 20% w całym zakresie. Korelacja opisuje współzmienność, nie zgodność wartości.

Projekt powinien obejmować:

• próbki rozłożone w całym zakresie;
• wystarczającą liczbę próbek blisko granicy decyzji;
• naturalne matryce, nie tylko rozcieńczenia jednego poolu;
• duplikaty pozwalające ocenić precyzję obu metod;
• losową lub zbalansowaną kolejność;
• ustalone maksymalne różnice.

Analiza może obejmować:

• wykres różnicy względem średniej;
• średni bias i limits of agreement;
• regresję uwzględniającą błąd obu osi, np. Deminga;
• proportional i constant bias;
• concordance decyzji przy limicie;
• analizę próbek discordant.

Regresja zwykłych najmniejszych kwadratów zakłada pomijalny błąd osi x, co często jest nieprawdziwe, gdy porównuje się dwie procedury pomiarowe.

Nowa metoda może mierzyć inny measurand

Brak zgodności nie zawsze oznacza, że nowa platforma jest gorsza. Metody mogą różnie reagować na:

• izoformy;
• fragmenty;
• modyfikacje potranslacyjne;
• kompleksy;
• komórki uszkodzone;
• sekwencje paralogiczne;
• zakres rozmiaru cząstek.

Przed statystyką trzeba ocenić, czy obie metody rzeczywiście mierzą tę samą wielkość. Jeśli nie, „przelicznik” empiryczny może działać tylko w badanym zbiorze.

Bridging danych historycznych

Zmiana platformy może przerwać serię czasową. Plan bridging powinien określać:

• okres równoległych pomiarów;
• materiał łączący partie;
• sposób korekcji lub brak korekcji;
• oznaczenie punktu zmiany w bazie;
• wpływ na limity trendów;
• postępowanie z wcześniejszymi wynikami.

Nie wolno automatycznie połączyć danych tylko dlatego, że jednostka na raporcie pozostała taka sama.

Rewalidacja i cykl życia

Rewalidację rozważa się po zmianie:

• matrycy;
• zakresu;
• miejsca;
• urządzenia o innym mechanizmie;
• krytycznego odczynnika;
• przygotowania próbki;
• algorytmu;
• limitu;
• zastosowania;
• skali automatyzacji.

Nie każda zmiana wymaga pełnego powtórzenia. Impact assessment określa, które właściwości mogą się zmienić. ICH Q2(R2) wyraźnie opisuje częściową lub pełną rewalidację w cyklu życia oraz transfer.⁶

Walidacja a rutynowy QC

Walidacja pokazuje możliwości w badaniu. Rutynowy QC pokazuje, czy metoda działa dziś.

Plan kontroli powinien wynikać z walidacji:

• poziomy kontroli odpowiadają zakresowi;
• limity wynikają z precision;
• materiały ujawniają matrix effect;
• frequency odpowiada driftowi;
• reguły trendu wykrywają zmianę przed failure.

Bridging partii

Nowa partia krytycznego odczynnika powinna być porównana:

• na kilku poziomach;
• przy granicy decyzji;
• na próbkach rzeczywistych;
• względem partii dotychczasowej;
• z ustalonym kryterium.

Trending

Należy śledzić:

• wartości QC;
• slope/intercept;
• background;
• invalid runs;
• powtórzenia;
• odchylenia;
• drift operatora lub instrumentu.

Raport walidacyjny

Raport powinien zawierać:

• cel i zakres;
• intended use;
• wersję metody;
• protokół i zmiany;
• materiały;
• surowy projekt;
• wszystkie serie, także nieważne;
• metody statystyczne;
• wyniki i wykresy;
• odchylenia;
• interpretację względem kryteriów;
• ograniczenia;
• zakres zatwierdzony;
• plan QC;
• wymagania rewalidacji;
• decyzję i zatwierdzenie.

Raport nie powinien usuwać nieudanych eksperymentów bez śladu.

Minimalna tabela wyników

Właściwość	Projekt	Kryterium	Wynik	Decyzja
Selectivity	źródła matrycy i interferenty	wcześniej zapisane	liczby + wykres	pass/fail
Zakres	poziomy całej procedury	bias i precision	profil	zatwierdzony przedział
Precision	dni/operatorzy/serie	SD lub CV	komponenty wariancji	pass/fail
Trueness	CRM/recovery/comparison	bias	wynik + przedział	pass/fail
LOD/LOQ	blank i niskie poziomy	definicja probabilistyczna	PoD/bias/CV	granice
Robustness	celowe zmiany	utrzymanie parametrów	efekty	PAR
Stabilność	czas/temperatura	bias	trend	dopuszczalny czas

Przykład: fluorescencyjny test ilości DNA

Intended use

Pomiar dsDNA w ekstraktach w zakresie 0,5–100 ng/µl do normalizacji bibliotek.

Badania

• selectivity względem RNA i białka;
• blank z buforów ekstrakcyjnych;
• kalibratory matrycowe;
• funkcja kalibracyjna;
• precision na 0,5; 2; 20; 80 ng/µl;
• recovery po spike przed i po ekstrakcji;
• dilution integrity;
• stabilność na płytce;
• edge effect;
• carryover pipetora;
• porównanie z orthogonal method.

Krytyczne pytanie

Jeśli biblioteka wymaga ilości amplifikowalnego DNA, sam pomiar masy dsDNA może nie odpowiadać measurand. Fragmentacja i uszkodzenia wymagają dodatkowej metody.

Przykład: odsetek komórek marker-dodatnich

Intended use

Kontrola różnicowania, zakres 1–95%, decyzja przy 70%.

Badania

• gating template;
• compensation;
• FMO;
• mieszanki populacji znanych;
• precision operator/day;
• minimalna liczba zdarzeń;
• stabilność po barwieniu;
• lot-to-lot antibody;
• instrument-to-instrument comparison;
• wpływ viability;
• robustness progu.

Statystyka zliczania

Przy N niezależnie sklasyfikowanych zdarzeniach i proporcji p przybliżone:

SE(p) ≈ √[p(1-p)/N]

To dolna granica losowości. Nie obejmuje pobrania, agregatów, bramkowania i marker variation.

Przykład: test wykrywania sekwencji

Intended use

Wykrycie wariantu na poziomie 1% variant allele fraction.

Badania

• wiele poziomów 0–5%;
• wiele serii;
• różne konteksty sekwencji;
• DNA quality;
• input amount;
• strand bias;
• background errors;
• index contamination;
• probability of detection;
• false positive rate;
• pipeline lock;
• orthogonal confirmation.

Krytyczny wniosek

LOD jednej mutacji nie jest automatycznie LOD całego panelu. Kontekst i typ wariantu zmieniają detekcję.

Najczęstsze błędy

„Zrobiliśmy trzy powtórzenia”

Nie wiadomo, czy powtórzono odczyt, przygotowanie, serię czy dzień.

„Walidacja była w publikacji”

Publikacja może dotyczyć innej matrycy, sprzętu, zakresu i decyzji.

„Metoda jest liniowa, bo R² jest wysokie”

Potrzebne są residua i spełnienie kryteriów w całym zakresie.

„Recovery 100% dowodzi trueness”

Tylko dla konkretnego spike, etapu i założeń.

„LOD obliczono ze wzoru”

Granicę należy zdefiniować i potwierdzić niskimi poziomami.

„Wszystkie QC przeszły”

QC mogą być przygotowane z tego samego kalibratora i nie ujawniać wspólnego błędu.

„Zmiana software nie zmienia metody”

Jeśli software przekształca sygnał w wynik, jego zmiana może zmienić metodę.

Checklista protokołu

• [ ] Intended use jest jednoznaczne.
• [ ] Measurand i jednostka są zdefiniowane.
• [ ] Matryce i populacja próbek są określone.
• [ ] Zakres obejmuje granice decyzji.
• [ ] Kryteria ustalono przed danymi.
• [ ] Każdy parametr ma uzasadnienie.
• [ ] Próbki obejmują realistyczne interferenty.
• [ ] Powtórzenia są niezależne na odpowiednim poziomie.
• [ ] Dni, operatorzy i partie są reprezentowane.
• [ ] Plan obejmuje losowanie/blokowanie.
• [ ] Outliers i invalid runs mają reguły.
• [ ] Analiza statystyczna jest określona.
• [ ] Zmiany protokołu wymagają zapisu.

Checklista funkcji kalibracyjnej

• [ ] Kalibratory są spójne z odniesieniem.
• [ ] Matryca jest odpowiednia.
• [ ] Poziomy pokrywają zakres.
• [ ] Model ma uzasadnienie.
• [ ] Oceniono residua.
• [ ] Sprawdzono heteroscedasticity.
• [ ] Wagi nie wybrano wyłącznie po R².
• [ ] Back-calculated values spełniają kryteria.
• [ ] Niezależne QC potwierdzają model.
• [ ] Próbki poza zakresem nie są ekstrapolowane.

Checklista raportu

• [ ] Raport wymienia wszystkie serie.
• [ ] Dane surowe są identyfikowalne.
• [ ] Odchylenia są opisane.
• [ ] Wyniki zestawiono z kryteriami.
• [ ] Zatwierdzony zakres jest jawny.
• [ ] Ograniczenia nie są ukryte.
• [ ] Plan QC wynika z danych.
• [ ] Triggery rewalidacji są zapisane.
• [ ] Wersja procedury jest zamrożona.

Wniosek

Walidacja nie jest dyplomem przyznawanym metodzie na zawsze. Jest udokumentowanym argumentem:

wymaganie → projekt → dane → ocena → zakres zastosowania → kontrola rutynowa

Najsilniejszy raport nie twierdzi, że metoda jest „dokładna”. Pokazuje:

• co mierzy;
• w jakich próbkach;
• w jakim zakresie;
• z jakim bias i precision;
• przy jakich ograniczeniach;
• jak wykrywa się utratę kontroli;
• kiedy wynik nie powinien zostać użyty.

Taka walidacja zamienia procedurę z obiecującego eksperymentu w narzędzie zdolne podtrzymać decyzję.