Powtarzalność, statystyka i efekt partii

Powtarzalność zaczyna się przed pierwszym pomiarem

Niepowtarzalny wynik rzadko ma jedną przyczynę. Może zawieść tożsamość komórek, stabilność odczynnika, przydział do grup, jednostka statystyczna, kod analizy albo zbyt szeroki wniosek. Udostępnienie arkusza na końcu nie naprawi projektu, w którym leczenie wykonano w poniedziałek, kontrolę we wtorek, a oba warunki zmierzyli inni operatorzy.

Rygor nie oznacza maksymalnego skomplikowania. Oznacza taki projekt, który:

oddziela interesujący efekt od wiarygodnych alternatyw;
mierzy zmienność na poziomie, którego dotyczy wniosek;
ogranicza wpływ decyzji podejmowanych po obejrzeniu wyniku;
pozostawia ślad umożliwiający odtworzenie analizy;
ujawnia niepewność i niepowodzenia.

NIH definiuje rygor jako ścisłe stosowanie metody naukowej prowadzące do bezstronnego i dobrze kontrolowanego projektu, wykonania, analizy, interpretacji oraz raportowania.¹ To cały cykl, nie osobna sekcja „statystyka”.

Najpierw ustal, co ma być powtarzane

Replika techniczna mierzy precyzję, biologiczna sprawdza naturalną zmienność, a efekt partii może udawać biologię. Wynik przechodzi od ponownego obliczenia przez nowe doświadczenie do uogólnienia w innym układzie.

Słowa „powtarzalność”, „odtwarzalność”, „replikacja” i „reprodukcja” są używane niejednolicie. Zamiast spierać się o jedną etykietę, opisz operację:

ponowne obliczenie: ten sam kod, te same dane, ten sam wynik;
niezależna analiza: te same dane, inny zespół lub pipeline;
powtórzenie eksperymentu: nowy materiał, ten sam protokół;
replikacja wyniku: nowy zespół sprawdza to samo twierdzenie;
uogólnienie: efekt przetrwał zmianę linii, dawcy, płci, laboratorium albo modelu.

Każdy poziom sprawdza inną awarię. Wynik może być idealnie odtwarzalny obliczeniowo, jeśli skrypt zawsze analizuje źle oznaczone próbki. Może też nie powtórzyć się identyczną procedurą, a mimo to poprawnie ujawniać zależność warunkową, która wymaga określonego tła genetycznego.

Jednostka eksperymentalna decyduje o n

Jednostką eksperymentalną jest najmniejszy niezależny obiekt przydzielany do warunku i reprezentujący populację, o której ma być wniosek. Nie zawsze jest to pojedynczy wiersz danych.

Przykłady:

zwierzę, nie pięć skrawków z jego narządu;
dawca, nie tysiąc komórek z jego biopsji;
niezależne różnicowanie, nie trzy studzienki z jednej zawiesiny;
płytka, jeśli odczynnik dodano całej płytce wspólnie;
akwarium lub klatka, jeśli interwencję podano na ich poziomie;
linia komórkowa, jeśli wniosek dotyczy różnych genotypów.

Poprawne zdanie brzmi:

Cztery niezależne różnicowania z trzech linii, każde mierzone w trzech studzienkach technicznych i pięciu polach.

Samo „n=60” ukrywa zależność. Jeśli analiza potraktuje 60 pól jako 60 niezależnych eksperymentów, przedział będzie zbyt wąski.

Replika techniczna nie zastępuje biologicznej

Replika techniczna powtarza pomiar lub przygotowanie tej samej próbki. Informuje o pipetowaniu, precyzji aparatu i lokalnej jednorodności. Replika biologiczna realizuje proces od nowa na niezależnym materiale.

Trzy odczyty tego samego lizatu pomagają wykryć błąd odczytu. Nie mówią, czy efekt przetrwa nowe pobranie, hodowlę lub dawcę. Z kolei jedna studzienka na dawcę może nie wystarczyć do kontroli awarii technicznej.

Rozsądny projekt używa obu poziomów, ale analizuje ich rolę osobno. Pomiary techniczne można uśrednić lub umieścić w modelu hierarchicznym. Nie powinny sztucznie zwiększać liczby jednostek biologicznych.

Pseudoreplikacja: zależne punkty udają informację

Pseudoreplikacja powstaje, gdy analiza przypisuje niezależność pomiarom współdzielącym źródło. Komórki jednego organoidu mają wspólne pochodzenie, warunki i historię. Skrawki jednego zwierzęcia dzielą organizm. Odczyty z jednej płytki dzielą jej mikrośrodowisko.

Skutek jest podwójny:

błąd standardowy staje się za mały;
bardzo niewielka różnica może otrzymać imponujące p.

Rozwiązaniem może być agregacja do poziomu jednostki, model mieszany z efektem losowym dawcy lub jawna analiza wielopoziomowa. Metoda zależy od pytania, ale struktura zagnieżdżenia musi pozostać widoczna. Przegląd poświęcony prawdziwej replikacji pokazuje, że poprawne N wynika z projektu i celu uogólnienia, a nie z liczby plików.²

Niezależność ma wymiar praktyczny

Dwa eksperymenty wykonane następnego dnia z tej samej gotowej mieszaniny i tej samej zawiesiny mogą być słabiej niezależne niż sugeruje kalendarz. „Wykonano trzy razy” wymaga doprecyzowania:

czy zaczynano od osobnego rozmrożenia;
czy przygotowano świeże odczynniki;
czy użyto innej partii;
czy zmienił się operator;
czy warunki hodowli były wspólne;
czy analiza była ponownie uruchomiona od surowych danych.

Niezależność nie musi być absolutna. Trzeba opisać, jakie źródła zmienności zostały ponowione, a jakie pozostają wspólne.

Efekt partii może wyglądać jak odkrycie biologiczne

Partią może być:

dzień hodowli;
rozmrożenie;
seria różnicowania;
operator;
numer płytki;
partia pożywki, macierzy lub przeciwciała;
lane i biblioteka sekwencjonowania;
data barwienia;
cytometr lub mikroskop;
czas przechowywania;
laboratorium.

Jeśli wszystkie kontrole wykonano w jednej partii, a leczone próbki w drugiej, efekt warunku jest matematycznie nierozróżnialny od partii. Żaden algorytm korekcji nie odzyska informacji, której projekt nie zawiera.

Najlepszą ochroną jest skrzyżowanie: każda partia zawiera oba warunki, a każdy warunek występuje w wielu partiach.

Blokowanie: porównuj podobne z podobnym

Blokowanie grupuje jednostki według ważnego źródła zmienności, a następnie losuje warunki wewnątrz bloku. Dawca może być blokiem: jego komórki trafiają do kontroli i leczenia. Płytka może być blokiem: oba warunki zajmują zrównoważone pozycje.

Projekt sparowany często zwiększa precyzję, bo różnica leczenie–kontrola jest liczona wewnątrz dawcy. Wymaga analizy uwzględniającej pary. Jeśli jedna próbka z pary odpadnie, nie można po cichu potraktować pozostałej jak obserwacji niesparowanej.

Blok nie jest czynnikiem, którego należy „pozbyć się”. Jest strukturą projektu pozwalającą oddzielić zmianę między blokami od efektu interwencji.

Randomizacja obejmuje więcej niż przydział nazw

Losowanie powinno dotyczyć etapów, na których może powstać systematyczna różnica:

przydział zwierząt lub próbek;
pozycja na płytce;
kolejność pipetowania;
kolejność obrazowania;
kolejność wstrzyknięć do aparatu;
lane lub batch biblioteki;
kolejność analizy.

Losowanie bez ograniczeń nie zawsze jest najlepsze. Przy małej próbie warto użyć randomizacji blokowej lub zrównoważonej, aby każdy warunek był reprezentowany w dniu i miejscu.

Zapisz ziarno, algorytm oraz mapę przydziału przed rozpoczęciem. „Próbki wybrano losowo” bez procedury jest deklaracją nie do sprawdzenia.

Pozycja na płytce też jest zmienną

Studzienki brzegowe mogą inaczej parować i utrzymywać temperaturę. Pierwsze oraz ostatnie próbki w kolejce aparatu mogą podlegać dryfowi. Kolumny obsługiwane jedną końcówką mogą dzielić błąd.

Jeżeli kontrola zajmuje lewą połowę, a leczenie prawą, efekt przestrzenny jest splątany z warunkiem. Rozłóż grupy symetrycznie, unikaj regularnego wzoru możliwego do rozpoznania przez operatora i zaplanuj rezerwowe studzienki.

Mapa płytki jest częścią danych źródłowych. Powinna zawierać próbki, kontrole, puste miejsca, kolejność i odstępstwa.

Zaślepienie ogranicza mikrodecyzje

Wpływ oczekiwania nie wymaga fałszowania. Może działać przy:

wyborze pola mikroskopowego;
ustawieniu progu;
ręcznym bramkowaniu;
decyzji o ponownym pomiarze;
ocenie dobrostanu;
zakwalifikowaniu próbki jako odstającej;
doborze reprezentatywnego obrazu.

Zaślepienie może obejmować osobę wykonującą interwencję, opiekuna, operatora pomiaru i analityka. Nie zawsze da się zaślepić wszystkich. Wtedy anonimizuje się pliki, automatyzuje kryteria i zapisuje, kto znał przydział na każdym etapie.

NINDS wymienia obok zaślepienia także testowalne hipotezy, uzasadnione modele i punkty końcowe, uwierzytelnienie zasobów, ortogonalne pomiary, kontrole, dawkę, uzasadnienie liczebności oraz rozdzielenie części eksploracyjnej od potwierdzającej.³

Najpierw efekt istotny biologicznie, potem liczebność

Analiza mocy zaczyna się od:

głównego punktu końcowego;
minimalnego efektu, który zmieni interpretację lub decyzję;
oczekiwanej wariancji;
struktury projektu;
dopuszczalnych błędów;
przewidywanych braków.

Wariancja z małego pilotażu jest niestabilna. Jeśli to możliwe, użyj danych historycznych z podobnego układu, zakresu wartości i analizy wrażliwości. Dla projektu hierarchicznego liczy się nie tylko łączna liczba komórek, ale liczba dawców, partii i pomiarów na dawcę.

„Trzy, bo tak robi literatura” nie jest uzasadnieniem. Pilotaż z trzema eksperymentami może ocenić wykonalność i oszacować rząd zmienności, lecz rzadko daje precyzyjny efekt.

Nie powtarzaj do uzyskania p<0,05

Opcjonalne zatrzymywanie — dokładanie próbek po każdym wyniku i kończenie po przekroczeniu progu — zmienia częstość fałszywych odkryć. Poprawne analizy sekwencyjne istnieją, ale wymagają zaplanowanych reguł.

Przed badaniem ustal:

maksymalną liczbę;
momenty analizy pośredniej;
kryterium zatrzymania;
metodę statystyczną;
sposób raportowania wszystkich etapów.

Jeśli analiza była eksploracyjna, powiedz to. Hipoteza powstała po obejrzeniu danych może być świetna, ale testuje ją następny niezależny zbiór.

Wielkość efektu i niepewność przed etykietą „istotne”

Wartość p nie mówi, jak duży jest efekt ani jakie jest prawdopodobieństwo hipotezy. Ten sam efekt przy dużej próbie może dać małe p, a ważny biologicznie efekt przy małej — szeroki przedział i brak istotności.

Raportuj:

różnicę w naturalnych jednostkach;
względną zmianę, jeśli ma sens;
przedział ufności lub wiarygodności;
surowy rozkład;
liczbę jednostek;
założenia modelu.

„Brak istotnej różnicy” nie dowodzi równoważności. Aby wykluczyć efekt większy niż ważna granica, potrzebny jest dostatecznie wąski przedział i właściwy projekt równoważności.

Średnia bez rozkładu może oszukiwać

Średni wzrost o 30% może oznaczać:

podobny wzrost u wszystkich dawców;
silną odpowiedź u dwóch i brak u reszty;
jedną wartość odstającą;
zmianę tylko jednej partii;
różne proporcje typów komórek.

Pokazuj punkty niezależnych jednostek i, przy projekcie sparowanym, łącz pary. Nie zasłaniaj wszystkich obserwacji słupkiem z błędem standardowym. Rozróżnij odchylenie standardowe, błąd standardowy i przedział ufności.

Wykres powinien ujawniać hierarchię: kolorem można oznaczyć partię, kształtem linię, a cienkimi punktami pomiary techniczne.

Wielokrotne testowanie: im więcej pytań, tym więcej przypadkowych sukcesów

W analizie tysięcy białek lub genów część małych wartości p pojawi się przypadkiem. Korekta zależy od celu. Kontrola błędu rodzinnego jest konserwatywna, gdy każdy fałszywy dodatni wynik jest kosztowny. Kontrola FDR ogranicza oczekiwany udział fałszywych odkryć wśród wyników uznanych za dodatnie i jest częsta w omikach.⁴

Korekta nie rozwiązuje:

złej jednostki;
efektu partii;
selekcji cech po wyniku;
niejawnego przetestowania wielu pipeline’ów;
publikowania tylko najlepszego kontrastu.

Zapisz liczbę testów, rodzinę hipotez, metodę korekty i czy próg był ustalony wcześniej. Najważniejszych kandydatów potwierdź nową metodą oraz nową próbką.

Dane omiczne są kompozycyjne i progowe

Wzrost udziału jednego składnika może obniżyć udziały innych bez zmiany ich bezwzględnej ilości. Brak detekcji może wynikać z progu aparatu, nie z biologicznej nieobecności. Normalizacja zmienia interpretację.

W proteomice trzeba sprawdzić:

liczbę niezależnych próbek w każdej grupie;
przygotowanie i losowanie kolejności;
wartości brakujące;
zanieczyszczenia;
normalizację;
identyfikację peptydów i białek;
kontrolę FDR;
kwantyfikację wariancji;
walidację celowaną;
związek z fenotypem.

Lista „białek unikalnych” jest punktem wyjścia. Może odzwierciedlać sygnał poniżej progu w drugiej grupie.

Sekwencja LC-MS jest eksperymentem rozciągniętym w czasie

W metabolomice i proteomice próbki nie są mierzone jednocześnie. Kolejne wstrzyknięcia tworzą szereg czasowy, w którym zmieniają się kolumna, źródło jonów, temperatura, zanieczyszczenie układu i czułość detektora. Sygnał może więc korelować z numerem wstrzyknięcia nawet wtedy, gdy biologia jest stała. Jeśli wszystkie kontrole trafiają na początek, a wszystkie próbki chorobowe na koniec, dryf aparatu staje się pozornym fenotypem.

Trzeba rozdzielić co najmniej cztery rodzaje materiału kontrolnego:

system suitability sprawdza, czy aparat i metoda spełniają ustalone kryteria przed serią;
blank procesu przechodzi przez przygotowanie bez właściwej próbki i pokazuje tło odczynników, materiałów oraz laboratorium;
blank wstrzyknięcia pomaga wykryć pamięć układu i carry-over;
pooled QC powstaje przez połączenie małych porcji próbek badania i jest okresowo wstrzykiwany jako względnie stała mieszanina matrycowa.

Pooled QC nie jest repliką biologiczną i nie zwiększa liczby osób, dawców ani hodowli. Służy do kondycjonowania układu, oceny precyzji, śledzenia dryfu oraz — przy jawnie ustalonej metodzie — korekcji sygnału. Jeśli analitu nie ma w puli albo pozostaje poniżej progu, jego jakości nie da się wiarygodnie ocenić na podstawie tego QC.¹⁰

Moment połączenia materiału zmienia pytanie. Pula przygotowana przed ekstrakcją obejmuje zmienność przygotowania i pomiaru; połączenie gotowych ekstraktów obserwuje przede wszystkim część analityczną. Żadna z nich nie mierzy zmienności biologicznej zastąpionej przez mieszanie osób.

Jak projektować serię, żeby zobaczyć dryf zamiast go pomylić z biologią

Praktyczny projekt powinien określać przed uruchomieniem:

kryteria dopuszczenia aparatu i kolumny;
liczbę wstrzyknięć kondycjonujących;
sposób randomizacji próbek biologicznych wewnątrz partii;
częstość pooled QC oraz blanków;
położenie próbek referencyjnych łączących partie;
regułę powtórzenia wstrzyknięcia i całego przygotowania;
kryteria odrzucenia cechy, próbki lub partii;
sposób modelowania albo korekcji dryfu.

Badania wielopartiowe wymagają materiału wspólnego dla partii. Bez wspólnego punktu odniesienia nie można rozstrzygnąć, czy przesunięcie wynika z aparatu, przygotowania czy populacji. Klasyczny protokół dużej metabolomiki LC-MS wykorzystuje regularne QC do oceny i korekcji zmian sygnału między partiami, ale nie traktuje algorytmu jako zamiennika dobrego projektu.¹¹

W danych QC śledzi się zależnie od metody:

stabilność czasu retencji;
błąd masy i odpowiedź wzorców;
pole, wysokość i szerokość wybranych pików;
względne odchylenie lub inny miernik precyzji cech;
ciśnienie i kształt krzywej ciśnienia LC;
liczbę cech spełniających kryteria;
tło, pamięć układu i sygnał po próbce o wysokim stężeniu;
położenie QC w analizie wielowymiarowej względem kolejności wstrzyknięć.

Raport powinien podać rodzaje i liczbę QC, randomizację, dokładną kolejność, częstość kontroli, monitorowane parametry, granice akceptacji oraz decyzje podjęte po ich przekroczeniu. Takie minimum proponują zalecenia mQACC dla niecelowanego fenotypowania metabolicznego.¹²

Korekcję dryfu ocenia się na danych przed i po zastosowaniu. Wygładzenie może usunąć trend instrumentalny, ale może też usunąć biologię, jeśli kolejność nadal jest splątana z grupą. Nie należy dobierać algorytmu po obejrzeniu, który wariant daje najładniejszą separację przypadków i kontroli.

Książka Biochromatografia trafnie wprowadza pooled QC i blanki, lecz sama wskazuje, że jej rozdział omiczny nie rozwija randomizacji, korekcji wielokrotnych porównań, normalizacji, braków danych, walidacji modelu ani przeuczenia.¹³ Jest więc mapą technik, a nie kompletnym planem jakości badania.

Studium przypadku: od 536 białek do biomarkera jest daleko

W pracy o proteomie plemników najądrzowych psa z analizowanego tomu zbadano materiał od 19 zwierząt w wieku od roku do 11 lat. Podział oparto na ruchliwości progresywnej z progiem 55%. Wykryto 244 białka przypisane tylko grupie o obniżonej ruchliwości, 170 tylko grupie prawidłowej i 122 wspólne.⁵

Te liczby wyglądają jak wyraźny podpis, lecz do oceny brakuje kluczowych warstw:

liczebności obu grup;
danych indywidualnych i zmienności;
rozkładu wieku oraz innych czynników;
informacji o replikach technicznych i biologicznych;
jawnej kontroli wielu porównań;
granicy detekcji;
oceny możliwego zanieczyszczenia;
celowanego potwierdzenia białek;
niezależnej kohorty;
wyniku płodności.

Na tym etapie białko może być kandydatem powiązanym z grupą. Aby stało się biomarkerem, trzeba zdefiniować test, próg, czułość, swoistość i zastosowanie. Aby stało się testem klinicznym lub hodowlanym, potrzebna jest walidacja w docelowej populacji. Aby uznać je za mechanizm, potrzebna jest interwencja.

To nie odbiera pracy wartości eksploracyjnej. Precyzuje, jaki eksperyment powinien nastąpić.

Efekt partii w single-cell i organoidach

Dane jednokomórkowe zawierają tysiące komórek, ale wniosek o ludziach zależy od liczby dawców. Partie bibliotek, chemia zestawu i głębokość sekwencjonowania mogą dominować nad subtelną biologią.

W organoidach dochodzą:

linia i klon;
partia macierzy;
pasaż;
początkowa gęstość;
geometria agregatu;
efektywność różnicowania;
operator;
czas pobrania.

Każdy warunek powinien być rozłożony między różnicowania i linie. Analiza pseudobulk na poziomie próbki często lepiej odpowiada pytaniu o dawców niż testowanie pojedynczych komórek jak niezależnych.

Korekcja partii jest ryzykowna, gdy partia pokrywa się z warunkiem. Algorytm może usunąć prawdziwy sygnał albo stworzyć pozorną zgodność. Zawsze pokazuj dane przed i po korekcie.

Linia, klon i dawca odpowiadają na inne pytania

W iPSC kilka klonów jednego dawcy pozwala ocenić zmienność klonalną. Wielu dawców pozwala uogólniać na różnorodność genetyczną. Izogeniczna korekta mutacji dobrze izoluje jej wpływ, ale nie pokazuje, czy efekt jest taki sam na innych tłach.

Mocny zestaw może łączyć:

parę izogeniczną dla przyczynowości;
kilka klonów dla odporności na specyfikę klonu;
kilku dawców dla uogólnienia;
niezależne różnicowania dla procesu.

Nie trzeba zawsze maksymalizować wszystkich wymiarów. Trzeba dopasować je do wniosku i uczciwie nazwać ograniczenie.

Standardy ISSCR dla badań z ludzkimi komórkami macierzystymi obejmują minimalną charakterystykę, stan niezróżnicowany, genom, modele komórkowe, higienę hodowli i praktyki raportowania.⁶

Tożsamość materiału jest częścią statystyki

Najlepszy model nie pomoże, jeśli linia jest pomylona, kultura ma mykoplazmę, przeciwciało wiąże inny cel albo związek uległ rozkładowi.

Dla linii komórkowej zaplanuj:

wiarygodne pochodzenie;
profil tożsamości, gdy metoda istnieje;
test mykoplazmy;
bank główny i roboczy;
zakres pasaży;
zapis pożywki i podłoża;
test po zdarzeniu wysokiego ryzyka.

Mykoplazma może nie dawać oczywistych zmian morfologii, a jednak zmieniać metabolizm i odpowiedź. Wytyczne dla linii komórkowych zalecają uwierzytelnienie, kwarantannę nieprzebadanych kultur, regularne testowanie i odtwarzanie z banku.⁷

NIH wymaga planu uwierzytelniania kluczowych zasobów, w tym linii, przeciwciał, biologików i związków, jeśli ich zmienność może wpłynąć na dane.⁸

Przeciwciało trzeba zwalidować w konkretnym zastosowaniu

To samo przeciwciało może działać w Western blot, a zawodzić w immunofluorescencji. Walidacja powinna odpowiadać:

gatunkowi;
utrwaleniu;
zakresowi stężeń;
przewidywanej masie;
kontroli knockout lub knockdown;
konkurencji antygenem, jeśli właściwa;
zgodności z drugim przeciwciałem;
lokalizacji i ekspresji celu.

Numer katalogowy i partia są częścią metody. Zmiana partii wymaga kontroli porównawczej, jeśli odczyt jest kluczowy.

Kryteria wykluczeń ustala się przed odkodowaniem

Próbka może zostać wykluczona z powodu:

nieudanej kontroli jakości;
kontaminacji;
błędu urządzenia;
pomyłki identyfikatora;
niewłaściwego czasu;
wcześniej określonego progu.

Każde wykluczenie powinno zostawić identyfikator, powód, moment i osobę podejmującą decyzję. Próg nie może zależeć od tego, czy obserwacja psuje oczekiwany efekt.

Jeśli decyzja jest niejednoznaczna, pokaż analizę z oraz bez próbki. Nie oznacza to wyboru wygodniejszej wersji. Pokazuje odporność wniosku.

Wartość odstająca nie jest automatycznie błędem

Odstająca obserwacja może oznaczać:

błąd pomiaru;
pomyłkę próbki;
prawdziwą rzadką odpowiedź;
nieujawnioną podgrupę;
ciężkoogonowy rozkład;
nieadekwatny model.

Najpierw wróć do danych źródłowych i metadanych. Nie usuwaj punktu tylko dlatego, że leży daleko od średniej. Jeśli stosujesz regułę statystyczną, ustal ją przed obejrzeniem grup i zastosuj symetrycznie.

Rzadki responder może być biologicznie ważniejszy niż średnia.

Brakujące dane mają przyczynę

Brak może być niezależny od wyniku, zależny od obserwowanych cech albo zależny od samego nieobserwowanego wyniku. Martwe organoidy, zbyt słabe biblioteki i pacjenci rezygnujący przez działania niepożądane nie znikają losowo.

Raportuj:

liczbę rozpoczętych jednostek;
liczbę na każdym etapie;
powody braków według grup;
założenia imputacji;
analizę wrażliwości.

Analiza tylko „próbek dobrej jakości” może zmienić pytanie na dotyczące podzbioru, który przetrwał procedurę.

Kontrole pozytywne i negatywne rozdzielają awarie

Kontrola pozytywna mówi, czy układ potrafił odpowiedzieć. Negatywna pokazuje tło. Kontrola nośnika oddziela rozpuszczalnik. Kontrola procesu przechodzi wszystkie etapy bez materiału docelowego.

W omikach przydają się wspólne próbki referencyjne i standardy wewnętrzne. W edycji — kontrola nietargetująca i alternatywny przewodnik. W różnicowaniu — marker wejścia, pośrednich stanów i funkcji końcowej.

Wynik ujemny bez działającej kontroli pozytywnej jest często wynikiem nieinformatywnym.

Ortogonalny pomiar utrudnia wspólny artefakt

Jeśli RNA, białko i funkcja zmieniają się zgodnie, trudniej wyjaśnić wynik jednym błędem metody. Ortogonalność nie oznacza trzech odczytów z tego samego mechanizmu detekcji.

Przykłady:

qPCR plus sekwencjonowanie RNA;
immunoblot plus pomiar aktywności;
obrazowanie plus cytometria;
przewidywane wiązanie plus pomiar biofizyczny;
marker różnicowania plus funkcja fizjologiczna.

Metody mogą mieć wspólny błąd biologiczny, na przykład złą linię. Dlatego ortogonalny pomiar nie zastępuje uwierzytelnienia.

Analiza eksploracyjna i potwierdzająca powinny być rozdzielone

Eksploracja szuka wzorców i tworzy hipotezy. Ma prawo używać wielu wizualizacji, modeli i progów, jeśli cały proces jest uczciwie opisany. Potwierdzenie testuje wcześniej określoną hipotezę na nowych danych.

Najczęstszy błąd to odkryć sygnaturę i ocenić ją na tych samych próbkach. Nawet walidacja krzyżowa nie zawsze zastępuje niezależną kohortę, szczególnie gdy cały pipeline był wielokrotnie poprawiany.

Preregistered plan nie zakazuje eksploracji. Oznacza, że czytelnik wie, co było zaplanowane przed wynikiem, a co powstało później.

Kod odtwarzalny to kod, który ktoś może uruchomić

Minimalny pakiet obliczeniowy zawiera:

surowe lub możliwie pierwotne dane;
słownik zmiennych;
mapę próbek;
wersję kodu;
środowisko i zależności;
parametry;
ziarna losowe;
instrukcję uruchomienia;
oczekiwane wyniki pośrednie;
licencję i ograniczenia dostępu.

Notebook uruchamiany tylko w kolejności komórek autora nie jest niezawodnym pipeline’em. Analiza powinna startować od niezmienionego wejścia, tworzyć wyniki w czystym katalogu i zgłaszać błąd przy brakującym pliku.

Kontener lub plik środowiska pomaga, ale nie zastępuje opisu pochodzenia danych i decyzji.

FAIR nie znaczy automatycznie otwarte

Zasady FAIR mówią, że dane powinny być odnajdywalne, dostępne na jasnych warunkach, interoperacyjne i możliwe do ponownego użycia.⁹ Dane wrażliwe mogą wymagać kontrolowanego dostępu, a mimo to spełniać te zasady.

Dobry depozyt ma trwały identyfikator, metadane, format, wersję i warunki dostępu. „Dostępne na prośbę” jest kruche: autor zmienia instytucję, plik ginie, a kryteria dostępu pozostają niejasne.

Udostępniaj także wyniki ujemne i dane potrzebne do odtworzenia figury, nie tylko przetworzoną tabelę sukcesów.

Replikacja wieloośrodkowa testuje ukryte zależności

Powtórzenie w innym laboratorium zmienia operatorów, sprzęt, lokalne odczynniki i kulturę pracy. To surowszy test, ale nie musi polegać na mechanicznym skopiowaniu każdego szczegółu.

Warto rozdzielić:

replikację bliską: możliwie ten sam protokół;
replikację koncepcyjną: inna metoda testuje to samo twierdzenie;
badanie heterogeniczne: zaplanowane różnice ujawniają zakres działania.

Jeśli wynik zależy od jednego typu macierzy, ta zależność może być ważnym mechanizmem, a nie tylko porażką replikacji. Warunkiem jest wspólna definicja punktu końcowego i jawne różnice.

Nieudana replikacja nie ma jednego wyjaśnienia

Możliwe są:

fałszywy wynik pierwotny;
fałszywy wynik replikacji;
za mała precyzja obu badań;
niezgodny protokół;
ważny moderator;
degradacja materiału;
błąd identyfikacji;
inna analiza.

Porównuj efekty i przedziały, nie tylko etykiety „istotne/nieistotne”. Jedna praca z p=0,04 i druga z p=0,06 mogą być ze sobą zgodne. Różnica między istotnym a nieistotnym nie musi sama być istotna.

Najlepszą odpowiedzią jest wspólny, zarejestrowany protokół z kontrolami i wymianą materiałów.

Co raportować z nieudanych serii

Nieudana seria może ujawnić:

wrażliwość na partię;
zbyt wąski zakres jakości;
awarię kontroli;
rzeczywistą heterogeniczność;
błąd protokołu.

Zapisuj liczbę rozpoczętych prób, przyczynę niepowodzenia, moment wykrycia i działania. Jeśli publikacja pokazuje tylko najlepsze różnicowania, zawyża oczekiwaną skuteczność przyszłego użytkownika.

W technologii regeneracyjnej wydajność procesu jest częścią wyniku. Produkt działający w 90% udanych serii może być niepraktyczny, jeśli połowa serii nie przechodzi kryteriów wytwarzania.

Efekt partii ma też wymiar produkcyjny

W badaniu odkrywczym partia jest źródłem zmienności. W rozwoju produktu staje się cechą procesu. Trzeba zdefiniować:

krytyczne parametry;
atrybuty jakości;
zakres akceptacji;
trend w czasie;
porównywalność po zmianie;
zasady postępowania z wynikiem poza specyfikacją.

Zmiana skali, dostawcy lub miejsca może zmienić komórki nawet przy tej samej etykiecie protokołu. Dlatego pełny łańcuch od laboratorium do produktu omawia Od laboratorium do ATMP.

Minimalny plan analizy przed doświadczeniem

Jedna strona wystarczy, aby zapisać:

główną hipotezę;
jednostkę eksperymentalną;
grupy i sposób przydziału;
główny punkt końcowy;
wykluczenia;
liczbę jednostek i uzasadnienie;
transformację oraz agregację;
model statystyczny;
kontrasty;
wielokrotne testowanie;
brakujące dane;
analizę wrażliwości;
kryterium przejścia do następnego etapu.

Plan nie musi przewidzieć każdego zdarzenia. Odstępstwo trzeba zapisać wraz z momentem i powodem.

Lista kontrolna przed rozpoczęciem

Jaka populacja jest celem wniosku?
Co jest niezależną jednostką?
Które pomiary są techniczne?
Jak warunki zostaną rozłożone między partie?
Co i jak będzie losowane?
Kto pozostanie zaślepiony?
Jakie są kontrole?
Jaki efekt jest ważny biologicznie?
Ile niezależnych jednostek potrzeba?
Który wynik jest główny?
Jak uwierzytelniono materiał?
Które kryteria wykluczeń są zapisane?
Gdzie trafią dane, kod i metadane?

Lista kontrolna po pomiarze

Czy wszystkie rozpoczęte jednostki są rozliczone?
Czy kontrola pozytywna i negatywna zadziałały?
Czy grupy są zrównoważone między partiami?
Czy analiza używa właściwego poziomu?
Czy pokazano rozkład i pary?
Czy efekt ma przedział niepewności?
Czy wielokrotne testy skorygowano?
Czy wyniki są odporne na rozsądne decyzje?
Czy niepowodzenia zostały uwzględnione?
Czy wniosek nie wykracza poza model?
Czy osoba niezależna może uruchomić analizę?

Powtarzalność ma warstwę metrologiczną

Projekt statystyczny mówi, jak porównujemy jednostki. Metrologia pyta, co właściwie oznacza każda liczba i z jakim odniesieniem jest związana.

Potrzebne są oba poziomy.

Można mieć:

poprawnie randomizowane próbki mierzone niestabilną metodą;
bardzo precyzyjny instrument użyty na pseudoreplikatach;
dobrą kalibrację, ale źle zdefiniowany fenotyp;
duże n, lecz niespójną preanalitykę.

Żaden z tych projektów nie daje mocnego wniosku.

Zdefiniuj measurand

„Poziom białka” może oznaczać:

masę na objętość;
sygnał względny;
intensywność piku;
liczbę cząsteczek na komórkę;
udział komórek dodatnich;
średnią w wybranym regionie.

Jeżeli dwa laboratoria używają innej definicji, zgodne liczby nie muszą oznaczać zgodnego pomiaru.

Opis obejmuje:

wielkość;
matrycę;
warunki;
jednostkę;
procedurę;
model obliczenia.

Zmienność procesu i niepewność wyniku

Odchylenie między jednostkami może zawierać:

różnicę biologiczną;
pobranie;
przygotowanie;
kalibrację;
odczynnik;
wskazanie;
analizę;
operatora.

Niepewność pomiaru nie jest po prostu odchyleniem standardowym wszystkich punktów, ponieważ punkty mogą reprezentować prawdziwie różne organizmy.

Warto wykonać osobne doświadczenia:

powtarzanych odczytów tej samej próbki;
powtórnego przygotowania;
różnych dni;
operatorów;
partii;
materiału odniesienia.

Kalibracja nie usuwa efektu partii

Krzywa przelicza wskazanie na wartość według modelu.

Nowa partia może jednak zmienić:

odzysk;
powinowactwo;
tło;
zakres;
nachylenie;
matrycę.

Kalibrator i kontrola jakości pełnią różne role. Kalibrator nadaje zależność, a kontrola sprawdza bieżące zachowanie procesu.

Spójność pomiarowa i porównywalność

W niektórych pomiarach wynik można powiązać z odniesieniem przez łańcuch wzorcowań.

W wielu testach biologicznych raportuje się jednostki względne. Wtedy porównywalność wymaga:

wspólnego materiału;
wersji procedury;
referencji;
kontroli;
jednostki umownej;
stabilnego modelu.

Nie wolno nadawać jednostce względnej pozoru bezwzględnej wartości.

Control chart i dryf

Próbkę QC można umieszczać w kolejnych seriach i obserwować:

średnią;
rozrzut;
trend;
skok;
cykl;
zmianę po serwisie.

Granice kontrolne opisują zwykłe zachowanie procesu. Nie są tym samym co wymaganie biologiczne.

Punkt w granicy nie gwarantuje braku trendu. Punkt poza granicą nie powinien być automatycznie usuwany bez dochodzenia.

System suitability przed interpretacją

Instrument i metoda powinny wykazać gotowość przed oceną próbek.

Kryteria mogą obejmować:

masę;
retencję;
liczbę zdarzeń;
rozdzielczość;
tło;
czułość;
carry-over;
stabilność.

Jeżeli system suitability zawodzi, interesujący wynik biologiczny nie jest ratowany przez wykres.

Próbka pooled QC nie zastępuje jednostek

Pula pomaga obserwować:

stabilność;
dryf;
precyzję;
jakość cech.

Nie reprezentuje wariancji między dawcami. Wielokrotne wstrzyknięcie puli nie zwiększa biologicznego n.

Minimalna zmiana wykrywalna i istotna

LoD dotyczy odróżnienia sygnału od tła.

LoQ dotyczy ilościowego wyniku o akceptowalnej jakości.

Minimalna zmiana wykrywalna dotyczy różnicy większej od szumu metody.

Minimalna różnica istotna biologicznie wynika z pytania.

Metoda może wykrywać zmianę tak małą, że nie ma znaczenia dla funkcji. Może też być za mało czuła na zmianę ważną.

Reguła decyzji

Jeżeli wynik prowadzi do:

wykluczenia próbki;
zwolnienia partii;
przejścia do zwierząt;
zatrzymania projektu,

trzeba z góry ustalić granicę i uwzględnienie niepewności.

Wynik blisko progu nie staje się kategoryczny tylko dlatego, że arkusz używa operatora >.

Porównanie laboratoriów

Wysłanie tej samej próbki do dwóch miejsc może ujawnić:

bias;
różną kalibrację;
zmianę matrycy;
wersję odczynnika;
algorytm;
próg raportowania.

Rozbieżność nie jest automatycznie dowodem, że jedno laboratorium się myli. Najpierw trzeba uzgodnić measurand i model.

Most do osobnego artykułu

Pełne definicje kontroli, odniesienia, prawdziwości, precyzji, biasu, LoD, LoQ i budżetu niepewności opisuje Kontrola, próba odniesienia i niepewność wyniku.

Praktyczne podstawy laboratorium rozwija Metrologia w laboratorium biologicznym.

Powtarzalność nie oznacza identyczności

Żywe układy są zmienne. Celem nie jest wymuszenie identycznych liczb, lecz poznanie rozkładu efektu i warunków, w których występuje. Wynik „działa tylko w jednej linii” może być prawdziwy i mechanistycznie ciekawy, jeśli linia została uwierzytelniona, a różnicę powiązano z określoną cechą.

Rygor oddziela taką warunkowość od chaosu technicznego. Dobry projekt ujawnia dawcę, partię i operatora zamiast je ukrywać; dobra analiza modeluje hierarchię zamiast pompować n; dobry raport pokazuje także to, co nie zadziałało.

Największym zagrożeniem nie jest pojedynczy błąd statystyczny. Jest nim sytuacja, w której nie da się ustalić, czy efekt pochodzi z biologii, procedury czy selekcji. Temu właśnie zapobiega projektowanie powtarzalności od pierwszego dnia.