Najkrótsza odpowiedź

Bioinformatyk przekłada pytanie biologiczne na kontrolowany obieg danych:

  1. ustala, co oznaczają próbki;
  2. sprawdza pliki i metadane;
  3. wybiera metodę;
  4. zapisuje kroki oraz parametry;
  5. kontroluje jakość;
  6. dopasowuje model statystyczny;
  7. wizualizuje wynik;
  8. oddaje raport wraz z ograniczeniami i możliwością odtworzenia analizy.

Pisanie kodu jest ważne, ale samo nie definiuje zawodu. Bioinformatyk musi rozumieć, skąd powstał sygnał i jaki wniosek jest biologicznie uprawniony.

Obieg od pytania i metadanych przez surowe dane, kontrolę jakości, workflow, statystykę i wizualizację do raportu, z pętlą konsultacji z biologiem.
Obieg od pytania i metadanych przez surowe dane, kontrolę jakości, workflow, statystykę i wizualizację do raportu, z pętlą konsultacji z biologiem.

Bioinformatyka ma kilka zawodów w jednej nazwie

Analityk danych biologicznych

Wykonuje analizy konkretnego projektu: RNA-seq, warianty, obrazy, proteomikę albo dane single-cell. Dużo rozmawia z biologami i tworzy interpretowalne wyniki.

Twórca metod

Buduje algorytm, model statystyczny lub narzędzie. Potrzebuje mocniejszych podstaw matematycznych i walidacji względem istniejących metod.

Inżynier workflow

Łączy programy w stabilny, skalowalny proces. Dba o wersje, kontenery, zasoby, logi, testy i uruchomienia.

Kurator danych

Standaryzuje opisy, ontologie i rekordy. To praca wymagająca wiedzy biologicznej oraz ogromnej dokładności.

Inżynier infrastruktury

Utrzymuje klastry, chmurę, magazyny, bezpieczeństwo i dostęp. Nie musi interpretować każdego genu, lecz rozumie wymagania danych wrażliwych.

Bioinformatyk kliniczny

Pracuje w bardziej regulowanym środowisku. Liczą się zwalidowany pipeline, ślad wersji, klasyfikacja wariantu, ochrona danych i odpowiedzialny raport.

Jedna oferta może łączyć kilka ról. Warto sprawdzić, czy „bioinformatyk” oznacza badacza, analityka usługowego, programistę czy administratora.

Pierwsze pytanie brzmi: co to za próbki

Zanim otworzy się plik, trzeba ustalić:

  • organizm;
  • tkankę;
  • typ komórki;
  • dawcę;
  • interwencję;
  • czas;
  • partię;
  • platformę;
  • powtórzenia;
  • grupę kontrolną.

Bez tego nazwa sample_17.fastq.gz jest tylko etykietą.

Metadata są częścią danych

Metadane opisują kontekst. Mogą znajdować się w arkuszu, LIMS, nagłówku pliku albo bazie.

Dobry zestaw używa:

  • stałych identyfikatorów;
  • kontrolowanego słownika;
  • jawnych jednostek;
  • formatu daty;
  • opisu braków;
  • połączenia z plikiem surowym;
  • historii poprawek.

Kolumna condition z wartościami control, ctrl, K, untreated może oznaczać jedną grupę albo cztery różne warunki. Nie należy tego zgadywać po fakcie.

Dzień pracy często zaczyna się od komunikacji

Bioinformatyk pyta biologa:

  • co było jednostką eksperymentalną;
  • które próbki tworzą pary;
  • czy wystąpiły odstępstwa;
  • jak randomizowano;
  • co było głównym wynikiem;
  • czy próbki przeszły razem przez partie;
  • czy brak oznacza zero, czy brak pomiaru.

Te pytania nie są biurokracją. Określają model analizy.

Przyjęcie danych

Po otrzymaniu plików sprawdza się:

  • liczbę;
  • rozmiar;
  • format;
  • możliwość odczytu;
  • sumy kontrolne;
  • strukturę katalogów;
  • zgodność identyfikatorów;
  • kompletność metadanych.

Suma kontrolna pozwala wykryć zmianę podczas transferu. Nie dowodzi, że plik zawiera właściwą próbkę.

Surowe nie znaczy nietknięte przez instrument

FASTQ jest już produktem primary analysis sekwenatora. Obraz mikroskopowy mógł zostać przetworzony przez firmware. Plik cytometrii zawiera sygnały po działaniu elektroniki.

Trzeba ustalić, co w danym projekcie nazywa się surowym:

  • najwcześniejszy zachowany sygnał;
  • eksport producenta;
  • zdemultipleksowane odczyty;
  • obraz bez ręcznej obróbki.

Granica powinna być zapisana.

Formaty są językiem pracy

Bioinformatyk spotyka między innymi:

  • FASTA — sekwencje;
  • FASTQ — sekwencje i jakości;
  • SAM/BAM/CRAM — dopasowania;
  • VCF — warianty;
  • GTF/GFF — adnotacje;
  • BED — przedziały;
  • CSV/TSV — tabele;
  • HDF5 i formaty obiektowe — większe macierze;
  • TIFF/OME-TIFF — obrazy i metadane.

Rozszerzenie nie gwarantuje zgodności. Format ma wersję, wymagane pola i konwencje współrzędnych.

Kontrola jakości nie jest jednym wykresem

QC odpowiada na pytanie, czy dane nadają się do celu.

W sekwencjonowaniu może obejmować:

  • jakość zasad;
  • adaptery;
  • duplikację;
  • długość;
  • pokrycie;
  • zgodność płci lub genotypu;
  • kontaminację;
  • udział odczytów mapujących;
  • rozkład po regionach.

W obrazie może obejmować ostrość, nasycenie, tło i dryf. W single-cell — liczbę transkryptów, genów i udział mitochondrialny.

Nie istnieje jeden próg dobry dla każdego materiału.

QC próbki i QC serii

Próbka może wyglądać dobrze sama, a nietypowo względem pozostałych.

Seria może ujawnić:

  • zamianę etykiet;
  • efekt partii;
  • różnicę bibliotek;
  • zmianę operatora;
  • dryf instrumentu;
  • zanieczyszczenie.

PCA jest narzędziem eksploracji struktury, nie automatycznym testem „dobre–złe”.

Workflow to jawny łańcuch

Analiza złożona z ręcznie uruchamianych komend w przypadkowej kolejności jest trudna do odtworzenia.

Workflow zapisuje:

  • wejścia;
  • kroki;
  • zależności;
  • parametry;
  • zasoby;
  • wyjścia;
  • warunki błędu.

Systemy takie jak Snakemake, Nextflow, CWL albo WDL pomagają opisać obieg. Nie zwalniają z rozumienia narzędzi.

Pierwotna publikacja Snakemake pokazuje podstawową ideę budowania zależności między regułami i automatycznego wykonywania tylko kroków potrzebnych do uzyskania wskazanego wyniku.2

Skrypt, notebook i workflow

Skrypt wykonuje określone zadanie.

Notebook łączy kod, wynik i komentarz; dobrze nadaje się do eksploracji, ale łatwo uruchomić komórki w niejawnej kolejności.

Workflow zarządza zależnościami i plikami w większym procesie.

Dojrzały projekt może używać wszystkich trzech na różnych etapach.

Wersja programu zmienia wynik

Algorytm może:

  • naprawić błąd;
  • zmienić domyślny parametr;
  • użyć nowej bazy;
  • inaczej obsłużyć remis;
  • zmienić format wyjścia.

Raport powinien zachować:

  • nazwę i wersję;
  • komendę;
  • parametry;
  • wersję referencji;
  • wersję adnotacji;
  • środowisko.

„Użyto standardowego pipeline” jest niewystarczające.

Referencja także ma wersję

Wynik wariantów zależy od:

  • assembly genomu;
  • contigów;
  • plików decoy;
  • adnotacji genów;
  • baz częstości;
  • normalizacji wariantu.

Współrzędna bez nazwy assembly może wskazywać inne miejsce w innej wersji.

Kontener nie rozwiązuje wszystkiego

Kontener pomaga odtworzyć środowisko oprogramowania. Nie przechowuje automatycznie:

  • właściwych danych;
  • decyzji analitycznych;
  • tajnych kluczy;
  • wersji zewnętrznej bazy;
  • przydziału próbek;
  • sensu biologicznego.

Jest warstwą reprodukowalności, nie jej pełnym rozwiązaniem.

Praktyczne opracowanie Grüninga i współautorów łączy wersjonowanie, pakiety, kontenery, workflow oraz udostępnianie jako uzupełniające się, a nie wymienne elementy odtwarzalności obliczeniowej.3

Git przechowuje historię kodu

Repozytorium pozwala:

  • zobaczyć zmianę;
  • wrócić do wersji;
  • pracować w gałęzi;
  • przeprowadzić review;
  • oznaczyć wydanie.

Nie powinno przechowywać dużych danych ani danych osobowych bez odpowiedniej architektury.

Commit powinien opisywać logiczną zmianę. Plik final_final2.py nie jest systemem wersji.

Linux jest środowiskiem pracy

Wiele narzędzi genomicznych działa w terminalu. Podstawy obejmują:

  • ścieżki;
  • uprawnienia;
  • strumienie;
  • procesy;
  • zdalne połączenie;
  • skrypty;
  • zarządzanie zasobami.

Największym ryzykiem początkującego nie jest brak znajomości wszystkich komend, lecz wykonanie destrukcyjnej operacji na złym katalogu lub pomylenie wejścia z wyjściem.

Python i R pełnią różne role

Python jest często używany do:

  • automatyzacji;
  • przetwarzania;
  • budowania narzędzi;
  • integracji API;
  • uczenia maszynowego.

R jest silny w:

  • statystyce;
  • modelowaniu;
  • analizie danych tabelarycznych;
  • genomice;
  • wizualizacji.

Ważniejsza od deklaracji języka jest umiejętność pisania czytelnego, testowalnego kodu.

Statystyka zaczyna się w projekcie

Analiza musi znać:

  • jednostkę;
  • parowanie;
  • partie;
  • zależności;
  • rozkład;
  • główny kontrast;
  • braki;
  • wielokrotne testy.

Tysiące genów nie tworzą tysięcy niezależnych pacjentów. Liczba cech jest innym wymiarem niż liczba jednostek.

Normalizacja nie oznacza „poprawiania”

Normalizacja próbuje usunąć techniczne różnice skali przy zachowaniu biologicznego sygnału.

Jej założenia mogą zawieść, gdy:

  • większość cech globalnie się zmienia;
  • skład próbek jest bardzo różny;
  • istnieje silny efekt partii;
  • kontrola nie reprezentuje próbki.

Po normalizacji trzeba sprawdzić, co metoda faktycznie zachowała.

Batch correction ma cenę

Algorytm może zmniejszyć efekt partii, ale także usunąć biologiczną różnicę, jeżeli partia pokrywa się z grupą.

Jeżeli wszystkie przypadki przetworzono w poniedziałek, a kontrole w piątek, nie da się obliczeniowo rozdzielić obu przyczyn bez dodatkowej informacji.

Najlepsza kontrola partii zaczyna się przy randomizacji materiału.

Wielokrotne testowanie

Przy badaniu tysięcy genów część ma małe p przypadkiem. Potrzebna jest kontrola liczby fałszywych odkryć.

FDR nie mówi, że każdy wynik poniżej progu jest prawdziwy. Opisuje oczekiwaną proporcję w zbiorze odkryć przy założeniach procedury.

Warto łączyć:

  • wielkość efektu;
  • niepewność;
  • FDR;
  • spójność;
  • walidację.

Model predykcyjny i wyjaśnienie

Model może dobrze przewidywać klasę bez ujawniania mechanizmu.

Trzeba rozdzielić:

  • predykcję;
  • asocjację;
  • interpretację cech;
  • przyczynowość.

Najważniejszym zabezpieczeniem predykcji jest niezależny zbiór testowy, którego nie używano do wyboru modelu.

Przeciek danych

Leakage występuje, gdy informacja z testu wpływa na trening.

Może się pojawić przez:

  • normalizację całego zbioru przed podziałem;
  • duplikaty;
  • próbki tego samego pacjenta po obu stronach;
  • wybór cech na wszystkich danych;
  • nazwę pliku kodującą klasę.

Wynik wygląda wtedy lepiej niż przyszłe zastosowanie.

Wizualizacja jest testem rozumienia

Dobry wykres pokazuje:

  • jednostki;
  • skalę;
  • rozkład;
  • niepewność;
  • parowanie;
  • partię;
  • braki.

Kolor i układ powinny pomagać zobaczyć wzór. Wykres nie może zastępować analizy, ale często ujawnia błąd wcześniej niż tabela.

Heatmapa bez skali i informacji o selekcji genów może stworzyć pozornie wyraźne klastry.

Review kodu

Druga osoba może sprawdzić:

  • założenia;
  • obsługę braków;
  • indeksowanie;
  • znaki porównania;
  • parametry;
  • przypadki brzegowe;
  • zgodność figury z tabelą.

Kod działający bez komunikatu nie musi działać poprawnie.

Testy jednostkowe są przydatne także w biologii: można stworzyć mały znany przykład i sprawdzić oczekiwany wynik.

Ile czasu zajmuje analiza

Mała komenda może uruchamiać się godzinami, a miesiąc pracy może kończyć się jedną figurą.

Czas pochłaniają:

  • czyszczenie metadanych;
  • transfer;
  • kolejka klastra;
  • debugowanie;
  • walidacja;
  • rozmowa o anomaliach;
  • powtórzenie po zmianie projektu;
  • dokumentacja.

Samo „CPU time” jest niewielką częścią pracy człowieka.

Klaster i chmura

Klaster współdzieli zasoby. Użytkownik deklaruje pamięć, CPU, czas i czasem GPU.

Chmura daje elastyczność, ale wymaga kontroli:

  • kosztu;
  • regionu;
  • uprawnień;
  • szyfrowania;
  • transferu;
  • usuwania;
  • zgodności prawnej.

Zbyt duży zasób marnuje pieniądze. Zbyt mały kończy proces lub powoduje swap.

Dane genomowe są wrażliwe

Sekwencja człowieka może identyfikować osobę i ujawniać relacje rodzinne. Pseudonimizacja nie usuwa wszystkich ryzyk.

Praktyka obejmuje:

  • minimalne uprawnienia;
  • oddzielne identyfikatory;
  • szyfrowany transfer;
  • kontrolę udostępnienia;
  • logi;
  • retencję;
  • usuwanie;
  • zakres zgody.

Publiczny link do pliku nie jest bezpiecznym sposobem współpracy.

FAIR nie znaczy „wszystko publiczne”

Zasady FAIR mówią, że dane powinny być znajdowalne, dostępne według jawnych warunków, interoperacyjne i możliwe do ponownego użycia.1

Dane wrażliwe mogą być dostępne kontrolowanie. Ważne są metadane, trwałe identyfikatory, standardy i warunki.

Raport ma warstwy

Dobry raport zawiera:

  1. pytanie;
  2. próbki i wykluczenia;
  3. wersje metod;
  4. wyniki QC;
  5. główną analizę;
  6. wielkości efektu;
  7. figury;
  8. ograniczenia;
  9. lokalizację kodu i danych;
  10. decyzję lub następny krok.

Odbiorca nie powinien szukać w logach odpowiedzi na pytanie biologiczne.

Negatywny wynik jest wynikiem

Brak różnicy może być ważny, jeżeli:

  • dane miały odpowiednią jakość;
  • perturbacja zadziałała;
  • projekt miał czułość;
  • kontrola dodatnia działała;
  • przedział wyklucza istotny efekt.

Jeżeli pipeline zawiódł, wynik jest nieważny, a nie ujemny.

Praca z biologiem

Najlepsza współpraca zaczyna się przed zebraniem danych. Bioinformatyk może pomóc ustalić:

  • układ próbek;
  • liczbę;
  • randomizację;
  • wymagane metadane;
  • format;
  • koszt przechowania;
  • główny kontrast.

Zaproszenie dopiero po sekwencjonowaniu może ujawnić, że partia jest nierozdzielna od grupy.

Jak wejść do zawodu

Rozsądna kolejność:

  1. podstawy biologii komórki i genetyki;
  2. Linux i pliki tekstowe;
  3. jeden język;
  4. statystyka;
  5. Git;
  6. jeden pełny typ analizy;
  7. workflow i środowisko;
  8. portfolio z reprodukowalnym projektem.

Nie trzeba znać wszystkich omik. Lepiej dobrze rozumieć jeden obieg od próbki do wniosku.

Pierwszy projekt portfolio

Można użyć publicznych danych i przygotować:

  • jasno zadane pytanie;
  • plik metadanych;
  • skrypt pobrania;
  • sumy;
  • QC;
  • workflow;
  • analizę;
  • figury;
  • README;
  • ograniczenia.

Warto pokazać, jak wynik został odtworzony od zera, a nie tylko gotowy notebook.

Jak oceniać ofertę

Zapytaj:

  • jakie dane dominują;
  • kto definiuje pytania;
  • ile jest rozwoju metod;
  • czy działa zespół infrastruktury;
  • jak wygląda review;
  • jakie są zasoby;
  • czy dane są kliniczne;
  • jak wersjonuje się pipeline;
  • jaki jest udział spotkań;
  • czy rola ma dyżury.

„Praca z AI i genomiką” może oznaczać głównie czyszczenie tabel. To nie wada, ale trzeba wiedzieć wcześniej.

Usługa analityczna i własny projekt

W zespole usługowym kilka projektów konkuruje o czas. Potrzebne są:

  • kryteria przyjęcia danych;
  • szablon metadanych;
  • oszacowanie kosztu;
  • kolejka;
  • zakres odpowiedzialności;
  • procedura odbioru;
  • wersja raportu;
  • reguły dalszych poprawek.

Bioinformatyk nie powinien obiecywać dowolnego wniosku z każdego zbioru. Czasem najważniejszym rezultatem konsultacji jest wykazanie, że projekt nie rozdziela grupy od partii albo że liczba jednostek nie pozwala na planowany model.

We własnym projekcie swoboda jest większa, ale rośnie odpowiedzialność za sformułowanie pytania, walidację i utrzymanie kodu. Prototyp analizy wykonany raz dla publikacji nie jest automatycznie narzędziem produkcyjnym, które bez nadzoru przyjmie setki nowych próbek.

Najczęstsze błędy początkującego

  • zaczyna od programu, zanim rozumie próbki;
  • poprawia ręcznie plik bez zapisu;
  • używa niejawnych wersji;
  • utożsamia odczyty z replikatami;
  • usuwa odstające próbki po poznaniu grupy;
  • koryguje partię pokrywającą się z warunkiem;
  • dostraja model na zbiorze testowym;
  • interpretuje korelację jako mechanizm;
  • publikuje tylko finalną figurę;
  • ignoruje ochronę danych.

Minimalna checklista analizy

  • Czy identyfikatory plików zgadzają się z metadanymi?
  • Co jest jednostką?
  • Jakie są partie i pary?
  • Czy zachowano sumy i dane surowe?
  • Jakie wersje referencji i programów?
  • Jakie kryteria QC?
  • Czy wykluczenia są zapisane?
  • Czy workflow działa od czystego katalogu?
  • Czy model odpowiada projektowi?
  • Czy figura powstaje z końcowej tabeli?
  • Czy kod przeszedł review?
  • Czy raport oddziela wynik od interpretacji?

Co warto zapamiętać

  • Bioinformatyka zaczyna się od projektu i metadanych.
  • Plik nie ma znaczenia bez próbki i kontekstu.
  • QC jest zależne od celu.
  • Workflow zapisuje kroki, ale nie gwarantuje sensu.
  • Program, baza, referencja i adnotacja mają wersje.
  • Statystyka musi odtwarzać jednostki i partie.
  • Korekcja nie naprawi całkowitego pomieszania projektu.
  • Predykcja nie jest automatycznie mechanizmem.
  • Dane genomowe wymagają ochrony.
  • Reprodukowalny raport łączy kod, dane, wersje i ograniczenia.

Dokąd dalej

Praktyczny start opisuje Linux, Git, Python i R.

Szczegóły plików rozwijają Formaty danych biologicznych, a pełny obieg Workflow i kontrola jakości danych.

O infrastrukturze mówi Moc obliczeniowa i przechowywanie danych.

Źródła