NCBI, ENA i DDBJ: jeden archiwalny ekosystem sekwencji

Jeden archiwalny ekosystem, trzy punkty wejścia

GenBank w NCBI, European Nucleotide Archive (ENA) w EMBL-EBI i DNA Data Bank of Japan (DDBJ) nie są trzema konkurencyjnymi katalogami, do których trzeba niezależnie wysłać tę samą sekwencję. Tworzą International Nucleotide Sequence Database Collaboration (INSDC). Partnerzy przyjmują dane, stosują wspólne standardy i regularnie je wymieniają, aby publiczny zapis sekwencji był dostępny z każdego regionu.¹

Nie oznacza to, że każda strona wygląda tak samo i udostępnia identyczne pliki w tej samej chwili. Partnerzy mają:

• różne interfejsy wyszukiwania;
• własne portale zgłoszeniowe;
• odmienne prefiksy identyfikatorów wskazujące miejsce pierwotnego zgłoszenia;
• własne usługi API i formaty eksportu;
• dodatkowe bazy pochodne i narzędzia;
• opóźnienia indeksowania i propagacji aktualizacji.

Najlepszy model myślowy brzmi: wspólny archiwalny rekord naukowy, trzy infrastruktury dostępu. Dane składa się zwykle u jednego partnera, a nie trzy razy. Do analizy można użyć tego punktu dostępu, który daje najwygodniejszy interfejs lub format, zachowując oryginalne identyfikatory.

Archiwum nie jest katalogiem „najlepszych sekwencji”

Archiwum pierwotne zachowuje dane zgłoszone przez autorów i ich historię. Z tego wynikają cechy, które początkującego mogą dziwić:

• ten sam gen może mieć wiele rekordów;
• sekwencje mogą być częściowe;
• adnotacje mogą się różnić;
• nazwy genów mogą być historyczne;
• rekord może zostać poprawiony, zastąpiony lub wycofany;
• jakość nie jest jednakowa;
• obecność w archiwum nie jest recenzją biologicznej interpretacji.

Redundancja jest częścią zapisu naukowego. Dwa laboratoria mogły niezależnie zsekwencjonować ten sam region albo różne haplotypy. Archiwum ma zachować pochodzenie, a nie scalić wszystko w jeden werdykt.

Do pracy wymagającej reprezentatywnej referencji używa się baz pochodnych, zespołów referencyjnych i kryteriów jakości. Trzeba jednak wiedzieć, że wynik kuracji jest innym obiektem niż pierwotne zgłoszenie.

GenBank nie jest RefSeq

GenBank jest amerykańskim partnerem archiwalnym INSDC. RefSeq to osobny projekt NCBI tworzący nierefundantne sekwencje referencyjne na podstawie danych publicznych, kuracji, współpracy i automatycznej anotacji. RefSeq nie jest wymienianą częścią INSDC.²

Łatwy sygnał wizualny:

• rekordy RefSeq mają zwykle prefiks z podkreśleniem, np. NM_, NP_, NC_, XM_;
• klasyczne identyfikatory INSDC nie zawierają podkreślenia.

To wskazówka, a nie pełna ontologia. NM_ zwykle oznacza znany transkrypt RefSeq, XM_ model przewidywany, NP_ białko, NC_ cząsteczkę genomową. Status REVIEWED, MODEL czy PREDICTED trzeba odczytać z rekordu, nie z samego faktu istnienia.

Jeśli analiza wymaga odtworzenia tego, co zgłosili autorzy, należy zachować accession INSDC. Jeśli wymaga stabilnej referencji do anotacji genu, RefSeq może być lepszym wyborem. W publikacji często warto podać oba powiązania.

Rekord sekwencji to tylko jeden rodzaj obiektu

Współczesne dane NGS nie mieszczą się w jednym pliku FASTA. Potrzebny jest graf obiektów:

projekt/study → próbka → eksperyment → run → pliki

oraz opcjonalnie:

runy → analiza → złożenie, warianty lub inne wyniki

Każdy węzeł odpowiada na inne pytanie.

Projekt lub study

Projekt opisuje cel i zakres przedsięwzięcia. Grupuje wiele próbek i typów danych. W NCBI jest to BioProject, np. identyfikator zaczynający się od PRJNA; w ENA zgłoszenia mają zwykle PRJEB, w DDBJ PRJDB.

Projekt nie jest próbką i nie zawiera automatycznie pojedynczego pliku danych. Jeden BioProject może obejmować genom, RNA-seq, metagenomikę i inne zbiory. Projekt nadrzędny (umbrella) może grupować projekty podrzędne.

NCBI opisuje BioProject jako zapis celu badania, podczas gdy BioSample reprezentuje materiał biologiczny. Dla zgłoszenia SRA oba konteksty są wymagane.³

BioSample

BioSample opisuje fizyczny materiał, z którego pochodzą dane: linię komórkową, biopsję, izolat drobnoustroju, osobnika, próbkę środowiskową albo inny zdefiniowany materiał.

Pola mogą obejmować:

• organizm i identyfikator taksonomiczny;
• tkankę, typ komórki lub źródło;
• płeć, wiek i stan;
• lokalizację oraz datę pobrania;
• linię, odmianę, szczep lub izolat;
• warunki leczenia;
• identyfikator próbki w laboratorium;
• pakiet metadanych właściwy dla dziedziny.

BioSample nie jest „plikiem FASTQ” ani nazwą probówki bez kontekstu. Jest węzłem łączącym różne eksperymenty wykonane na tym samym materiale.

Dokumentacja NCBI definiuje BioSample jako opis fizycznego materiału biologicznego i podkreśla jego rolę w SRA, WGS i TSA.⁴

Eksperyment

Eksperyment opisuje, jak przygotowano i zmierzono bibliotekę:

• strategię, np. WGS, RNA-seq, amplicon;
• źródło i selekcję biblioteki;
• układ single-end albo paired-end;
• platformę i model instrumentu;
• konstrukcję biblioteki;
• oczekiwaną orientację i długość insertu;
• powiązanie z projektem oraz próbką.

W modelu ENA eksperyment reprezentuje bibliotekę przygotowaną z próbki i dane o platformie, a run jest jednostką dołączającą pliki odczytów.⁵

Run

Run reprezentuje wykonanie sekwencjonowania i pliki zawierające odczyty. Może odpowiadać lane, flowcell partition albo innej jednostce platformy. Identyfikatory często mają prefiksy:

• SRR dla NCBI SRA;
• ERR dla ENA;
• DRR dla DDBJ Sequence Read Archive.

Run nie jest biologicznym replikatem. Ten sam BioSample może mieć kilka runów z powodów technicznych:

• próbkę rozdzielono na kilka lanes;
• bibliotekę sekwencjonowano ponownie;
• użyto kilku platform;
• pliki rozbito zgodnie z organizacją aparatu.

Scalenie runów może być właściwe, jeśli należą do tej samej biblioteki i mają zgodne parametry. Nie wolno scalać ich tylko dlatego, że mają ten sam BioProject.

Analysis

Obiekt analysis przechowuje wynik pochodny, np. złożenie genomu. Powinien wskazywać wejściowe runy, metodę i pliki wynikowe. W ENA analiza może zawierać assembly uzyskane z odczytów; nie należy jej mylić z surowym runem.⁶

Warianty, ekspresja i inne wyniki bywają składane do wyspecjalizowanych repozytoriów, nie zawsze jako zwykły obiekt ENA analysis. Trzeba dobrać archiwum do rodzaju danych.

Prefiks mówi o przestrzeni identyfikatorów

W obiegu spotyka się równoległe prefiksy:

Poziom	NCBI	ENA	DDBJ
Projekt	PRJNA…	PRJEB…	PRJDB…
BioSample	SAMN…	SAMEA…	SAMD…
Study SRA	SRP…	ERP…	DRP…
Sample SRA	SRS…	ERS…	DRS…
Experiment	SRX…	ERX…	DRX…
Run	SRR…	ERR…	DRR…

Nie każdy rekord będzie wyświetlał wszystkie aliasy w każdym interfejsie. BioSample i sample SRA są dwoma powiązanymi poziomami: pierwszy opisuje materiał w ogólnym systemie, drugi jest reprezentacją próbki w modelu SRA.

Nie warto zgadywać znaczenia na podstawie trzech liter, gdy przygotowuje się automatyczny workflow. Metadane powinny jawnie zawierać typ obiektu i powiązania. Identyfikator waliduje się w API lub schemacie.

Accession to nie nazwa pliku

Accession jest stabilnym identyfikatorem rekordu. Nazwa pobranego pliku może być generowana przez usługę, zmieniać rozszerzenie albo reprezentować jeden z kilku formatów. SRR123… jest runem, a SRR123….fastq.gz jedną możliwą reprezentacją jego danych.

W analizie warto rozdzielić:

• accession obiektu;
• URL pobrania;
• nazwę lokalnego pliku;
• checksumę;
• datę pobrania;
• format i sposób konwersji.

Plik nazwany sample1_final.fastq.gz nie zachowuje pochodzenia. Manifest powinien mapować go na run, BioSample, projekt i warunki biologiczne.

Accession.version: numer po kropce ma znaczenie

Dla rekordów sekwencji stosuje się zapis:

AB123456.1

AB123456 identyfikuje rekord, a .1 konkretną wersję sekwencji. Jeśli sekwencja zmieni się choćby o jedną zasadę, numer wersji rośnie, a bazowy accession zwykle pozostaje ten sam. DDBJ opisuje ten mechanizm wprost: pierwsza publiczna wersja ma .1, a poprawiona sekwencja zwiększa numer.⁷

Accession bez wersji zwykle prowadzi do najnowszej wersji. Jest wygodny dla przeglądania, lecz nie zawsze dla powtarzalnej analizy.

Do publikacji, referencyjnego genomu, starterów i współrzędnych należy zapisać:

• accession z wersją;
• datę pobrania;
• ewentualnie release bazy;
• lokalną checksumę pliku.

Zmiana metadanych lub adnotacji bez zmiany liter sekwencji może nie zwiększyć wersji sekwencji. Sam accession.version nie zamraża zatem całego opisu. Jeśli adnotacja jest krytyczna, archiwizuje się dokładny plik i datę.

Wersja złożenia genomu to odrębny poziom

Złożenie NCBI ma accession:

• GCA_#########.n dla zgłoszonego GenBank assembly;
• GCF_#########.n dla pochodnego RefSeq assembly.

GCA i GCF nie są wymiennymi napisami. Mogą tworzyć parę, ale ich numery wersji aktualizują się niezależnie. NCBI zwiększa wersję assembly, gdy zmieniają się składające sekwencje; od 2024 roku również zmiana nazw chromosomów lub sekwencji powoduje zmianę wersji assembly.⁸

Assembly jest kolekcją sekwencji wraz z relacjami, nie pojedynczym chromosomem. Analiza wariantów wymaga dokładnego assembly accession.version i konkretnego zestawu plików.

Statusy:

• latest — aktualna wersja;
• replaced — zastąpiona nową, ale historyczne pliki pozostają;
• suppressed — usunięta z typowych wyników z powodu problemu, choć może być dostępna po accessionie.

„Najnowszy ludzki genom” jest za mało precyzyjne. Trzeba podać identyfikator i wersję.

WGS, TSA i master accessions

Duże zgłoszenia genomowe i transkryptomowe mogą używać serii accessionów. Rekord master opisuje projekt WGS lub TSA, a contigi mają identyfikatory wynikające z prefiksu, wersji i numeru.

Master nie jest FASTA wszystkich contigów sam w sobie. Jest punktem wejścia do kolekcji. W narzędziu trzeba ustalić:

• czy pobieramy master, contigi czy assembly package;
• czy potrzebna jest wersja projektu;
• czy contigi zostały zastąpione;
• czy scaffolds i chromosomy mają osobne accessions;
• jaki raport assembly mapuje nazwy do accession.version.

Przy ręcznym kopiowaniu nazw chr1 łatwo utracić mapowanie. Plik assembly report jest ważnym elementem proweniencji.

Surowy sygnał, odczyty i wynik analizy

„Surowe dane” mają kilka poziomów:

1. sygnał instrumentu, np. obrazy lub prąd nanopore;
2. basecalls;
3. odczyty FASTQ z jakościami;
4. odczyty wyrównane BAM/CRAM;
5. konsensus lub assembly;
6. warianty i tabele;
7. interpretacja biologiczna.

SRA/ENA/DRA archiwizują dane odczytowe, ale dostępny format zależy od tego, co zgłoszono i jak archiwum je przetworzyło. Nie każdy run ma publiczny pierwotny sygnał instrumentu. FASTQ wygenerowany przez usługę może być standaryzowaną reprezentacją, a nie identycznym bajtowo plikiem przesłanym przez autora.

Przed analizą sprawdza się:

• dostępne formaty;
• układ paired/single;
• liczbę spotów i odczytów;
• długości;
• platformę;
• checksumy;
• informację o quality encoding;
• czy pliki były poddane kontrolowanemu filtrowaniu.

Przeliczenie SRA do FASTQ jest operacją przetwarzania, której wersję narzędzia i parametry należy zapisać.

Paired-end: dwa pliki nie zawsze znaczą dwie próbki

W paired-end oba odczyty pochodzą z przeciwnych końców tego samego fragmentu biblioteki. Pliki _1 i _2 są parą techniczną, nie replikatami. Ich kolejność musi pozostać zsynchronizowana.

Run może też zawierać:

• indeksy;
• odczyty techniczne;
• kilka segmentów;
• odczyty niepowiązane po filtracji;
• pojedynczy interleaved FASTQ.

Nie wolno ustalać layoutu wyłącznie na podstawie liczby plików. Czyta się metadane eksperymentu i runu oraz sprawdza rzeczywistą zawartość.

BioSample nie powinien ukrywać projektu doświadczenia

Najczęstszy błąd to traktowanie nazwy control_1 jako pełnego opisu. BioSample powinien umożliwiać rozróżnienie:

• jednostki biologicznej;
• repliki biologicznej;
• tkanki lub hodowli;
• warunku;
• czasu;
• partii;
• sposobu pobrania;
• relacji z innymi próbkami.

Replika techniczna z tej samej biblioteki nie powinna udawać nowego BioSample. Z drugiej strony dwie biopsje od różnych osób nie mogą zostać jednym BioSample tylko dlatego, że należą do grupy „kontrola”.

Dokumentacja NCBI wskazuje, że repliki biologiczne i techniczne w większości przypadków nie powinny być uznawane za unikalne BioSamples w ten sam automatyczny sposób; decyzja zależy od tego, czy reprezentują unikalny fizyczny materiał.¹³ Kluczem jest jednostka pobrania, nie numer lane.

Pakiety i checklisty metadanych

Archiwa wymagają pól zależnych od typu próbki: klinicznej, środowiskowej, drobnoustrojowej, roślinnej czy metagenomicznej. ENA używa checklist, NCBI BioSample packages, DDBJ odpowiadających schematów.

Kontrolowane słowniki poprawiają wyszukiwanie, ale nie gwarantują semantycznej poprawności. Pole może formalnie przejść walidację i nadal zawierać:

• not applicable mimo istnienia informacji;
• jednostkę wpisaną w nazwie pola, a nie w wartości;
• niejednoznaczny skrót;
• sprzeczny organizm i tkankę;
• datę bez strefy lub niepełny format;
• współrzędne geograficzne odwrócone znakami;
• identyfikator pacjenta zamiast kodu próbki.

Metadane projektuje się przed pobraniem próbek. Próba odtworzenia wieku, płci i czasu leczenia z nazw FASTQ po roku prowadzi do braków.

Taksonomia: nazwa nie wystarcza

Rekordy są powiązane z NCBI Taxonomy lub odpowiadającą wspólną taksonomią. Nazwa organizmu może zmienić się, zostać zsynonimizowana lub rozdzielona. TaxID pozwala śledzić obiekt taksonomiczny, ale również podlega aktualizacjom.

W metagenomice próbka nie reprezentuje jednego organizmu. Wtedy używa się właściwego environmental package i kategorii, a późniejsze przypisania taksonomiczne są wynikiem analizy, nie pierwotnym gatunkiem próbki.

Linia komórkowa może mieć organizm gospodarza, ale także wirusa, mykoplazmę albo materiał dawcy. Pole organism nie zastępuje całej historii linii.

Kiedy rekord staje się publiczny

Zgłaszający może ustawić wydanie:

• natychmiast po przetworzeniu;
• w określonym dniu;
• w związku z publikacją, zgodnie z zasadami archiwum.

Accession może istnieć przed publicznym wydaniem. Reviewer link może umożliwiać recenzentowi ograniczony dostęp, lecz nie jest stałym publicznym URL. NCBI zaznacza, że link recenzencki SRA wygasa po wydaniu i może prezentować metadane, niekoniecznie wszystkie pliki w ten sam sposób.⁹

Przed złożeniem manuskryptu trzeba sprawdzić:

• czy projekt, próbki, eksperymenty i runy mają status gotowy;
• czy pliki przeszły walidację;
• czy data wydania jest właściwa;
• czy link dla recenzenta działa;
• czy accession w tekście odpowiada właściwemu poziomowi.

Publikacja z napisem „data available upon request” mimo istniejącego prywatnego zgłoszenia nie daje czytelnikowi danych. W dniu publikacji status powinien zostać zweryfikowany.

Synchronizacja nie jest natychmiastową kopią lustrzaną

INSDC wymienia dane regularnie, a wspólna Feature Table pozwala przenosić anotacje sekwencji. Aktualna definicja wspólnej tabeli opisuje standardy używane przy codziennej wymianie danych.¹⁰

Mimo tego mogą wystąpić różnice:

• rekord został właśnie wydany u partnera pierwotnego;
• indeks wyszukiwarki nie został odświeżony;
• jeden interfejs pokazuje alias, drugi accession pierwotny;
• pliki pochodne zostały wygenerowane inną usługą;
• część metadanych lokalnych nie ma identycznej prezentacji;
• rekord zastrzeżony nie jest jeszcze wymieniany publicznie.

Jeśli accession nie pojawia się w drugim portalu kilka godzin po wydaniu, nie należy tworzyć duplikatu. Najpierw sprawdza się status u partnera zgłoszeniowego i kontaktuje support.

Aktualizacja, zastąpienie i wycofanie

Archiwum jest żywym zapisem. Zgłaszający może poprawić sekwencję lub metadane. Rekord może:

• dostać nową wersję sekwencji;
• otrzymać uzupełnioną publikację;
• zostać scalony z innym accessionem;
• stać się secondary accession;
• zostać zastąpiony;
• zostać suppressed lub withdrawn.

DDBJ opisuje secondary accession jako stary identyfikator powiązany z nowym rekordem po scaleniu lub dużej modyfikacji.¹¹ Historyczny rekord może pozostać dostępny, ponieważ jest częścią wcześniejszego zapisu.

Wycofanie nie zawsze oznacza usunięcie wszystkich śladów. W nauce trzeba móc zrozumieć, na jakich danych opierała się starsza publikacja. Analiza powinna więc logować status przy pobraniu i okresowo sprawdzać krytyczne accessions.

Jak cytować dane

Jedno zdanie „dane są w NCBI” jest zbyt ogólne. Dobra cytacja obejmuje:

• repository lub ekosystem;
• BioProject/study accession;
• run accessions albo maszynowo czytelną tabelę mapującą runy;
• BioSample, gdy identyfikacja materiału jest istotna;
• assembly accession.version dla genomu;
• datę wydania albo pobrania;
• wersję narzędzia użytego do pobrania i konwersji;
• warunki dostępu dla danych kontrolowanych.

W tekście można podać projekt jako wygodny punkt wejścia, ale suplement lub manifest powinien wymieniać wszystkie runy użyte w analizie. Jeśli po filtracji wybrano podzbiór, trzeba zachować przyczynę wykluczenia.

DOI publikacji nie zastępuje accessionów. Accession danych nie zastępuje cytowania autorów i opisu metody. To dwa różne elementy uznania autorstwa oraz proweniencji.

Pobieranie: interfejs jest do odkrywania, API do powtarzalności

Przeglądarka pomaga zrozumieć rekord i sprawdzić powiązania. Przy dziesiątkach runów ręczne klikanie prowadzi do pominięć. Powtarzalny proces:

1. pobiera metadane projektu przez API;
2. zapisuje surową odpowiedź;
3. wybiera runy jawnie zdefiniowanym filtrem;
4. zapisuje manifest;
5. pobiera pliki;
6. weryfikuje checksumy;
7. zapisuje wersję narzędzia i czas;
8. porównuje rozmiary oraz liczbę odczytów z metadanymi.

NCBI udostępnia E-utilities, Datasets i SRA Toolkit; ENA ma Portal API, Browser API i bezpośrednie ścieżki plików; DDBJ udostępnia własne usługi, np. getentry dla rekordów sekwencji oraz DRA dla odczytów. Wybór interfejsu może się zmieniać, dlatego workflow powinien oddzielać accession od konkretnego URL.

Checksumy i integralność

Rozmiar pliku nie dowodzi, że pobranie jest poprawne. Checksum MD5 lub inna wartość dostarczona przez archiwum pozwala porównać bajty. Manifest powinien zawierać:

• accession runu;
• URL;
• lokalną nazwę;
• oczekiwany rozmiar;
• oczekiwaną checksumę;
• obliczoną checksumę;
• status;
• datę.

Checksum nie dowodzi biologicznej poprawności ani braku manipulacji przed archiwizacją. Dowodzi, że lokalny plik zgadza się z konkretną wersją pliku na serwerze.

Jeśli FASTQ wygenerowano z kontenera SRA, checksum pierwotnego kontenera i FASTQ będą różne. Trzeba zachować oba poziomy albo przynajmniej opisać transformację.

Metadane jako tabela analityczna

Przed analizą warto zbudować tabelę, w której jeden wiersz odpowiada jednostce analitycznej, niekoniecznie runowi. Przykładowe kolumny:

Pole	Znaczenie
bioproject	projekt źródłowy
biosample	fizyczny materiał
experiment	biblioteka i platforma
run	plik lub wykonanie sekwencjonowania
subject_id	zakodowana jednostka biologiczna
condition	warunek
timepoint	czas
batch	partia hodowli lub przygotowania
library_layout	single/paired
platform	instrument
include	decyzja przed analizą
exclusion_reason	jawna przyczyna

Jeśli kilka runów należy do jednej biblioteki, tabela powinna umożliwiać ich agregację bez utraty identyfikatorów. Jeśli jeden BioSample ma kilka bibliotek, nie wolno automatycznie traktować ich jako niezależnych replik biologicznych.

Przykład śledzenia pochodzenia

Załóżmy, że publikacja opisuje RNA-seq trzech kontroli i trzech próbek po leczeniu.

1. BioProject mówi, że jest to badanie odpowiedzi komórek na lek.
2. Sześć BioSamples reprezentuje sześć niezależnych hodowli.
3. Każdy BioSample ma jeden eksperyment biblioteczny.
4. Dwie biblioteki sekwencjonowano na dwóch lanes, więc mają po dwa runy.
5. Ostatecznie jest osiem runów, ale nadal sześć replik biologicznych.
6. Runy z tej samej biblioteki scala się po kontroli zgodności.
7. Model statystyczny ma sześć jednostek, nie osiem.

Gdyby BioSample reprezentował jednego dawcę pobranego w dwóch czasach, projekt analizy byłby sparowany. Sam accession runu nie zawiera tej decyzji — wynika ona z metadanych biologicznych.

Dane ludzkie i dostęp kontrolowany

INSDC jest archiwum otwarte, ale nie każde ludzkie dane genomowe mogą być publiczne. Sekwencje umożliwiają identyfikację, wnioskowanie o pokrewieństwie i stanie zdrowia. Zgoda uczestnika może ograniczać zastosowania.

Dane kontrolowane trafiają do systemów takich jak:

• dbGaP w ekosystemie NCBI;
• European Genome-phenome Archive (EGA);
• Japanese Genotype-phenotype Archive (JGA).

Nie są one zwykłą otwartą kopią SRA wymienianą jak publiczne runy. Dostęp wymaga wniosku, umowy i zgodności z warunkami.

Do publicznego BioSample nie wolno wpisywać bezpośrednich identyfikatorów osoby. Nawet kombinacja wieku, lokalizacji i rzadkiej choroby może reidentyfikować. Minimalizacja metadanych musi być pogodzona z użytecznością naukową i zgodą.

„Open access” nie znaczy „bez zasad”

INSDC udostępnia publiczne dane bez restrykcyjnego licencjonowania jako część zapisu naukowego.¹² Użytkownik nadal ma obowiązki:

• cytowania;
• poszanowania etyki;
• niewyciągania nieuprawnionych wniosków o osobach;
• przestrzegania praw dotyczących danych;
• sprawdzenia statusu rekordu;
• niewprowadzania w błąd co do autorstwa.

Publiczny plik nie gwarantuje, że każde przewidziane zastosowanie było objęte zgodą. W szczególności integracja wielu zbiorów może stworzyć ryzyko, którego nie było w pojedynczym badaniu.

Najczęstsze błędy wyszukiwania

Szukanie tylko po tytule publikacji

Tytuł projektu lub próbki może różnić się od artykułu. Lepiej użyć DOI, nazwisk, organizmu, BioProject i linków w rekordzie.

Używanie tylko BioProject

Projekt może zawierać dane niewykorzystane w publikacji albo dodane później. Potrzebna jest lista runów i data.

Używanie tylko runu

Run nie opisuje pełnego warunku, dawcy i przygotowania. Trzeba przejść do eksperymentu oraz BioSample.

Pobieranie pierwszego FASTA dla genu

Wynik może być zgłoszeniem częściowym, modelem RefSeq lub innym gatunkiem. Potrzebne są accession.version, status i assembly.

Traktowanie latest jako powtarzalnego

Analiza za rok może pobrać nową wersję. Workflow powinien przypinać identyfikatory z wersją i checksums.

Wnioskowanie repliki z nazwy

sample_1, sample_2 mogą być lanes, technicznymi duplikatami albo osobnikami. Jednostkę określa projekt eksperymentu.

Diagnostyka problemów

Problem	Prawdopodobna przyczyna	Najlepszy następny krok
Accession działa w ENA, ale nie w NCBI	opóźnienie indeksowania lub alias	sprawdzić partnera zgłoszeniowego i poczekać na propagację
BioProject nie pokazuje oczekiwanych runów	runy są prywatne, w projekcie podrzędnym lub źle powiązane	sprawdzić status, umbrella i tabelę relacji
FASTQ ma inną nazwę niż accession	usługa generuje nazwy plików	użyć manifestu i nie polegać na nazwie
Liczba plików paired-end jest nieoczekiwana	pliki są interleaved, połączone lub zawierają techniczne odczyty	sprawdzić layout eksperymentu i nagłówki
BioSample ma sprzeczne pola	błąd zgłaszającego albo aktualizacja	porównać publikację, inne rekordy i skontaktować autora/archiwum
Assembly GCA i GCF mają różne wersje	niezależne wersjonowanie GenBank i RefSeq	zapisać dokładnie oba identyfikatory, nie zamieniać suffixu
Rekord bez wersji daje inną sekwencję niż dawniej	accession prowadzi do latest	odszukać historię i konkretną wersję
Pobranie ma poprawny rozmiar, lecz narzędzie zgłasza błąd	uszkodzenie, niewłaściwa kompresja lub format	sprawdzić checksumę i typ pliku
Projekt ma osiem runów, publikacja mówi o sześciu próbkach	część bibliotek ma kilka technicznych runów	grupować przez eksperyment i BioSample
Publiczne dane ludzkie zniknęły	problem zgody lub przeniesienie do dostępu kontrolowanego	odczytać status i procedurę repozytorium

Minimalny manifest do projektu

Dobry projekt powinien zachować dwa pliki:

1. manifest niezmienny pobrany z archiwum;
2. tabelę analityczną z decyzjami zespołu.

W pierwszym nie nadpisuje się informacji źródłowych. W drugim dodaje się kolumny include, group, batch, pair_id, notes. Dzięki temu korekta błędnej grupy nie fałszuje oryginalnego metadanych.

Manifest należy wersjonować razem z kodem. Duże FASTQ mogą pozostać poza Git, ale checksums, accessions i skrypt pobierający powinny być w repozytorium.

Jak oceniać kompletność zgłoszenia

Przed wykorzystaniem publicznego zbioru sprawdź:

• czy wszystkie runy są wydane;
• czy BioSamples mają krytyczne pola;
• czy liczba próbek zgadza się z publikacją;
• czy czasy i grupy tworzą logiczny projekt;
• czy platforma i layout są zgodne z plikami;
• czy są repliki biologiczne;
• czy istnieje kontrola;
• czy assembly wskazuje wejściowe runy;
• czy rekord nie jest replaced lub suppressed;
• czy warunki licencji i zgody są właściwe;
• czy można pobrać checksumy.

Brak metadanych jest wynikiem oceny jakości. Nie należy uzupełniać go domysłem i przedstawiać jako fakt.

Najważniejsze rozróżnienia

• NCBI, ENA i DDBJ są partnerami INSDC, nie trzema niezależnymi obowiązkowymi zgłoszeniami.
• GenBank jest archiwum; RefSeq jest pochodnym, kuratorowanym zasobem NCBI.
• BioProject opisuje przedsięwzięcie, BioSample materiał, experiment bibliotekę, run wykonanie i plik.
• Run nie jest repliką biologiczną.
• Accession nie jest nazwą pliku.
• Accession bez .version zwykle wskazuje najnowszą sekwencję, nie wersję używaną historycznie.
• Zmiana metadanych może nie zmienić wersji sekwencji.
• GCA i GCF to osobne assembly z niezależnymi wersjami.
• Synchronizacja między partnerami nie oznacza identycznego interfejsu ani natychmiastowej widoczności.
• Checksum dowodzi integralności pliku, nie jakości biologicznej.
• Publiczny projekt nie określa automatycznie podzbioru użytego w publikacji.
• Otwartość danych nie znosi zasad etycznych i ryzyka reidentyfikacji.

Najbardziej użyteczna umiejętność w pracy z archiwami nie polega na zapamiętaniu wszystkich prefiksów. Polega na odtworzeniu grafu pochodzenia: z jakiego materiału, jaką biblioteką, w którym runie, jakim plikiem i przez jaką analizę powstał wynik. Gdy ten graf jest zachowany, można zmienić portal pobierania bez utraty znaczenia danych.