1. fastq-dump のインストール
   • Mac へのインストール
   • Linux へのインストール
   • Windows へのインストール
2. fastq-dump の実行
   • Mac, Linux での fastq-dump の実行
   • Windows での fastq-dump の実行
   • fastq-dump のオプション一覧
3. fastq-dump その他
   • 複数のデータをダウンロード
   • SRA file もダウンロードされる
   • prefetch コマンド
4. エラーログ

fastq-dump のインストール

fastq-dump は、次世代シークエンス のデータを SRA データベース からダウンロードするための関数である。

Mac へのインストール

fastq-dump は、SRA ツールキットの一部である。簡単なのは homebrew を使う方法で、homebrew がインストールされていれば

brew install sratoolkit

でよい。または、以下のようにして圧縮ファイルとしてダウンロード、実行することも可能。

1. NCBI SRA Toolkit のページ (Last access 2019/10/30) から OS に合う SRA Toolkit をダウンロード。
2. Mac なら sratoolkit.2.8.2-1-mac64.tar.gz などという名前の圧縮ファイルがダウンロードされるので、普通にこれを解凍。
3. 同名のフォルダができ、このフォルダ内の bin にコマンドの実行ファイルがある。然るべき場所へ移し パスを通す か、実行ファイルのパスを指定して実行する。

Linux へのインストール

2021 年 12 月、色々と警告が出たが、Mac と同様に以下で大丈夫だった。

brew install sratoolkit

Windows へのインストール

NCBI のページ から Windows 用 SRA Toolkit をダウンロードし、解凍されたファイル群を特定のフォルダに保存する。

fastq-dump の実行

最初に実行するときは、config をしなければならない ようである。Mac, Linux, Windows のいずれでも、Terminal または Command Prompt で

vdb-config --interactive

を実行し、SRA configulation のウィンドウを開く。以下は少し古いバージョンの画面かもしれないが、ここで config を実行し、Save と Exit をする。

ただし、実際はデフォルトの設定で十分なので、以下のコマンドを実行すればコンフィグは終了し、使えるようになるはずである。

vdb-config --restore-defaults

Mac, Linux での fastq-dump の実行

brew を使ってインストールしていれば、パスを指定せずに以下で OK。

fastq-dump --split-files DRR048384

ダウンロードは時間がかかるが、成功すれば「written + 数字」のようなメッセージが出る。ファイルはカレントディレクトリにダウンロードされる。

Windows での fastq-dump の実行

Windows では Command Prompt で実行するが、デフォルトのパスに追加する方法がよくわからないので、実行ファイルのパスを指定して実行している。

Mac と Win のコマンド対応表 などを参照のこと。必要なのは以下の 3 つのみ。

• cd のみでカレントディレクトリが表示される。Mac/Linux の pwd に相当する。
• dir でカレントディレクトリのファイル・フォルダ一覧。Mac/Linux の ls。
• 「cd 移動したいフォルダ名」で移動できる。

fastq-dump のオプション一覧

fastq-dump その他

複数のデータをダウンロード

複数データをダウンロードしたい場合は、単に複数の番号をスペース区切りで書けば良い。

fastq-dump --split-files DRR048384 DRR048385 DRR048386

また、NCBI SRA の検索結果画面で Send to - File - Accession list とすると、検索結果にある Run の番号がリストとして得られる。

SRA file もダウンロードされる

fastq-dump は、実は以下のことを同時に行なっている (4)。

• もとのデータ形式である .sra を ~/ncbi/public/sra というフォルダに保存する。
• この sra ファイルを変換し、.fastq ファイルとして ~ に保存する。

不要と判断したら、もとの .sra ファイルは消して構わない。

prefetch コマンド

fastq-dump を使う代わりに prefetch を使うと sra ファイルのダウンロードのみが行われる。これも、スペース区切りにすることで複数のファイルをダウンロードすることができる。

sra ファイルは容量を食うので、外付け HDD に直接ダウンロードしたい。以下のように設定する。このページ を参考にした⁵。

1. vdb-config -i というコマンドで、以下の画面が開く。
2. Workspace Name という部分のパスを変更。ここに sra ファイルがダウンロードされる。USB 接続の外付け HDD なら、/Volume という部分に来るはず。
3. 既にデータがあったり、以前の ~/ncbi/public に中身が残っていたりすると flush? と聞かれる。全部空っぽにしてからやった方がいいかもしれない。

エラーログ

fastq-dump.2.9.6 err: item not found while constructing within virtual database module - the path 'ERR046702' cannot be opened as database or table

番号のパスが見つからないエラーのようにも見えるが、SRA toolkit が config されていなくても、このエラーが生じる。

sra toolkit の中にある vdb-config というコマンドを使い、以下を実行することで解決 (1)。

vdb-config --restore-defaults

fastq-dump.2.8.2 sys: error unknown while reading file within network system module - mbedtls_ssl_read returned -76 ( NET - Reading information from the socket failed )

ネットワークの不調によるエラー。大きいファイルをダウンロードしている途中で、接続が不安定になった場合などに出ることがある。このエラーが出たとしても、その後、Read *** spots for SRR***, Written *** spots for SRR*** という完了メッセージが表示されればダウンロードは成功である。fastq-dump は頑健なプログラムで、成功するまで何度もリトライしてくれるようだ (参考)。

timeout exhausted のようなエラーが出る。→ おそらく、データが大きすぎて接続がタイムアウトになっている。ネット接続の良い環境で試すか、ファイルを分割してダウンロードする。

Failed to call external services: このエラーは、インターネット接続の問題であることが多いようだ (参考)。

References

1. SRA Toolkitの使い方 ~fastq-dumpでSRAファイルをダウンロード~ Link: Last access 2021/12/20.
2. fastq-dump split-3 output. Link: Last access 2021/12/20.

コメント欄

サーバー移転のため、コメント欄は一時閉鎖中です。サイドバーから「管理人への質問」へどうぞ。