AWS記事_Performance results
一文要約
ベースコールするならGPU用意してdoradoがいっちゃんええ
原文
code:txt
Performance results
The results presented below are based on the CliveOME 5mC dataset. This dataset is made available as open dataset by Oxford Nanopore. The data represents one human whole genome sequence from one subject sequenced at 30x coverage. The dataset comprises 584 FAST5 files with a total data volume of 745 GiB.
We successfully ran the Guppy and Dorado basecallers on 20 different Amazon EC2 instance types. Dorado delivers significantly higher performance compared to the Guppy basecaller. Dorado shows its strength when performing methylation calling with the 5-methylcytosine group (5mCG) and 5-hydroxymethylcytosine group (5hmCG). On the most powerful EC2 instance type tested, the p4d.24xlarge, we see a 3.8 x performance increase when performing methylation calling for 5hmCG.
The observed performance gains with the Dorado basecaller are the results of a new software architecture that makes better use of GPUs. Whereas Guppy required CPUs for calling methylated bases, Dorado uses GPUs for this process. The fact that Dorado requires little to no additional runtime when calling methylated bases, means that Oxford Nanopore Technologies enables adding base modifications to standard sequencing with no extra cost: neither specific library preparation are required upstream sequencing nor computational overhead downstream, when basecalling. Figure 1 and Figure 2 show the results of each tool across a set of EC2 instances for throughput (samples per second) and total runtime, respectively. Shortly before publication of this blog post Oxford Nanopore released version 0.3.0 of Dorado. This version achieves significant performance gains on Ampere based NVIDIA A100 GPUs. We included Dorado v0.3.0 for the p4d.24xlarge instance type in the benchmark results below.
Figure 1 – Comparison of the performance of the Oxford Nanopore basecallers Guppy vs. Dorado. The performance is expressed in samples/s. Higher values indicate higher performance. Dorado clearly outperforms Guppy across all instance types. Basecalling with methylated bases benefits from modern GPUs such as the NVIDIA A100. Tested EC2 instance types are listed to the left and ordered by performance for basecalling without methylation calling. The three facets of the plot present, from left to right: basecalling without calling for methylated bases, basecalling including methylated bases with 5mCG, basecalling including methylated bases with 5mCG and 5hmCG.
Figure 2 – Caller time in hours for basecalling the CliveOME 5mC dataset. The term “caller time” is interchangeable with “runtime”. The highest performing instance, the p4d.24xlarge, completed the basecalling process in less than an hour with the Dorado basecaller. With Dorado there is little to no increase in runtime when methylation calling is included. The Guppy basecaller requires significantly longer runtimes when performing methylation calling.
code:図1.txt
Figure 1 – Comparison of the performance of the Oxford Nanopore basecallers Guppy vs. Dorado. The performance is expressed in samples/s. Higher values indicate higher performance. Dorado clearly outperforms Guppy across all instance types. Basecalling with methylated bases benefits from modern GPUs such as the NVIDIA A100. Tested EC2 instance types are listed to the left and ordered by performance for basecalling without methylation calling. The three facets of the plot present, from left to right: basecalling without calling for methylated bases, basecalling including methylated bases with 5mCG, basecalling including methylated bases with 5mCG and 5hmCG.
code:図2.txt
Figure 2 – Caller time in hours for basecalling the CliveOME 5mC dataset. The term “caller time” is interchangeable with “runtime”. The highest performing instance, the p4d.24xlarge, completed the basecalling process in less than an hour with the Dorado basecaller. With Dorado there is little to no increase in runtime when methylation calling is included. The Guppy basecaller requires significantly longer runtimes when performing methylation calling.
https://scrapbox.io/files/657bb9803fc21800248d893a.png
https://scrapbox.io/files/657bb9d578308d00230131d1.png
翻訳
code:txt
以下に示す結果は、CliveOME 5mCデータセットに基づいている。このデータセットは、Oxford Nanopore社がオープンデータセットとして公開している。このデータは、30倍カバレッジでシーケンスされた1人の被験者のヒト全ゲノムシーケンスです。データセットは584個のFAST5ファイルで構成され、総データ量は745GiBです。
20種類のAmazon EC2インスタンスでGuppyとDoradoのベースコーラを実行しました。DoradoはGuppyベースコーラーと比較して著しく高いパフォーマンスを示した。Doradoは、5-メチルシトシン基(5mCG)と5-ヒドロキシメチルシトシン基(5hmCG)のメチル化コーリングを実行する際に強さを発揮する。テストした最も強力なEC2インスタンスタイプであるp4d.24xlargeで、5hmCGのメチル化コールを実行すると、3.8倍の性能向上が見られます。
Doradoベースコーラーで観察された性能向上は、GPUをより良く利用する新しいソフトウェアアーキテクチャの結果である。グッピーがメチル化塩基の呼び出しにCPUを必要としたのに対し、Doradoはこの処理にGPUを使用している。Doradoがメチル化塩基をコールする際に追加のランタイムをほとんど必要としないという事実は、オックスフォード・ナノポア・テクノロジーズが標準的なシーケンスに追加コストなしで塩基修飾を追加できることを意味します。図1と図2は、EC2インスタンスのセットにおける各ツールのスループット(サンプル/秒)と総実行時間の結果をそれぞれ示しています。このブログポストが公開される少し前に、Oxford NanoporeはDoradoのバージョン0.3.0をリリースした。このバージョンでは、AmpereベースのNVIDIA A100 GPUで大幅な性能向上を達成しています。以下のベンチマーク結果には、p4d.24xlargeインスタンスタイプのDorado v0.3.0が含まれています。
code:図1.txt
図1-オックスフォード・ナノポア社のベースキャラーGuppyとDoradoの性能比較。性能はサンプル/秒で表される。値が大きいほど性能が高いことを示す。Doradoはすべてのインスタンスタイプで明らかにGuppyを上回っています。メチル化塩基でのベースコールは、NVIDIA A100のような最新のGPUの恩恵を受ける。テストされたEC2インスタンスタイプは左側にリストされ、メチル化コールなしのベースコールのパフォーマンス順に並んでいる。プロットの3つの面は、左から右に、メチル化塩基をコールしないベースコール、5mCGを含むメチル化塩基を含むベースコール、5mCGと5hmCGを含むメチル化塩基を含むベースコールです。
code:図2.txt
図2 - CliveOME 5mCデータセットをベースコールした際の呼び出し時間(時間単位)。呼び出し時間 "という用語は、"実行時間 "と互換性がある。最も高性能なインスタンスであるp4d.24xlargeは、Doradoベースコーラーを使用して1時間未満でベースコール処理を完了した。Doradoでは、メチル化呼び出しが含まれても実行時間の増加はほとんどない。Guppy basecallerでは、メチル化呼び出しの実行にかなり長いランタイムを必要とする。
メモ
データ
CliveOME 5mCデータセット
30x coverage。カバレッジって何?
どのくらいのクオリティでベースコールをしたかの指標
code:txt
既知のリファレンス塩基にアラインする、またはカバーするシーケンスされた塩基の平均数。例えば、30×カバレッジでシーケンスされた全ゲノムは、平均してゲノムの各塩基を30回シーケンスしたことを意味します。より高いカバレッジレベルでは、ベースコールはより高い信頼度で行うことができます。
縦軸:ハードウェア(インスタンスの種類)
横軸:メチル化コーリングの種類
値:性能は何を図ったの?速度なのか?
ベースコーラーの実行速度:1秒あたりに処理できるサンプル数
code:Glarityの回答.txt
この記事では、Oxford Nanoporeの2つのベースコーラー、GuppyとDoradoの性能比較が行われました。グラフの値はサンプル数(samples per second)を表しており、ベースコーラーの実行速度を示しています。記事では、さまざまなAmazon Elastic Compute Cloud(Amazon EC2)インスタンスタイプでの性能比較が行われ、Doradoが特にメチル化呼び出し(methylation calling)の性能で優れていることが示されています。Doradoは、特に5mCGおよび5hmCGといったメチル化ベースの呼び出しにおいて、Guppyよりも高性能であることが示されています。
ソフトウェア
Guppy:CPUで動く
Dorado:GPUで動く
Doradoの強み
Guppyより値が大きい
メチル化コーリングが強い(一番上のp4d.24xlargeで3.8倍)
各図の値
図1:スループット(速度)
図2:総実行時間(時間:hour)
図2
p4d.24xlargeは、Doradoベースコーラーを使用して1時間未満でベースコール処理完了
Doradoでは、メチル化呼び出しが含まれても実行時間の増加はほとんどない
Guppy basecallerでは、メチル化呼び出しの実行にかなり長いランタイムを必要