その他 on The Cat Way

Bioconductor 日本ミラーを利用する

Mon, 01 Jan 0001 00:00:00 +0000

日本ミラーの bioconductor.jp を選択するには、以下のように、

chooseBioCmirror()

で 6 番を選ぶだけです。

options("BioC_mirror")

で切り替わっていることを確認できます。試しに、BrainStars package をインストールしてみると、ちゃんと bioconductor.jp からインストールされているのがわかります。

Bioconductorのソースコードを検索する

Mon, 01 Jan 0001 00:00:00 +0000

Bioconductor Code Search

DNA配列をRで操作する

Mon, 01 Jan 0001 00:00:00 +0000

基本的なDNA配列の操作方法や、FASTA/FASTQ file を取り込む方法を解説します。また全ゲノム配列を読み込み操作する方法についても述べます。

準備
#

source("http://bioconductor.org/biocLite.R")
biocLite("Biostrings")

基本的なDNA, アミノ酸配列の操作
#

library("Biostrings")

x <- DNAString("actttGtag")
is(x)
## [1] "DNAString" "XString" "XRaw" "XVector" "Vector" "Annotated"
x
## 9-letter "DNAString" instance
## seq: ACTTTGTAG

XString クラスを継承した DNAString オブジェクトを作成しています。このオブジェケクトにしておくと、いろいろな配列操作が可能になります。RNA, アミノ酸は、それぞれ、RNAString and AAString を使います。

x[1:2]
## 2-letter "DNAString" instance
## seq: AC

aa <- translate(x)
is(aa)
## [1] "AAString" "XString" "XRaw" "XVector" "Vector" "Annotated"
aa
## 3-letter "AAString" instance
## seq: TL*

aa.revcomp <- translate(reverseComplement(x))
aa.revcomp
## 3-letter "AAString" instance
## seq: LQS

x.freq <- alphabetFrequency(x, baseOnly = TRUE)
is(x.freq)
## [1] "integer" "numeric" "vector"
## [4] "data.frameRowLabels" "EnumerationValue" "atomic"
## [7] "vectorORfactor"

x.freq
## A C G T other
## 2 1 2 4 0

DNA配列やコード表のデータ
#

もちろんDNAやコードのデータも用意されています。

matplotlib をセットアップ

Mon, 01 Jan 0001 00:00:00 +0000

git clone https://github.com/matplotlib/matplotlib.git
cd matplotlib
python setup.py install

Nextflow で複数の解析プログラムを次々に実行する

Mon, 01 Jan 0001 00:00:00 +0000

NGSのデータ解析は複数のプログラムやデータベースを組み合わて実行する必要がある。これをパイプライン処理やワークフロー処理と呼ぶ。通常、Make, Rake, シェルスクリプトなどを利用して、ワークフローを実装する。

ワークフロー作成・管理ツールもあり、Galaxy はウェブUIやデータ管理機能もあり、よく使われている。ここではコマンドラインベースの軽量ワークフローシステムである、Nextflow について述べる。

インストール
#

まず Java 8 をインストールする。Nextflow の動作は Java 7以上が求められる。Java のバージョン確認は以下の通り。

java -version

次にコマンドラインから以下を実行する。

cd ~/opt/local/bin
curl -fsSL get.nextflow.io | bash
export PATH=$HOME/opt/local/bin/:$PATH # 必要ならパスを通す

Nextflowを実行してみる。

nextflow run hello
Picked up _JAVA_OPTIONS: -Duser.language=en -Dfile.encoding=UTF-8
N E X T F L O W ~ version 0.18.0
Launching 'nextflow-io/hello' - revision: 35f898dfe5 [master]
[warm up] executor > local
[59/99fce6] Submitted process > sayHello (5)
[d8/890e37] Submitted process > sayHello (4)
[44/e3768b] Submitted process > sayHello (1)
[84/9af872] Submitted process > sayHello (2)
[5c/3dc2d9] Submitted process > sayHello (3)
Γεια σου world!
Bojour world!
Hola world!
Ciao world!
Hello world!

ワークフローを作る
#

簡単なワークフローを作ってみる。

NGSの情報の集めかた

Mon, 01 Jan 0001 00:00:00 +0000

講演&チュートリアル
- 統合TV
QAサイト
- Biostars
- SEQanswers
- LSQA
コミュニティ
- NGS-field (NGS現場の会)

Python環境と整える

Mon, 01 Jan 0001 00:00:00 +0000

Python 2.7 系が前提。

LAPACK/BLAS をセットアップ
#

cd ~/src
curl -O http://www.netlib.org/lapack/lapack-3.5.0.tgz
tar zxvf lapack-3.5.0.tgz
cd lapack-3.5.0
cp make.inc.example make.inc

make.inc の以下の2行を書き換える

OPTS = -O2 -frecursive -m64 -fPIC
NOOPT = -O0 -frecursive -m64 -fPIC

make blaslib
make
cp *.a ~/opt/lib

~/.zshenv に以下を追記する

# BLAS/LAPACK
export BLAS=~/opt/lib/librefblas.a
export LAPACK=~/opt/lib/liblapack.a

scipy をインストール
#

pip install --user scypy

R で EnsEMBL Gene ID を NCBI Entrez Gene ID へ変換する

Mon, 01 Jan 0001 00:00:00 +0000

org.Mm.eg.db というアノテーションパッケージを利用する。Bioconductor のアノテーションパッケージは、AnnDbBimap オブジェクトになっている。これはID変換のテーブルを 1:1 で扱うオブジェクトで、これを操作してIDを変換する。

いや別に Mm じゃなくてもいいし、EnsEMBL じゃなくても共通する話です、はい。

まず、この AnnDbBimap をベクターにしてから変換してみる。

library("org.Mm.eg.db") 
my.ensmusg <- c("ENSMUSG00000000275", "ENSMUSG00000002844", "ENSMUSG00000003868", "ENSMUSG00000091821")
ensmusg <- unlist(as.list(org.Mm.egENSEMBL2EG))
# convert EnsMUSG -> Entrez Gene ID 
my.eg <- ensmusg[my.ensmusg] 
my.eg
ENSMUSG00000000275 ENSMUSG00000002844 ENSMUSG00000003868 <NA> 
 "217069" "11544" "20174" NA 

最後のIDが複数の Entrez ID に対応しているので、変換がうまくいっていない。これは、単に操作ミスによって対応のつくIDが少なくなり、その後の解析結果に影響を及ぼす可能性が高いのでよろしくない。

次は、mget を利用して、AnnDbBimap オブジェクトを直接検索してみる。

my.eg2 <- mget(my.ensmusg, org.Mm.egENSEMBL2EG)
R> my.eg2
$ENSMUSG00000000275
[1] "217069"
$ENSMUSG00000002844
[1] "11544"

$ENSMUSG00000003868
[1] "20174"

$ENSMUSG00000091821
 [1] "100151772" "100502688" "100502744" "100502884" "100502947" "100502996"
 [7] "100503346" "100503401" "100503451" "100504531" "100504596" "100504635"

この方法だと、list でデータが返ってくるので 1:n の対応でも正しくデータを得ることができる。AnnDbBimap はいわゆる環境のようなものなので、exists, ls, eapply なども使える。Rの環境についてはこちらの資料を。

Rから Refseq や UniProt-KBの情報を高速に検索する

Mon, 01 Jan 0001 00:00:00 +0000

ここでは、R package の genesearchR を使って、NCBI RefSeq と UniProt-KB の全文検索を高速に行う方法を述べます。

インストール
#

Rを起動します。

sudo R

関連するパッケージをインストールします。

source("http://bioconductor.org/biocLite.R")
biocLite("GenomicRanges")
 
install.packages("devtools")
install.packages("roxygen2")

library(devtools)
install_github("genesearchr", "dritoshi")

使い方
#

library("genesearchr")

## RefSeq
my.hs.gene <- refSeqSearch(query = "NM_001518", species = "hs")
my.mm.gene <- refSeqSearch(query = "homeobox", species = "mm")

## UniProt-KB
my.gid.gene <- uniprotSearch(query = "GeneID:93986")
my.eco.gene <- uniprotSearch(query = "eco:b2699")

## Genome DNA Sequence
my.mm10.dna <- genomeSearch(query = "TTCATTGACAACATTGCGT", db = "mm10", k = 2)

Search オプション
#

検索ワードの指定の仕方は以下のサイトを参考にしてください。

UCSCとEnsemblの染色体番号の表記の違いについて

Mon, 01 Jan 0001 00:00:00 +0000

UCSCの染色体番号の表記法では、chr1, chr2 のように chr が付く。ゲノムシーケンスやアセンブルが荒いと、どの染色体にも割り当てられなかったコンティグがでてきる。これは、XXX.1みたいになる。

Ensemblは、chrがつかないで、1, 2, 3, …, X のようになる。またコンティグは、Un_* のようになる。末尾に *.1はつかない。

これがどのようなときに問題になるか。まず、Ensembl と UCSC どちらのゲノム配列を利用して解析しているかを意識する必要がある。例えば、bowtie, tophat などでマッピングするときに、どちらのゲノムを使うかによって、bam/sam の染色体名の表記の仕方が決まる。これはそれぞれで配布されている fasta file のヘッダーに書いてある染色体番号の表記に従うからだ。

次に、アノテーションファイル(bedやgtfなど)をどこから手にいれたかによっても異なる。Biomart や Ensembl から落すと、chr はつかない、いわゆる、ensembl 方式の表記になる。しかし、UCSCのアノテーションを落してくると、UCSC形式になる。

なので、bam とアノテーションファイルで表記が違うものを使っていると、そんな染色体はないよ、というエラーになる。また、ツールによって、どちらかの表記を前提にしている、ということは少ないかもしれないが、注意が必要。

これを修正するには、アノテーションファイルかbam/samの染色体表記を修正する必要がある。めんどくさい。

Vagrant を使って Bioconductor Devel の解析・開発環境をAWSに構築する

Mon, 01 Jan 0001 00:00:00 +0000

vagrant のインストール
#

http://www.vagrantup.com/ から dmg ダウンロードし、インストールする。

vargrant をセットアップする
#

aws にプロビジョニングできるプラグインをインストールする。

$ vagrant plugin install vagrant-aws

AMIを起動するとは言え、ダミーの仮想マシンが必要。ちょっとわかりにくい。 $ vagrant box add dummy https://github.com/mitchellh/vagrant-aws/raw/master/dummy.box

Vagrantfile を作る
#

Bioconductor 公式のBioC-Devel入りの AMI を利用する。リージョンはバージニアだけ。知る必要はないがアカウント名は root です。

まず適当なディレクトリを作る。

$ mkdir bioc-devel
$ cd bioc-devel

初期化する。

ジョブスケジューラによる分散計算

Mon, 01 Jan 0001 00:00:00 +0000

共用計算機を利用して大量の計算を分散計算する方法や考えかた、マナーなどを述べる。ここではSun Grid Engine系のスケジューラを想定している。

プライオリティの考えかた
#

共有リソースであるスパコンを、自分と他人がともに最大限実行できるよう配慮する
速く計算が終わる人を優先する (1時間で終わる計算を数週間待たされるのは理不尽)
計算時間が長いジョブはプライオリティを下げる (数週間かかる計算をさらに1時間待つことは可能)

タブー
#

ジョブスケジューラを使わずに、計算ノードで計算する (リソース管理されなくなるので公平に計算機を利用できない)
ジョブスケジューラを使わずに、ヘッド、ログインノードで計算しようとする (ログインに支障がでる)

ジョブの操作
#

インタラクティブなプログラムを利用したい
#

以下のコマンドで計算ノードにログインする。この場合は、ちゃんとスケジューリングされる。

qlogin -q [キュー名]

ジョブの投入
#

qsub -q [キュー名] -p [プライオリティ] -l [メモリ量] [シェルスクリプト名]

プライオリティは-1023から1024であり小さいほうがプライオリティが低い。0がデフォルト。 rootでない限りプラオリティが下げることしかできない。

バイオインフォマティクス解析のためのSQLite入門

Mon, 01 Jan 0001 00:00:00 +0000

SQLite3 はリレーショナルデータベース管理システムのひとつ。サーバクライアントモデルではなく、データベースがファイルになっています。ライセンスがパブリックドメインであることもあり、組み込みDBとしてよく使われます。iPhone の位置情報などのデータを格納しているのも SQLite3 です。ウェブアプリケーションのフレームワークである、Ruby on Rails では標準の組み込みDBとして使われています。また中規模のデータベースならMySQLなどと比較しても遜色ない速度で利用できます。

バイオ業界でも、マイクロアレイやNGSデータを格納する際によく利用されており、Bioconductor の annotation package に含まれるデータも SQLite3 のデータベースになっています。

インストール
#

Mac OS X には標準でインストールされており、設定なしでターミナルから利用できます。Linuxでもほとんどのディストリビューションでパッケージマネジメントシステムでインストール可能です。Windows は知りません。

使いかた
#

SQLite3 が正常にインストールされていれば、以下のようにして対話型のクライアントを起動することができます。

sqlite3

データベースを作成するには (ここでは expressions.sqlite という名前のデータベースを作成する)

sqlite3 expressions.sqlite

とする。

テーブルを作りスキーマを確認する。スキーマとはテーブルの定義のこと。

sqlite> create table transcripts(id varchar(10), sample varchar(10), fpkm real);
sqlite> .schema
CREATE TABLE transcripts(id varchar(10), sample varchar(10), fpkm real);
sqlite> 

データを格納する。

執筆環境について

Mon, 01 Jan 0001 00:00:00 +0000

環境は次のとおり

MacOS X
homebrew
npm
gitbook

環境のセットアップ
#

cd [DIR]
brew install npm
npm install gitbook -g

Calibreをダウンロードしてインストールする。

sudo ln -s /Applications/calibre.app/Contents/console.app/Contents/MacOS/ebook-convert /usr/bin/ebook-convert

執筆
#

最初だけ。

mkdir [dir]
gitbook init

gitbook を起動する。

gitbook serve [dir]

http://localhost:4000/ へアクセス。エディタを起動する。

subl [dir]

dir 以下に md を作っていく。ファイルを保存するとブラウザ側でコンテンツが自動的にリロードされる。

コンテンツを編集したら、___SUMMARY.md を編集___して、新規追加したコンテンツを追加する。これをやらないと、buildしたときにHTMLへ変換されないので注意!

大量の計算を高速化するには

Mon, 01 Jan 0001 00:00:00 +0000

シーケンスデータの計算で、最もボトルネックになるのはハードディスクやSSDなどの記憶装置にアクセスする部分、disk I/Oの部分である。最近のコンピュータはたくさんのCPUコアを持つため、たくさんの計算を同時にこなすことができる。しかしたくさんの計算を同時にすると、巨大なファイルの入力や出力に時間がかかる。一定の量は、メモリに蓄えられるが、メモリが足りなくなると、OSは Swap 領域というストレージ装置を利用しはじめる。メモリへのアクセスに対して、ストレージ装置へのアクセスは遅いので、計算スピードも下がる。計算を投入したら、top コマンドを利用して、Swap の空き容量を確認しながら、無理のない量の計算をすることが重要である。

図. Swap の値をチェックする

Swap を使わないようにするには、物理的にメモリを大きいものにする方法が根本的な解決ではある。また、なるべくディスクに書き込む回数を減らすのも重要である。そのためには、大量のデータをファイルに出力するときはなるべく圧縮しながら出力する、という方法がある。CPUが比較的空いているのであれば、圧縮にCPUをメモリを使いながら、ストレージ装置に書き込まれる量を減らすことで、速度を稼ぐという考えである。例えば、、、する場合は、シェルのパイプ機能を使えば、ファイルを圧縮してから、ストレージに書き込むことができるため、ストレージ装置へのアクセスを減らすことが可能である。

その他 on The Cat Way

Bioconductor 日本ミラーを利用する

Bioconductorのソースコードを検索する

DNA配列をRで操作する

準備 #

基本的なDNA, アミノ酸配列の操作 #

DNA配列やコード表のデータ #

matplotlib をセットアップ

Nextflow で複数の解析プログラムを次々に実行する

インストール #

ワークフローを作る #

NGSの情報の集めかた

Python環境と整える

LAPACK/BLAS をセットアップ #

scipy をインストール #

R で EnsEMBL Gene ID を NCBI Entrez Gene ID へ変換する

Rから Refseq や UniProt-KBの情報を高速に検索する

インストール #

使い方 #

Search オプション #

UCSCとEnsemblの染色体番号の表記の違いについて

Vagrant を使って Bioconductor Devel の解析・開発環境をAWSに構築する

vagrant のインストール #

vargrant をセットアップする #

Vagrantfile を作る #

ジョブスケジューラによる分散計算

プライオリティの考えかた #

タブー #

ジョブの操作 #

インタラクティブなプログラムを利用したい #

ジョブの投入 #

バイオインフォマティクス解析のためのSQLite入門

インストール #

使いかた #

執筆環境について

環境のセットアップ #

執筆 #

大量の計算を高速化するには

準備
#

基本的なDNA, アミノ酸配列の操作
#

DNA配列やコード表のデータ
#

インストール
#

ワークフローを作る
#

LAPACK/BLAS をセットアップ
#

scipy をインストール
#

インストール
#

使い方
#

Search オプション
#

vagrant のインストール
#

vargrant をセットアップする
#

Vagrantfile を作る
#

プライオリティの考えかた
#

タブー
#

ジョブの操作
#

インタラクティブなプログラムを利用したい
#

ジョブの投入
#

インストール
#

使いかた
#

環境のセットアップ
#

執筆
#