最近做有关小鼠肠道微生物宏基因组,遇到两个问题,一是数据量太大,二是宿主污染严重。
估计宿主污染至少80%左右,因而就想通过一些方法,例如kraken、bowtie等把宿主污染去除。
那么就有一个问题,如何选择去除污染的数据库呢?
思来想去,还是从NT库入手,打算把NT库所有动物的序列或者所有小鼠的序列提取出来,做成一个子库,用来去除宿主污染。
百度了一下提取子库的方法,大多都是人云亦云,干脆还是自己整理整理。下面是一些步骤
1 首先下载NCBI的taxonomy数据库
下载完解压缩,其中names.dmp和nodes.dmp两个文件很重要,是后续提取子库的基础
2 下载NCBI的TaxonKit软件,http://bioinf.shenwei.me/taxonkit/download/,linux系统直接解压
而后把names.dmp和nodes.dmp两个文件直接cp到~/.taxonkit下,其余的.dmp也可一并cp到~/.taxonkit下
cp taxdump/* ~/.taxonkit
3 下载NCBI的csvtk软件,http://bioinf.shenwei.me/csvtk/download/,linux系统也是直接解压,即可使用
4 (选择性步骤)NCBI taxonomy数据库下还有accession2taxid库,这个库里面也有蛋白以及核酸的accession以及对应的分类id,但是经过尝试,采取这种方法提取的子库序列往往出乎意料的少,很可能是该库的accession与NT/NR库的accession不一致,前者可能冗余更多,因此该方法可忽略,见仁见智吧,下面给个例子,例如:
5 查看,并提取动物的taxid
6 从下载好的NT库提取对应的accession
7 从NT库提取完整的nt序列,并提取子库序列
需要注意的是,这里又使用了seqkit软件。这种从NT库中还原的nt.fa序列里面有很多重复的头文件,例如
所以使用的话,还需要写个perl把这些序列拆开,最终形成nt.anmail.fa.gz
8 如果直接想构建子库,那么没必要搞序列,直接运行