R语言快速上手：从安装到矩阵操作的完整笔记
前言在前些年，笔者主要使用的是python语言进行数据的分析工作。在后面到研二期间进行生物数据的处理时，发现R语言在转录组分析或代谢组学分析的场景应用更加广泛，基于以上需求，遂开始对R语言的语法与数据结构进行学习并整理。 R包的安装常用模块的安装在R语言中是使用以下命令进行安装 1install.packages("xxx") R包的更新 1update.packages("xxx") 安装与应用的实例 12345if (!requireNamespace("BiocManager", quietly = TRUE)) install.packages("BiocManager")BiocManager::install("DESeq2")library(DESeq2) 在这里是先通过安装BiocManager，再通过BiocManager安装DESeq2的模块，而后引用DESeq2这个包 R包的使用引用 1library(xxx) 展示使用文档 123help(pa...
SQL 实战入门：DDL数据库操作+三大数据类型全解析
数据库操作12345678910# 查询所有数据库SHOW DATABASE;# 查询当前数据库SELECT DATABASE();# 创建数据库CREATE DATABASE [IF NOT EXISTS] 数据库名 [DEFAULT CHARSET 字符集] [COLLATE 排序规则];# 删除数据库DROP DATABASE [IF EXISTS] 数据库名;# 使用数据库USE 数据库名; 表操作123456# 查询当前数据库所有表SHOW TABLES;# 查询表结构DESC 表名;# 查询指定表的建表语句SHOW CREATE TABLE 表名; 表操作-创建1234567CREATE TABLE 表名( 字段1 字段1类型[COMMENT 字段1注释], 字段2 字段2类型[COMMENT 字段2注释], 字段3 字段3类型[COMMENT 字段3注释], .... 字段n 字段n类型[COMMENT 字段n注释],)[COMMENT 表注释]; 例子 创建这个表： id name age gender 1 哈基米 ...
二代测序数据基础分析(一)
技术介绍 第二代测序技术，1990s - 2010s 第二代测序技术从原理上分为三种方法： Roche 454测序法 IIIumina Solexa/Hiseq测序法 ABI Solid测序法 三种二代测序技术的对比： 总结 二代测序技术总体而言都有着同一种特性： 需荧光或化学发光物质 需聚合酶或连接酶 需购买昂贵的试剂耗材和光学系统 需强大的图形分析计算能力 WES分析流程WES分析流程分为5个步骤： WES分析流程 数据质量控制 序列比对分析 变异检测 变异注释 一. WES分析流程原始测序数据——数据质量控制——序列比对——变异检测——变异注释——完成 二. 数据质量控制数据质控标准： 去掉reads中的接头 去除低质量（BP<20）碱基的reads 去除序列头尾的N碱基 去除头尾N碱基后若剩余reads长度小于40bp（双端），则丢弃该对序列 原始数据下载——sratoolkit软件 123456# 安装conda install sra-tools# 找到sra数据，下载srr listprefetch SRR1139956# sra...
python导入模块时遇到ModuleNotFoundError: No module named ’xxx‘
前言记录以前学习python的时候遇到模块导入问题的解决方法 问题出现过程在python导入模块时候遇到 ModuleNotFoundError: No module named “pandas” 出现错误的代码块如下： 12import pandas as pdimport numpy as np 出现： 123Traceback (most recent call last): File "<stdin>", line 1, in <module>ModuleNotFoundError: No module named 'pandas' 解决方法在terminal下运行指令： 12345678# 使用condaconda install pandas# 使用pippip install pandas# 在该环境下使用pip安装python -m pip install pandas# 基于清华源使用pip安装（推荐）pip install -i https://mirrors.tuna.tsinghua.e...
秀丽隐杆线虫油红O响应值测定方法
前言在做秀丽隐杆线虫实验的时候，我们往往需要对线虫测定脂肪分布，这时候可能需要使用油红O染色法测定线虫脂肪滴的分布，在这里就简易地说一下测定的方法。 实验准备需要有ImageJ软件、油红O线虫染色的照片如图所示： 测定过程打开ImageJ 其软件界面如图所示： 首先点击Analyze——Set Measurement.. 按图选择所需要的指标： 点击OK 打开线虫染色的图片 点击File——Open——选择照片 图片RGB转灰度处理 点击Image——Type——8-Bits 此时图片变成灰度图： 将图片反转选择 点击Edit——Invert 此时图片变成如下图所示： 设定阈值 点击Image——Adjust——Threshold 按照所需要的数值进行调整，尽量将线虫染色的区域囊括进去 随后点击 对线虫本体进行框选 测定响应值 框选完毕后测定响应值，点击Analyze——Measure 得出测定油红O的响应值，一般文献会选择线虫的平均光密度 也就是平均光密度=IntDen / Area 在这里的数值为：152.035, 和Mean值基本相同，...
基于David数据库与微生信平台进行Go-KEGG分析
进入DAVID数据库 选择Functional Annotation 点击Functional Annotation Tool 选择GO与PathWays GO这里选择BP、CC、MF 点击Chart可看到： 点击下载文件，将数据复制粘贴到EXCEL中备用。 其余的CC、MF也是同样的操作 PATHWAY这里我们只选择KEGG进行下载，也是点击Chart，下载文件并整理到excel中备用。 整理从DAVID数据库下载的文件一般下载下来的表格如图所示： 在这里分了4个Sheet，每个Sheet对应着从不同地方搜集下来的数据，分为BP、CC、MF、KEGG 三合一图作法三合一的图需要以下格式： 只取Term和PValue的值，其中Term需要去除前面GO：xxxx的数值，留下后面的信号通路名字 同样的道理，分别搜集BP、CC、MF并累积到一个Sheet中，如图所示： subgroup与Enrichment Score需要自己手动创建，其中subgroup对应的就是你搜集下来的数据是属于BP还是CC亦或者是MF。需要作一个提前标识。而Enrichment Score列...
RNA-seq基本介绍及实战——差异分析
实战环节上一期对所拥有的数据做了个表达定量并生成了表达矩阵，现在进入差异分析的环节 差异分析本次做差异分析所使用的工具是基于python的omicverse库 该模块的其安装方法也很简单，但需注意的是omicverse库必须在linux环境或windows系统的WSL环境下使用。 12345678910111213141516# 使用condaconda create -n omicverse python=3.10conda activate omicverse# 安装pytorch-gpu版 （二选一）conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia# 安装putorch-cpu版 （二选一）conda install pytorch torchvision torchaudio cpuonly -c pytorch# 安装pygconda install pyg -c pyg# 安装omicverseconda install omicverse -c co...
RNA-seq基本介绍及实战——表达定量
实战环节上一期对所拥有的数据做了个序列比对，现在进入表达定量的环节 表达定量在进行表达定量的处理之前，需要对原始的比对文件进行处理，这里就有以下步骤： 使用picard / samtools 将sam格式转换为bam格式 对bam文件进行排序 去除比对得分较低的序列 如果需要可以去除重复reads 在这里将会以三种方法进行表达定量的操作，分别是STAR+RSEM进行表达定量，另外一个就是使用Kallisto进行表达定量操作。最后一个就是使用featureCounts软件进行操作。 STAR+RSEM这个方法分为两个步骤 准定定量分析所需文件 利用STAR结果进行定量分析 在进行这个方法之前，需要对RSEM这个软件进行安装 RSEM这个软件的安装方法同样也很简单： 123456## 下载 RSEMwget -c https://github.com/deweylab/RSEM/archive/v1.3.1.tar.gzcd RSEM-1.3.1## 安装 RSEMmakemake install 接下来构建准备文件，在主目录下创建arab_RSEM文件夹，随后输...
RNA-seq基本介绍及实战——序列比对
实战环节上一期对所拥有的数据做了个初步数据的质量控制与过滤，现在开始进入序列比对环节 有参分析与无参分析 序列比对的流程如图所示 我们拿到测序的结果是一个个的片段，如果我们要获得这些片段的定量表达，就要知道这些片段，在参考基因组的哪个位置上。如果参考的物种有基因组的话，那我们就可以将这些片段比对到基因组上。这就是如图所示在左边的有参分析。 反之如果没有参考基因组的话，那就要进行转录组的拼接。直接利用测序读长之间的重叠关系，从头拼接、组装出完整的序列（Contigs/Scaffolds）。这就是如图所示右边的无参分析。 特征 有参分析 无参分析 核心需求 已有参考基因组 无参考基因组 基本原理 将短序列映射到参考序列上 利用序列重叠关系从头拼接 计算效率 高，速度快，资源消耗少 低，速度慢，资源消耗巨大 技术难度 相对较低，流程标准化 高，需要大量调试和优化 结果形式 SAM/BAM（比对位置信息） FASTA（组装出的序列） 主要优势 高效、准确、易于下游分析 能发现全新遗传信息，不依赖参考序列 主要局限 依赖参考基因组质量...
RNA-seq基本介绍及实战——质量控制
实战环节上一期对转录组学做了一个基本介绍，现在开始进入实战环节 数据预处理数据预处理在做之前，需要作准备工作，而准备工作一般是准备以下工作 准备工作 构建项目目录 参考序列下载 原始数据上传 构建项目目录进行转录组分析所使用的平台一般是linux系统，一个常见的工作目录结构如下： 参考序列下载参考序列一般来说我们需要两个文件 参考基因组（fasta格式） 注释信息 （gtf/gff格式） 参考序列可以在ensemble数据库获得 里面包含了人类，小鼠等基因组的数据； 另外可访问JGI数据库 本次实例所用的数据库为TAIR数据库、对拟南芥基因库进行下载。 进入00ref目录，用wget命令进行下载 123wget https://plantgarden.jp/en/download/Arabidopsis_thaliana/t3702.G001/Araport11_GFF3_genes_transposons.201606.gtf.gzwget https://plantgarden.jp/en/download/Arabidopsis_thaliana/...