shell的变量功能(二)

变量键盘读取,数组与声明:read,array,declare

1. read

读取来自键盘输入的变量,常被用在 shell script 的撰写当中。

用法:

2. declare / typeset

declare 或 typeset 是一样的功能,就是在声明变量的类型。如果使用 declare 后面并没有接任何参数,那么 bash 就会主动的将所有的变量名称与内容通通叫出来, 就好像使用 set 一样。

用法:declare [-aixr] variable

参数:

-a : 将后面名为 variable 的变量定义成为数组 (array) 类型
-i : 将后面名为 variable 的变量定义成为整数数字 (integer) 类型
-x : 用法与 export 一样, 就是将后面的 variable 变成环境变量;
-r : 将变量设置成为 readonly 类型, 该变量不可被更改内容, 也不能重设

3. array

更多详情请参照《鸟哥的私房菜》第三版 第十一章

与文件系统及程序的限制关系:ulimit

我们可以通过bash 限制用户的某些系统资源,包括打开的文件数量、可以使用的cpu 时间、可以使用的内存总量等。如何设置?用ulimit吧

ulimit [-SHacdfltu] [配额]

-H :hard limit,严格的设置,必定不能超过这个设置的数值

-S :soft limit,警告的设置,可以超过这个设定值,但是若超过则有警告信息。 在设置上,通常soft 会比hard 小,举例来说,soft 可设置为80而hard 设置为100,那么你可以使用到90,但介于80~100之间时,系统会有警告信息通知你。

-a :后面不接任何参数,可列出所有的限制额度;

-c :当某些进程发生错误时,系统可能会将该进程在内存中的信息写成文件(排错用),这种文件就被称为内核文件,此为限制每个文件内核文件的最大容量。

-f :此shell 可以创建的最大文件容量(一般可能设置为2GB)单位为kb

-d :进程可使用的最大断裂内存(segment )容量

-l :可用于锁定(lock)的内存容量

-t :可使用的最大cpu 时间(单位为秒)

-u :单一用户可以使用的最大进程(process)数量;

Ulimit –a

Ulimit –f 10240

Ulimit –a

一般用户使用这个命令的时候只能减少设置的值,不能增加设置的值

 

版权声明:本文为博主原创文章,未经博主允许不得转载。

 

我的Python之路

大概去年六七月份,那时还不懂什么是生物信息学,什么是编程,Python更是听都没听说过,稀里糊涂的就在老师的安排下跟着别的院一个师兄学习生信, 刚见面师兄就跟我讲解了什么是生物信息学,学生信的种种好处,什么不用做实验就能发文章啊,做的好的话读博能去一个不错的实验室啊之类的,当时我是处于懵逼状态,心想“这是一种怎样的操作?”  在师兄的推荐下,我掏了300大洋买了《DNA和蛋白质序列数据分析工具》《鸟哥的私房菜上下》三本书,用来了解和入门什么是生物信息学。说实话,到现在为止这三本书我都没怎么翻过,在我带入门的人里,我也不会推荐《鸟哥的私房菜》这种,这只会让他们望而却步,只要他们想学,我手里也有他们学不完的资源。好的是,师兄手把手的教了我一段时间。记得师兄说过,要想学生信,就必须学会一门编程语言,否则出门千万别说自己是搞生信的,丢人!所以我就又入了编程的坑,在师兄的强烈推荐下,我选择学习Python,师兄也帮我装上Python.2.7和编辑器,并装上Biopython包,然后扔给我一本全英的《Biopython》和一个脚本,说你要是一周之内不能把这个脚本弄懂,就不要学生信了,不适合。当时我差点就一口老血喷出来,心想“老哥,咱先不谈其他,你好歹也给个中文版本的吧,谁跟你这么强,硕士就到英国留学,毕业论文搞个全英的?”无奈,有总比没有强,还好后来我在网上搜到了这本书的中文版。

因此,在我对Python一无所知的情况下,首先学习了biopython,然后买了《python基础教程》《python核心编程》这两本书更进一步的学习。一但入了此坑就很难回头,尽管现在我主要跟着学习生信的老师和一些小伙伴都是Perl大神,也很难把我从这个坑里拉出来。可喜的是,现在python在生信上的应用越来越广,在机器学习方向,python也是处于领先地位,这更加给了我学下去的理由。当然,主学Python之余,R和Perl也是要懂一点的,用来做图和单行操作还是很必要的!

人生接触的第一个脚本:

import re
import sys, getopt
import operator
from Bio import SeqIO
from Bio.Seq import Seq
from Bio.SeqRecord import SeqRecord
from Bio.Alphabet import generic_nucleotide
import re
import sys, getopt
import operator

opts, args = getopt.getopt(sys.argv[1:], “c:i:o:”)
blast_info = “”
out_file = “”
for op, value in opts:
if op ==”-o”: #ARG_pattern_MIN_7030.fasta or ARG_pattern_MAX_7030.fasta
out_file = open(value, “w”)
filename_pro = str (value)
name_item = filename_pro.strip().split(“.”)
filename = name_item[0]
if op == “-i”: # All_ARGcontig_remove_S_nr.fasta
blast_info = open(value, “r”)
if op == “-c”: #Contig_ARG_region_abstract_info_7030.out
location_info = open(value, “r”)

for record in SeqIO.parse(blast_info,”fasta”):
Pattern_star = 1 – 80
Pattern_end = 90
pattern_seq = record.seq[Pattern_star:Pattern_end]
Seq_len = str(len(pattern_seq))
pattern_ID = filename +”:”+Seq_len
New_record = SeqRecord(pattern_seq,id = pattern_ID, description = “”)
SeqIO.write(New_record, out_file,”fasta”)

blast_info.close()
out_file.close()

这个代码现在看来是不完美的,毕竟每次手动改起止位点还是比较麻烦

shell的变量功能(一)

什么是变量?

变量是一个存储位置和一个关联的符号名字,这个存储位置包含了一些已知或未知的量或者信息,即值。在C语言里,变量是如下三方面的统一体:

  1. 名字(运行时会变成数字化的名字,内存地址)
  2. 存储位置(某一位置开始的一定大小的存储空间)
  3. 该存储位置里内容的解释方式(即类型,整数、浮点数还是字符串?)

任意一部分单独都不是变量。当我们给一个变量a赋值另一个值时,改变的是a对应的存储位置里的内容,赋值前后是同一个a,因为1、2、3都没有变。

变量的显示

变量的设置规则

  1. 变量与变量内容以一个等号“=”来连接;
  2. 等号两边不能直接接空格符;
  3. shell中所有变量都定义为字符串,且变量名称只能是英文字母与数字,但是数字不能是开头字符;
  4. 若有空格符可以使用双引号  ”  或单引号  ‘  来将变量内容结合起来,但须要特别留意, 双引号内的特殊字符可以保有变量特性,但是单引号内的特殊字符则仅为一般字符;
  5. 必要时需要以转意字符   \   来将特殊符号 ( 如 Enter, $, \, 空格符, ‘ 等 ) 变成一般符号;
  6. 在一串指令中,还需要借由 其它的shell指令 提供的信息,可以使用   ` command`  (特别特别注意,那个 ` 是键盘上方的数字键 1 左边那个按键,而不是单引号!) 或则$(命令) 。
  7. 若该变量需要扩增变量内容时,则需以双引号及 $变量名称 如: “$PATH”:/home  继续累加内容;
  8. 若该变量需要在其它子程序执行,则需要以  export  来使变量变成环境变量,例如:

#export  PATH

  1. 通常大写字符为系统预设变量,自行设定变量可以使用小写字符,方便判断 ( 纯粹依照使用者兴趣与嗜好 ) 。
  2. 取消变量的方法为: unset  变量名称。例如:

#unset   myname

环境变量

在所有 Unix类Unix系统中, 每个进程都有其各自的环境变量设置。 缺省情况下, 当一个进程被创建时, 除了创建过程中的明确更改外,它继承了其父进程的绝大部分环境设置。 在API层级上, 使用fork和exec函数进行变量设置。或利用bashshell文件, 使用特殊的命令调用来改变环境变量:通过env 间接替代或者使用ENVIRONMENT_VARIABLE=VALUE <command> 标识. 所有的Unix操作系统 以及DOSMicrosoft Windows 都是用环境变量,但是它们使用不同的环境变量名称。我们可以通过运行程序来访问环境变量的值。环境变量的例子包括:

Shell 脚本 和 批处理文件 使用环境变量来存储临时值,用于以后在脚本中引用,也用于传递数据和参数给子进程。 在Unix系统中,一个在脚本或程序中更改的环境变量值只会影响该进程,亦可能影响其子进程。其父进程和无关进程将不受影响。在DOS中,更改或删除一个批处理文件中的环境变量值将改变变量的期限命令的存在。

在Unix系统通过初始化脚本启动时,环境变量通常会在此时被初始化,因此会被系统中的其它进程所继承。用户可以而且经常添加环境变量到他们使用的shell脚本中。 在Windows系统中,环境变量的缺省值存储在 windows 注册表 中,或者在 autoexec.bat 自动执行的批处理文件中设置。(来自维基百科)

Linux是一个多用户多任务的操作系统,可以在Linux中为不同的用户设置不同的运行环境,具体做法是设置不同用户的环境变量。

Linux环境变量分类

一、按照生命周期来分,Linux环境变量可以分为两类:
1、永久的:需要用户修改相关的配置文件,变量永久生效。
2、临时的:用户利用export命令,在当前终端下声明环境变量,关闭Shell终端失效。

二、按照作用域来分,Linux环境变量可以分为:
1、系统环境变量:系统环境变量对该系统中所有用户都有效。
2、用户环境变量:顾名思义,这种类型的环境变量只对特定的用户有效。

Linux设置环境变量的方法

一、在/etc/profile文件中添加变量 对所有用户生效(永久的)
用vim在文件/etc/profile文件中增加变量,该变量将会对Linux下所有用户有效,并且是“永久的”。
例如:编辑/etc/profile文件,添加CLASSPATH变量

vim /etc/profile

export CLASSPATH=./JAVA_HOME/lib;$JAVA_HOME/jre/lib

注:修改文件后要想马上生效还要运行source /etc/profile不然只能在下次重进此用户时生效。
二、在用户目录下的.bash_profile文件中增加变量 【对单一用户生效(永久的)】
用vim ~/.bash_profile文件中增加变量,改变量仅会对当前用户有效,并且是“永久的”。

vim ~/.bash.profile

export CLASSPATH=./JAVA_HOME/lib;$JAVA_HOME/jre/lib

注:修改文件后要想马上生效还要运行$ source ~/.bash_profile不然只能在下次重进此用户时生效。
三、直接运行export命令定义变量 【只对当前shell(BASH)有效(临时的)】
在shell的命令行下直接使用export 变量名=变量值
定义变量,该变量只在当前的shell(BASH)或其子shell(BASH)下是有效的,shell关闭了,变量也就失效了,再打开新shell时就没有这个变量,需要使用的话还需要重新定义。

(原文:http://www.jianshu.com/p/ac2bc0ad3d74

变量的有效范围

变量也有使用的“范围”?在export命令说明中,就提到了这个概念。如果在跑程序的时候,有父进程与子进程的不同程序关系时,则“变量”可否被引用与export有关。被export后的变量,我们可以称它为“环境变量”。环境变量可以被子进程所引用,但是其他的自定义变量内容就不会存在于子进程中。

  • 在某些不同的书籍中会谈到“全局变量”(global variable)与“局部变量”(local variable)。基本上可以这样区分:环境变量=全局变量   自定义变量=局部变量

为什么环境变量的数据可以被子进程所引用?这是因为内存配置的关系。理论上是这样的:

  • 当启动一个shell,操作系统会分配一记忆块给shell使用,此内存内的变量可让子进程取用;
  • 若在父进程利用export功能,可以让自定义变量的内容写到上述的记忆块当中(环境变量);
  • 当加载另一个shell时(即启动子进程,而离开原本的父进程了),子shell可以将父shell的环境变量所在的记忆块导入自己的环境变量块当中。

通过这样的关系,我们就可以让某些变量在相关的进程之间存在,以帮助自己更方便地操作环境。不过要提醒的是,这个“环境变量”与“bash的操作环境”意思不太一样,举例来说,PS1并不是环境变量,但是这个PS1会影响到bash的接口(提示符)。

vi与vim

讲真,在这之前我并不知道vi与vim是有区别的,一直以为是因为偷懒将vim缩写成vi,然而并不是。

    vim是从 vi 发展出来的一个文本编辑器 。代码补完、编译及错误跳转等方便编程的功能特别丰富,在程序员中被广泛使用。和Emacs 并列成为类Unix系统 用户最喜欢的编辑器。vim是vi的加强版,它不仅兼容 vi 的所有指令,而且还有一些新的特性在里面。新的特性主要体现在以下几个方面: 1、多级撤消 2、易用性 3、语法加亮 4、可视化操作 5、对vi的完全兼容,所以在某些情况下可以把vim当做vi来使用。当然,作为生信工作者使用最多的还是vim,不说其他,语法加亮这一特性就给我们的编程带来很多便利。要想完全掌握vim的操作指令很耗脑容量,也没必要,记住一些常用指令就行。

vim指令大全:

vim的环境设置与记录(我的Vim之路

学习shell与shell script

什么是shell?

     shell是你(用户)和Linux(或者更准确的说,是你和Linux内核)之间的接口程序。你在提示符下输入的每个命令都由shell先解释然后传给Linux内核。
     shell 是一个命令语言解释器(command-language interpreter)。拥有自己内建的 shell 命令集。此外,shell也能被系统中其他有效的Linux 实用程序和应用程序(utilities and application programs)所调用。
    不论何时你键入一个命令,它都被Linux shell所解释。一些命令,比如打印当前工作目录命令(pwd),是包含在Linux bash内部的(就象DOS的内部命令)。其他命令,比如拷贝命令(cp)和移动命令(rm),是存在于文件系统中某个目录下的单独的程序。而对用户来说,你不知道(或者可能不关心)一个命令是建立在shell内部还是一个单独的程序。
    shell 首先检查命令是否是内部命令,不是的话再检查是否是一个应用程序,这里的应用程序可以是Linux本身的实用程序,比如ls 和 rm,也可以是购买的商业程序,比如 xv,或者是公用软件(public domain software),就象 ghostview。然后shell试着在搜索路径($PATH)里寻找这些应用程序。搜索路径是一个能找到可执行程序的目录列表。如果你键入的命令不是一个内部命令并且在路径里没有找到这个可执行文件,将会显示一条错误信息。而如果命令被成功的找到的话,shell的内部命令或应用程序将被分解为系统调用并传给Linux内核。
    shell的另一个重要特性是它自身就是一个解释型的程序设计语言,shell 程序设计语言支持在高级语言里所能见到的绝大多数程序控制结构,比如循环,函数,变量和数组。shell 编程语言很易学,并且一旦掌握后它将成为你的得力工具。任何在提示符下能键入的命令也能放到一个可执行的shell程序里,这意味着用shell语言能简单地重复执行某一任务。

为什么学习shell?

    没有任何一种程序设计语言是完美的,甚至没有一个最好的语言。只有在特定环境下适合的语言。

                                                                                                                                                                        —— Herbert Mayer

    Shell脚本语言是实现Linux/UNIX系统管理及自动化运维所必备的重要工具,Linux/UNIX系统的底层及基础应用软件的核心大部分涉及Shell脚本的内容。每一个合格的Linux系统管理员或运维工程师,都需要熟练的编写Shell脚本语言,并能够阅读系统及各类软件附带的Shell脚本内容。只有这样才能提升运维人员的工作效率,适应日益复杂的工作环境,减少不必要的重复工作,从而为个人的职场发展奠定较好的基础

作为业余生信工作者,我主学的Python,并可满足日常的工作需求,那么为什么还要学shell?抛开大的方面,毕竟我不是专业搞计算机的,学习shell的目的也很简单:shell的单行命令和批量处理(我想这也是大部分生信人学习shell的原因),还有就是学习shell我们能更好的了解Linux系统,毕竟生信相关的软件很多都是在Linux环境下运行的。说到底,学习shell目的只有一个,那就是提高工作效率,别人埋头苦干一两天才能完成的工作,你一两个小时就能完成,为什么不学呢?