Linux shell逐行读取文件的方法

 文件a1内容如下:

学习笔记

做生物信息学分析,经常要提取得到文件中某几行的数据,那么如何把文件内容一行一行地读取出来了呢?

参考:http://www.jb51.net/article/48830.htm

#!/bin/bash
while read line
do
echo $line
done < filename(待读取的文件)

#!/bin/bash
cat filename(待读取的文件) | while read line
do
echo $line
done

#!/bin/bash
for line in cat ‘filename(待读取的文件)’
do
echo $line
done

在Linux中有很多方法逐行读取一个文件的方法,其中最常用的就是下面的脚本里的方法,而且是效率最高,使用最多的方法。为了给大家一个直观的感受,我们将通过生成一个大的文件的方式来检验各种方法的执行效率。

本文实例讲述了C#逐行读取文件的方法。分享给大家供大家参考。具体如下:

 

图片 1

方法1:while循环中执行效率最高,最常用的方法。

这里使用C#逐行读取文件,对于大文件的读取非常有用。

在Linux中有很多方法逐行读取一个文件的方法,其中最常用的就是下面的脚本里的方法,而且是效率最高,使用最多的方法。为了给大家一个直观的感受,我们将通过生成一个大的文件的方式来检验各种方法的执行效率。

方法1:for循环

复制代码 代码如下:

StreamReader sr = new StreamReader("fileName.txt");
string line;
while((line= sr.ReadLine()) != null) {
 Console.WriteLine("xml template:"+line);
}
if (sr != null)sr.Close();
//should be in a "finally" or "using" block

方法1:while循环中执行效率最高,最常用的方法。

图片 2

function while_read_LINE_bottm(){
While read LINE
do
echo $LINE
done  < $FILENAME
}

希望本文所述对大家的C#程序设计有所帮助。

 

方法2:while循环

注释:我习惯把这种方式叫做read釜底抽薪,因为这种方式在结束的时候需要执行文件,就好像是执行完的时候再把文件读进去一样。

您可能感兴趣的文章:

  • c#读取文件详谈
  • C#读取文件MD5值的实现代码
  • C#中winform使用相对路径读取文件的方法
  • C#通过指针读取文件的方法
  • C#读取文件所有行到数组的方法
  • C#如何打开并读取usb的文件目录

function while_read_LINE_bottm(){

图片 3

方法2 : 重定向法;管道法: cat $FILENAME | while read LINE

 While read LINE

方法3:管道+while循环

复制代码 代码如下:

 do

图片 4

Function While_read_LINE(){
cat $FILENAME | while read LINE
do
echo $LINE
done
}

echo $LINE

方法4:限定读的行数

注释:我只所有把这种方式叫做管道法,相比大家应该可以看出来了吧。当遇见管道的时候管道左边的命令的输出会作为管道右边命令的输入然后被输入出来。

done  < $FILENAME

图片 5

方法3: 文件描述符法

}

 

复制代码 代码如下:

 

Function while_read_line_fd(){
Exec 3<&0
Exec 0<$FILENAME
While read LINE
Do
Echo $LINE
Exec 0<&<3
}

       
注释:我习惯把这种方式叫做read釜底抽薪,因为这种方式在结束的时候需要执行文件,就好像是执行完的时候再把文件读进去一样。

注释:
这种方法分2步骤,第一,通过将所有内容重定向到文件描述符3来关闭文件描述符0.为此我们用了语法Exec
3<&0 。第二部将输入文件放送到文件描述符0,即标准输入。

 

方法4    for  循环。

方法2 : 重定向法;管道法: cat $FILENAME | while read LINE

复制代码 代码如下:

 

function  for_in_file(){
For  i  in  `cat $FILENAME`
do
echo $i
done
}

Function While_read_LINE(){

注释:这种方式是通过for循环的方式来读取文件的内容相比大家很熟悉了,这里不多说。对各个方法进行测试,看那方法的执行效率最高。

 cat $FILENAME | while read LINE

首先我们用脚本(脚本见附件)生成一个70000行的文件,文件位置在/scripts/bigfile。然后通过下面的脚本来测试各个方法的执行效率,脚本很简单,不再解释。

 do 

复制代码 代码如下:

echo $LINE

#!/bin/bash
FILENAME=”$1″
TIMEFILE=”/tmp/loopfile.out” > $TIMEFILE
SCRIPT=$(basename $0)
function usage(){
echo -e “\nUSAGE: $SCRIPT file \n”
exit 1
}
function while_read_bottm(){
while read LINE
do
echo $LINE
done < $FILENAME
}
function while_read_line(){
cat $FILENAME | while read LINE
do
echo $LINE
done
}
function while_read_line_fd(){
exec 3<&0
exec 0< $FILENAME
while read LINE
do
echo $LINE
done
exec 0<&3
}
function for_in_file(){
for i in  `cat $FILENAME`
do
echo $i
done
}
if [ $# -lt 1 ] ; then
usage
fi
echo -e ” \n starting file processing of each method\n”
echo -e “method 1:”
echo -e “function while_read_bottm”
time while_read_bottm >> $TIMEFILE
echo -e “\n”
echo -e “method 2:”
echo -e “function while_read_line “
time while_read_line >> $TIMEFILE
echo -e “\n”
echo -e “method 3:”
echo “function while_read_line_fd”
time while_read_line_fd >>$TIMEFILE
echo -e “\n”
echo -e “method 4:”
echo -e “function  for_in_file”
time  for_in_file >> $TIMEFILE

done

执行脚本后: [root@localhost shell]# ./while /scripts/bigfile
脚本输出内容:

}

复制代码 代码如下:

         
注释:我只所有把这种方式叫做管道法,相比大家应该可以看出来了吧。当遇见管道的时候管道左边的命令的输出会作为管道右边命令的输入然后被输入出来。

method 1:
function while_read_bottm
real    0m5.689s
user    0m3.399s
sys    0m1.588s
method 2:
function while_read_line
real    0m11.612s
user    0m4.031s
sys    0m4.956s
method 3:
function while_read_line_fd
real    0m5.853s
user    0m3.536s
sys    0m1.469s
method 4:
function  for_in_file
real    0m5.153s
user    0m3.335s
sys    0m1.593s

 

下面我们对各个方法按照速度进行排序。

方法3: 文件描述符法

复制代码 代码如下:

 

real    0m5.153s    method 4 (for 循环法)
real    0m5.689s    method 1  (while 釜底抽薪法)
real    0m5.853s    method 3    (标识符法)
real    0m11.612s  method 2    (管道法)

Function while_read_line_fd(){

由此可见在各个方法中,for语句效率最高,而在while循环中读写文件时,

Exec 3<&0

复制代码 代码如下:

Exec 0<$FILENAME

while read LINE
do
echo $LINE
done < $FILENAME

While read LINE

方式执行效率最高。

Do 

您可能感兴趣的文章:

  • Shell脚本中使用for循环和cat命令实现按顺序合并文件
  • shell按行读取文件的3种方法
  • Shell脚本一次读取文件中一行的2种写法
  • Shell脚本读取ini配置文件的实现代码2例
  • Shell实现读取ini格式配置文件方法
  • PowerShell读取文本文件指定行内容的方法
  • Shell脚本读取标准ini配置文件Demo
  • Shell脚本逐行读取文本文件(不改变文本格式)
  • 利用Shell脚本循环读取文件中每一行的方法详解

 Echo $LINE

 Exec 0<&<3

}

 

        注释:
这种方法分2步骤,第一,通过将所有内容重定向到文件描述符3来关闭文件描述符0.为此我们用了语法Exec
3<&0 。第二部将输入文件放送到文件描述符0,即标准输入。

  

方法4    for  循环。

 

function  for_in_file(){

For  i  in  `cat $FILENAME`

do

echo $i

done

}

         
注释:这种方式是通过for循环的方式来读取文件的内容相比大家很熟悉了,这里不多说。

 

 

    对各个方法进行测试,看那方法的执行效率最高。

 

         
首先我们用脚本(脚本见附件)生成一个70000行的文件,文件位置在/scripts/bigfile。然后通过下面的脚本来测试各个方法的执行效率,脚本很简单,不再解释。

 

#!/bin/bash

FILENAME=”$1″

TIMEFILE=”/tmp/loopfile.out” > $TIMEFILE 

SCRIPT=$(basename $0)

 

function usage(){

echo -e “\nUSAGE: $SCRIPT file \n”

 

exit 1

}

 

function while_read_bottm(){

 

while read LINE

do

echo $LINE

 

done < $FILENAME

 

}

 

function while_read_line(){

 

cat $FILENAME | while read LINE

do

echo $LINE

done

 

}

 

 function while_read_line_fd(){

 

exec 3<&0

exec 0< $FILENAME

while read LINE

do 

 echo $LINE

done

 exec 0<&3

}

 

function for_in_file(){

for i in  `cat $FILENAME`

do

echo $i

done

}

 

if [ $# -lt 1 ] ; then

usage

fi

 echo -e ” \n starting file processing of each method\n”

 echo -e “method 1:”

 echo -e “function while_read_bottm”

 time while_read_bottm >> $TIMEFILE

 

echo -e “\n”

 

echo -e “method 2:”

echo -e “function while_read_line “

time while_read_line >> $TIMEFILE

 

echo -e “\n”

echo -e “method 3:”

echo “function while_read_line_fd”

time while_read_line_fd >>$TIMEFILE

 

echo -e “\n”

echo -e “method 4:”

echo -e “function  for_in_file”

time  for_in_file >> $TIMEFILE

 

    执行脚本后:
[[email protected]
shell]# ./while /scripts/bigfile 

脚本输出内容:

method 1:

function while_read_bottm

 

real    0m5.689s

user    0m3.399s

sys    0m1.588s

 

 

method 2:

function while_read_line 

 

real    0m11.612s

user    0m4.031s

sys    0m4.956s

 

 

method 3:

function while_read_line_fd

 

real    0m5.853s

user    0m3.536s

sys    0m1.469s

 

 

method 4:

function  for_in_file

 

real    0m5.153s

user    0m3.335s

sys    0m1.593s

 

 

下面我们对各个方法按照速度进行排序。

real    0m5.153s    method 4 (for 循环法)

real    0m5.689s    method 1  (while 釜底抽薪法)

real    0m5.853s    method 3    (标识符法)

real    0m11.612s  method 2    (管道法)

 

 由此可见在各个方法中,for语句效率最高,而在while循环中读写文件时,

while read LINE

do

echo $LINE

 

done < $FILENAME

方式执行效率最高。

 

shell逐行读取文件的方法
在Linux中有很多方法逐行读取一个文件的方法,其中最常用的就是下面的脚本里的方法,而且是效率最高,使…

发表评论

电子邮件地址不会被公开。 必填项已用*标注

网站地图xml地图