Board logo

标题: 求助:用sed命令提高执行效率 [打印本页]

作者: wbshu     时间: 2007-6-29 11:29    标题: 求助:用sed命令提高执行效率

各位高手,本人想编写一个批处理用于剔除文本文件中相同记录,虽然下面的脚本能够完成任务,但我认为sed命令非常强大,应该能够提高我的脚本效率.本人刚接触sed命令,还请高手指教!!
@echo off
set /a num=0
for /f %%i in (test.txt) do set /a num+=1
echo  发现了%num%条记录。
echo.
echo  正在剔除相同记录,请稍后......
echo.
for /l %%a in (1,1,%num%) do (
        sed -n "%%a"p test.txt>temp1.txt
        rem 提取比较项
        for /f "tokens=*" %%i in (temp1.txt) do (
                echo %%i>temp2.txt
                sed "/%%i/d" test.txt>>temp2.txt
                rem 删除相同项。    这条语句能用嵌套语句吗?
                type temp2.txt>test.txt
                )
        )       
set /a num=0
for /f %%i in (test.txt) do set /a num+=1
echo.
echo  保留了%num%条文件记录。
del /f /q temp*.txt
作者: lxmxn     时间: 2007-6-29 11:34
举个具体的例子吧。
作者: wbshu     时间: 2007-6-29 11:39
比如test.txt文件是:

sss   bbb   ccc
eeeeee   edd   ffff
sssss wwwww
sss   bbb   ccc
aaa  ddd  eee

文件里面第一条和第4条相同,我要去掉第4条的记录最后成这样:
sss   bbb   ccc
eeeeee   edd   ffff
sssss wwwww
aaa  ddd  eee

如果有两条\三条......相同的话就保留一条记录.
作者: lxmxn     时间: 2007-6-29 12:58
gawk:
CODE:  [Copy to clipboard]
gawk "!arg[$0]++" Yourfile
#Gawk 下载
http://www.cn-dos.net/forum/viewthread.php?tid=31098&page=1#pid205571
作者: wbshu     时间: 2007-6-29 14:06
谢谢!!!要学的东西真多啊!
作者: bjsh     时间: 2007-6-29 23:23
这个 问题 用 awk 解决是最合适的选择;
用sed 就比较麻烦了;代码如下;

sed -n "G; s/\n/&&/; /^\([ -~]*\n\).*\n\1/d; s/\n//; h; P" test.txt
作者: gan2031     时间: 2007-6-30 00:20    标题: 谢谢!!!

谢谢!!!
作者: wbshu     时间: 2007-7-1 17:02


  Quote:
Originally posted by bjsh at 2007-6-29 11:23 PM:
这个 问题 用 awk 解决是最合适的选择;
用sed 就比较麻烦了;代码如下;

sed -n "G; s/\n/&&/; /^\([ -~]*\n\).*\n\1/d; s/\n//; h; P" test.txt

这条命令好像不适合本例,应该将“^\([ -~]*\n\)”参数换成“^\(.*\n\)”:

我试了一下,对于本例而言下面的代码也能达到效果:

sed -n "G; /^\(.*\n\).*\n\1/d; h ;P" Test.txt


总之,谢谢你的回复!




欢迎光临 中国DOS联盟论坛 (http://cndos.fam.cx/forum/) Powered by Discuz! 2.5