perl不能处理大文本文件！？！？！？高手帮忙！！！

shangyilong
perl不能处理大文本文件！？！？！？高手帮忙！！！

最近处理solaris大日志文件，文件大于1GB，我需要查找含有“程某某”的字符串在日志第几行，并且统计个数，为什么我写的perl程序不能找到呢？？？？

[color=Red]可是[/color]其中确实有“程某某”的字符串，有3个，但是将包含“程某某”的字符串的行单独拷贝出来另存成1.txt，比1GB小，我的程序就能找到“程某某”的字符串，并统计有3个。

（    我的机器p4 2.8G 1GB 硬盘空余10GB winxp

执行命令  D:/perl/perl find.pl 1.log                          ）

这是啥原因？高人请指点！谢谢！莫非[color=Red]perl有处理的文件大小限制？？？！！！[/color]

[[i] 本帖最后由 shangyilong 于 2008-5-8 14:15 编辑 [/i]]

flw
我这里是好的呀。

m0925j
考虑一下日志文件的字符编码吧

churchmice
贴代码

cobrawgl
贴 log 文件样本

zxzzy
以前我也处理过3，4g的文件，不过perl把内存跑完了，后来改成awk跑的
:wink:

uppet
回复 #6 zxzzy 的帖子

你应该使用行模式才对。。

MMMIX
[quote]原帖由 [i]zxzzy[/i] 于 2008-5-6 18:33 发表 [url=http://bbs.chinaunix.net/redirect.php?goto=findpost&pid=8331199&ptid=1092742][img]http://bbs.chinaunix.net/images/common/back.gif[/img][/url]
以前我也处理过3，4g的文件，不过perl把内存跑完了，后来改成awk跑的
:wink: [/quote]
这说明你的代码写的有问题。

shangyilong
回复 #2 flw 的帖子

为了防止unix和windows不同，日志已经unix2dos了，但是也不成，似乎也并不是这个原因吧？

flw
[quote]原帖由 [i]shangyilong[/i] 于 2008-5-7 10:03 发表 [url=http://bbs.chinaunix.net/redirect.php?goto=findpost&pid=8333222&ptid=1092742][img]http://bbs.chinaunix.net/images/common/back.gif[/img][/url]
为了防止unix和windows不同，日志已经unix2dos了，但是也不成，似乎也并不是这个原因吧？ [/quote]
嗯，您说的对！:outu: :outu: :outu: :outu: :outu:
我要去别的版面灌水了，您先自个儿慢慢分析分析，有结论了分享一下。

shangyilong
[quote]原帖由 [i]flw[/i] 于 2008-5-7 10:13 发表 [url=http://bbs.chinaunix.net/redirect.php?goto=findpost&pid=8333297&ptid=1092742][img]http://bbs.chinaunix.net/images/common/back.gif[/img][/url]

嗯，您说的对！:outu: :outu: :outu: :outu: :outu:
我要去别的版面灌水了，您先自个儿慢慢分析分析，有结论了分享一下。 [/quote]

好吧，我再试试看，谢谢回复！

shangyilong
回复 #1 shangyilong 的帖子

发现两个问题：
1.在solaris上unix2dos后，在winxp上用ultraedit打开时仍然问我是否转换成DOS格式，说明unix2dos并没有转换到dos格式，为什么？？？
2.由于要查找中文，格式转换后成了乱码，自然perl找不到，那么如何指定转换的字符呢？？？

请版主等高人解释说明，谢谢！！！

shangyilong
[quote]原帖由 [i]m0925j[/i] 于 2008-5-6 16:53 发表 [url=http://bbs.chinaunix.net/redirect.php?goto=findpost&pid=8330359&ptid=1092742][img]http://bbs.chinaunix.net/images/common/back.gif[/img][/url]
考虑一下日志文件的字符编码吧 [/quote]

确实是字符编码的问题。
谢谢提醒。
上一篇：邮件发送问题 下一篇：下面没有链接了