首页 文章

采样大数据文件

提问于
浏览
5

我目前在Data Warehouse程序员的位置工作,因此必须通过ETL过程放置大量的平面文件 . 当然在加载文件之前我必须知道它的内容,问题是大多数文件大于1 GB并且我无法使用亲爱的老朋友“notepad”打开它们 . 开玩笑 . 我通常使用VIM或记事本,但打开文件仍需要一段时间 . 我可以使用VIM或其他编辑器对文件执行“部分”读取吗?

附:我知道我可以为文件的“数据样本”编写一个10行内容脚本,但是说服团队成员使用编辑器的功能而不是我编写的脚本会更简单 .

感谢您提供的任何见解 .

6 回答

  • 3

    在solaris上使用'less'...在windows上使用相同的cygwin . 在大型机上没有出现这个问题,ISPF编辑器处理得很好 .

  • 3

    UltraEdit声称处理超过4GB的文件...

  • 1

    很确定有很多类似的问题,但是,嘿,Textpad是一个很好的选择 .

  • 0

    使用head命令 .

  • 2

    如果你想坚持使用vim,你可以查看LargeFile脚本 .

    或者,我总是发现UltraEdit非常快速地打开大文件 .

  • 2

    你说你有VIM,这让我想知道你是否也有unix环境?

    如果您愿意,可以通过unix实用程序 top 管道输入,并在屏幕上显示原始输入 . 像这样:

    EDIT :(谢谢Honk)

    terminal$> head -N 15 file.csv

    (其中15表示您只想看到15行) .

相关问题