01月22, 2022

分割带表头的大csv文件

假设我们有个超大的all_data.csv文件,它是有表头的,我们想要把它按每200w行分割成一个个小csv文件(且每一个文件都有表头),则可以:

  • 先将表头下面的数据分割:tail -n +2 all_data.csv | split -l 2000000 - split_data
  • 再将每个文件加上表头并加csv后缀:for file in split_data*; do head -n 1 all_data.csv > tmp_file; cat $file >> tmp_file; mv -f tmp_file $file; mv -f $file $file.csv; done

最终文件会以all_dataa.csvall_datab.csvall_datac.csv命名。

本文链接:https://debug.fanzheng.org/post/split-big-size-csv-with-table-header.html

-- EOF --

Comments

评论加载中...

注:如果长时间无法加载,请针对 disq.us | disquscdn.com | disqus.com 启用代理。