1000万行を超える巨大なテキストファイルを扱う

    秀丸エディタが扱えるテキストの最大行数1000万行を越えるCSVデータを扱う必要があったため、巨大なデータを扱えるテキストエディタを調べてみました。

    高価な有料ソフトを視野に入れればMIFESなどがあるのでしょうが、低価格でできればフリーソフトという観点で選ぶと、EmEditorフリー版かTeraPadという選択が良さそうです。

    秀丸(シェアウェア)の上限値は1000万行です。
    普段は重宝しているのですが、今回行いたい作業では使えません。
    http://hide.maruo.co.jp/software/hidemaru.html

    さくらエディタ(フリーウェア)は、メモリに依存するとの事でしたが、自分の環境では読めませんでした。
    http://ringonoki.net/tool/ed/sakuraeditor.html

    QXエディタ(シェアウェア)もダメでした。
    ただし、部分的にファイルを読み込む機能により、ファイルを高速に開くことができたため、数十メガ程度のファイルであれば、良い選択かもしれません。 
    http://www2k.biglobe.ne.jp/~araken/

    TeraPad(フリーウェア)は、1000万行を超えるテキストファイルを扱えました。
    http://www5f.biglobe.ne.jp/~t-susumu/library/tpad.html

    EmEditor(フリー版)は、1000万行を超えるテキストファイルを扱えました。
    http://www.vector.co.jp/soft/winnt/writing/se047993.html
    プロフェッショナル版(シェアウェア) の場合、最大 248 GB (または21億行) という非常に大きなファイルも扱えるようです。

    【番外】鈴川エディタ(シェアウェア)は、作者のホームページによると300Gのテキストをサクサク扱えるということでしたが、あやしいので試しませんでした。
    http://www.szkwjp.com/
    http://comment.vector.co.jp/comment.php/367901

    2件のコメント

    1. 1GB越えのファイルをEmEditorで開けませんでしたが、鈴川エディタだと開けました。
      Windows7 RAMは4GBです

    2. はてなで、1000万行のCSVファイルを高速で処理 についての質問したら結構反響ありました。よかったらご覧ください。
      http://q.hatena.ne.jp/1251099166

    コメントを残す