1000万行を超える巨大なテキストファイルを扱う
秀丸エディタが扱えるテキストの最大行数1000万行を越えるCSVデータを扱う必要があったため、巨大なデータを扱えるテキストエディタを調べてみました。
高価な有料ソフトを視野に入れればMIFESなどがあるのでしょうが、低価格でできればフリーソフトという観点で選ぶと、EmEditorフリー版かTeraPadという選択が良さそうです。
秀丸(シェアウェア)の上限値は1000万行です。
普段は重宝しているのですが、今回行いたい作業では使えません。
http://hide.maruo.co.jp/software/hidemaru.html
さくらエディタ(フリーウェア)は、メモリに依存するとの事でしたが、自分の環境では読めませんでした。
http://ringonoki.net/tool/ed/sakuraeditor.html
QXエディタ(シェアウェア)もダメでした。
ただし、部分的にファイルを読み込む機能により、ファイルを高速に開くことができたため、数十メガ程度のファイルであれば、良い選択かもしれません。
http://www2k.biglobe.ne.jp/~araken/
TeraPad(フリーウェア)は、1000万行を超えるテキストファイルを扱えました。
http://www5f.biglobe.ne.jp/~t-susumu/library/tpad.html
EmEditor(フリー版)は、1000万行を超えるテキストファイルを扱えました。
http://www.vector.co.jp/soft/winnt/writing/se047993.html
プロフェッショナル版(シェアウェア) の場合、最大 248 GB (または21億行) という非常に大きなファイルも扱えるようです。
【番外】鈴川エディタ(シェアウェア)は、作者のホームページによると300Gのテキストをサクサク扱えるということでしたが、あやしいので試しませんでした。
http://www.szkwjp.com/
http://comment.vector.co.jp/comment.php/367901
1GB越えのファイルをEmEditorで開けませんでしたが、鈴川エディタだと開けました。
Windows7 RAMは4GBです
はてなで、1000万行のCSVファイルを高速で処理 についての質問したら結構反響ありました。よかったらご覧ください。
http://q.hatena.ne.jp/1251099166