「collapse」パッケージの衝撃的な速さをどう伝えるか
collapseパッケージ、最近話題になった気がする。巨大データでunique値抽出ってやたら時間かかるし、data.tableも速い方だけど何か…うーん、やっぱり数百万件超えると体感で何十秒とか？dplyrも意外と健闘してたけど、メモリ足りなくて落ちることあったっぽい。RAM増設した人によれば、その後は少し快適に。collapseのfunique関数使ったら他より数倍早く終わることが多かったみたい。ただカラム指定しないとうまく動かなかったという小ネタも挟まってたな。あと、処理結果を変数に代入するかどうかでも若干タイム差ある、と言いつつ根本的にはcollapseの圧勝。細かい数字は忘れたけど、「一瞬」ってほどじゃなくても明らかに短縮されていた感じ。ロゴが妙に凝ってるのも妙に記憶に残ってる。不思議とdplyrよりdata.tableの方が遅いケースもあったような気がするけど、その辺はPC環境次第なのかな、と
本段の参照元: https://www.johnmackintosh.net/blog/2020-11-25-collapse/
日本語圏での普及の壁と布教への想い
日本のデータ分析コミュニティで、collapseパッケージの話題を深掘りしようとすると、いくつかの興味深い障壁に直面するでしょう。まず、技術的な細かい性能比較に対する日本特有の慎重さがあります。数値を厳密に議論するよりも、実際の使用感や印象を重視する文化があるため、純粋な性能論争は難しいかもしれません。また、新しいRパッケージへの skepticism - 特に外国製のツールに対する警戒心も存在します。さらに、企業や研究現場では既存のツールへの依存度が高く、新しい手法への移行には保守的な姿勢が見られるでしょう。
