スペースモラトリアムノカミサマ

日記+コメント付きブックマーク+他人にも役に立つかもしれない情報など。
(更新情報: RSS(ツッコミ付き) / RSS(ツッコミ抜き) / LIRS)

最近の TrackBack:
2004|01|02|03|04|05|06|07|08|09|10|11|12|
2005|01|02|03|04|05|06|07|08|09|10|11|12|
2006|01|02|03|04|05|06|07|08|09|10|11|12|
2007|01|02|03|04|05|06|07|08|09|10|11|12|
2008|01|02|03|04|05|06|07|08|09|10|11|12|
2009|01|02|03|04|05|06|07|08|09|10|11|12|
2010|01|02|03|04|06|07|08|09|10|
2011|01|02|03|07|10|11|
2012|02|03|04|07|08|09|
2013|01|06|07|
2014|02|08|09|11|
2015|09|
2016|01|05|
2017|07|
2018|05|07|
2019|07|
2020|08|

2006/05/06

_ [プログラム] SQLite のインデックス作成が遅い?

訳あって約1000万行 (約 3GB) のログデータを SQLite に突っ込んだのだが、

行挿入約1.3時間
インデックス1の作成約3時間
インデックス2の作成約13時間

行挿入の10倍って…なぜインデックス作成にこんなに時間がかかりますか。

インデックス1とインデックス2でこう差があるというのも、

  • インデックス1の対象フィールドは8文字固定で、重複はあるが十分に分散している
  • インデックス2の対象フィールドは30文字弱で、重複が多く偏りがある

という傾向の違いがあるとはいえ、13時間はねーべ…

で、SQLite が悪いのかと MySQL で再試行したらさらに悪化。(行挿入は3〜4倍、インデックス作成はほぼ同等)

SQLite のインデックス作成が遅いわけではなく、そもそも1000万行の物量的に仕方のないことだということでしょうか。

これだったらインデックス作らない方がマシっぽいです…

_ [ソフトウェア] Sendmail ログ解析関連メモ

メールサーバ運用管理 一問一答! Q13 ログを確認する方法@NETWORKWORLD

SMA - Sendmail log analyser

fromto: sendmail syslog viewer

sendmailログ解析@Web裏技

Sawmill 汎用ログ解析ソリューション

Sawmill ユニバーサルログ解析ツール

LogStare - インターネットサーバログ分析環境

Sendmail のログをキュー毎にひとまとめにして流れを追えるように整理し直すスクリプトなんて世の中に五万とあるだろうと思いきや、思いの外ないもんですね