AIBR プレミアム
拓海さん、最近部下から「社内ナレッジもウィキ化して検索を速くしよう」と言われましてね。ウィキのインデックス化で何が変わるのか、ざっくり教えてくださいませんか。
素晴らしい着眼点ですね！要点は三つです。検索速度と精度が上がる、類似情報の発見が容易になる、運用のコスト構造が変わるんですよ。一緒に順を追って見ていけると分かりやすいです。
技術的な話は苦手でして。インデックス化って要するにファイルに目次を付けるようなものですか、それとももっと複雑ですか。
素晴らしい着眼点ですね！近いですが、もう少し賢い「目次」です。例えばTF-IDF (Term Frequency–Inverse Document Frequency、文書内頻度と逆文書頻度)を使うと、単なる目次以上に重要語を見分けられますし、語形を正規化するLemmatizer (Lemmatizer、語形正規化器)で検索のばらつきを吸収できますよ。
なるほど。で、実際に作るとどんなデータベースが要るんですか。うちのIT部は「普通のRDBで良い」と言っていましたが、それで十分なんでしょうか。
素晴らしい着眼点ですね！論文で紹介されているのは読み取り専用のリレーショナルデータベース（Relational Database、関係データベース）で、逆転インデックス(inverted file index、逆転インデックス)の情報を格納する設計です。ポイントは読み取り最適化と語形情報の保存で、更新やマージは後回しにしている点です。
これって要するに、検索の速さと精度を優先して作り、更新は別のやり方でやるということですか。
その通りです。まとめると三点。第一に、読み取り（検索）を最適化する構造であること。第二に、ウィキ特有のマークアップを取り除き語形を正規化する前処理が必要なこと。第三に、規模の違いで設計方針が変わること。企業規模や文書量に応じて最適化を選べますよ。
なるほど。実験ではどんなデータで検証しているんですか。うちのデータと比べる参考になりますか。
素晴らしい着眼点ですね！論文はSimple English WikipediaとRussian Wikipediaを比較しています。規模差が大きく、ロシア語版は語彙量と総語数で桁違いに大きい点が示されています。企業内ウィキでも同様に、少量であればシンプルな設計で十分だが、大規模になると専用設計が必要になります。
投資対効果として何を見れば良いですか。検索が速くなる以外に、現場での効果はどう測ればよいでしょうか。
素晴らしい着眼点ですね！KPIは三つで考えると良いです。検索応答時間と検索成功率、そして業務時間削減の定量化です。例えば問い合わせ解決までの平均時間が減れば直接的なコスト削減につながりますし、更新コストも含めたTCOで評価できますよ。
ありがとうございます。私の理解で整理しますと、まず検索を早く正確にするデータ構造を作り、次に現場用語のばらつきを吸収する正規化処理を入れ、最後に規模に応じた運用設計でコストを抑える、ということですね。
