Databricks「Instructed Retriever」発表：複雑な企業内検索で精度が70%向上

従来の手法よりも最大で70%高い精度を実現する新しいAI技術が登場しました。データ分析基盤大手のDatabricks（データブリックス）は、企業の複雑な指示やメタデータ処理に特化した「Instructed Retriever」を発表しました。これは、現在多くの企業が採用しているRAG（検索拡張生成）の限界を打ち破る、AIエージェント時代のための新しい検索アーキテクチャです。

Instructed Retriever が解決する従来のRAGの限界

従来のRAGは、ユーザーの質問をベクトル化し、似た文書を探し出す仕組みでした。しかし、Databricksのリサーチ・ディレクター、マイケル・ベンデルスキー氏によれば、これまでのシステムは「人間が使うこと」を前提に設計されており、自律的に動く「AIエージェント」には不十分だったといいます。例えば、「過去6ヶ月以内の、ブランドXを除いた星5のレビューを表示して」といった複雑な制約を含む質問に対し、従来のシステムはメタデータを正確に処理できず、誤った情報を引き出すことが多々ありました。

3つの新機能で高度なメタデータ推論を実現

「Instructed Retriever」は、以下の3つの主要な機能を備えています。

• クエリ分解：複雑なリクエストを複数のキーワード検索やフィルタ操作に分解し、実行計画を作成します。
• メタデータ推論：「昨年から」などの自然言語を日付フィルタへ変換するなど、文書に付随する情報を直接理解します。
• 文脈に即したリランキング：ユーザーの指示内容に基づき、単なる文章の類似度ではなく、意図に合致した文書の優先順位を上げます。

このシステムは現在、Databricks Agent Bricksの一部として「Knowledge Assistant」製品に組み込まれて提供されています。現在は独自技術として提供されていますが、ベンデルスキー氏は将来的な広範囲での公開も検討していると述べています。