🇺🇸 English 🇰🇷 한국어 🇯🇵 日本語
ホーム › 開発者ツール
開発者ツール

LlamaIndex、文書解析の標準規則140項目を草案公開

米LlamaIndexは10月28日、AIが文書をテキストに変換する際の140の規則をまとめた「ドキュメント・パーシング・プロトコル(DPP)」0.1草案を公開した。複数行見出しの表はHTML、空欄は[blank]、グラフは数値の表に起こすなどと定め、MITとCC BY 4.0で公開しGitHubで意見を募る。

米LlamaIndex(ラマインデックス)は10月28日、AIがPDFや帳票、グラフをテキストに変換する際に「正しく解析されたページ」がどうあるべきかを定めた規則集「ドキュメント・パーシング・プロトコル(Document Parsing Protocol、DPP)」の草案を公開した。バージョン0.1の作業草案には140の規則が収められ、同社はGitHubで開発者からの異論や修正提案を募っている。

オフィスの机に向かい紙の書類を確認する男性
オフィスの机で書類を整理する農場経営者。こうした帳票や表をテキストに起こすのが文書パーサーの役割だ(資料写真) · 사진: USDAgov / 위키미디어 공용(퍼블릭 도메인)

要点

  • DPP 0.1はテキスト、表、帳票、グラフ、図などを扱う140の規則で構成され、規則ごとに例示ページと期待される出力が付く。
  • 規則は、LlamaIndexが文書解析ベンチマーク「ParseBench」のデータにラベルを付ける際に使った指針から生まれた。
  • コードはMITライセンス、プロトコル本文と例示はCC BY 4.0で公開され、意見はGitHubのIssueやプルリクエストで受け付ける。

ドキュメント・パーシング・プロトコルとは

Gauthami Polasani氏とPierre-Loic Doulcet氏が執筆したLlamaIndexのブログ記事は、DPPを「難しい判断ごとにその理由を添えた、文書解析の解答集」と位置付けた。各規則は実際の文書ページと、パーサーが出すべき結果を並べて示している。

プロジェクトサイト(parseprotocol.com)は、表記の約束事や出力モデルから表、帳票、グラフ、画像・図までを13章に整理し、同等とみなす表現や正解データの作り方を付録にまとめた。

表・帳票・グラフの扱い方

規則の多くは、ツールごとにばらばらだった処理を一つに定めるものだ。見出しが複数行にわたる表はHTMLで書く。Markdownでは複数列にまたがる見出しを表現できないためである。空欄の入力欄は「[blank]」、チェックボックスは「[x]」または「[ ]」と記す。

グラフは元になった数値を表に起こし、図は可能な限りMermaidなどの図表記述コードに変換する。読み取れない文字は「[illegible]」と表示し、PDF内に隠れたテキストは除外する。表の行をthead・tbodyタグで囲むかどうかは、文書内で一貫していればどちらでもよい。

AIエージェントに共通基準が必要な理由

DPPの規則の源流はParseBenchのラベル付け指針にある。4月9日にarXivへ投稿されたParseBenchの論文によると、このベンチマークは保険、金融、行政分野の企業文書約2,000ページを人手で検証して作られた。

論文は視覚言語モデル、専用の文書パーサー、LlamaIndex自身のLlamaParseなど14の手法を、表、グラフ、内容の忠実性、意味的な書式、視覚的グラウンディングの5領域で評価した。最高はLlamaParse Agenticの84.9%だったが、研究チームは「5領域すべてで一貫して強い手法はない」と記している。何が正解かの基準が共有されていなければ、各社のスコアを比べることも難しい。

ClaudeやChatGPTでの使い方

LlamaIndexはプロトコルを、Claude向けのスキルファイルとChatGPT向けの参照ファイルとして配布している。Claudeではコード実行を有効にした状態で「カスタマイズ(Customize)→スキル(Skills)」に登録し、ChatGPTでは会話にファイルを添付する。サイトには、米アップルの財務諸表の例示ページで8つの解析判断を解説したガイドもある。

GitHubリポジトリでは、規則1つにつきMarkdownファイル1つで管理している。コードはMITライセンス、プロトコルと例示は「Document Parsing Protocol, LlamaIndex」のクレジット表記を条件とするCC BY 4.0である。

今後の見通し

LlamaIndexは0.1を作業草案と位置付け、規則が当てはまらない、あるいは規則同士が矛盾する事例があれば、該当ページと期待される出力をGitHubのIssueかプルリクエストで送るよう求めた。執筆者らは規則について「公の場で反論してほしい」と記した。次期バージョンの時期や外部パートナーは明らかにしていない。

よくある質問

ドキュメント・パーシング・プロトコル(DPP)とは何か。
文書ページを構造化テキストに変換する方法を定めた、LlamaIndexによる標準の提案である。0.1草案には140の規則と例示ページが含まれる。

無料で使えるのか。
使える。コードはMIT、プロトコルと例示はクレジット表記を条件とするCC BY 4.0で公開されている。

規則の修正はどう提案するのか。
GitHubのrun-llama/document_parsing_protocolリポジトリに、問題のページと期待する出力を添えてIssueかプルリクエストを出す。

参考資料

#LlamaIndex #ドキュメント・パーシング・プロトコル #DPP #文書解析 #PDF解析 #ParseBench #OCR #AIエージェント #LlamaParse #標準化
チ
チョン・スン
AI Newsway · 開発者

AI Newswayの編集責任者です。AI、開発ツール、クラウド、生産性テクノロジーの記事を執筆しています。

この記者の他の記事 ›
著作権者 © AI Newsway 無断転載・再配布、AI学習・活用禁止
共有
f X K

コメント 0

現在コメントの投稿は無効になっています。

最初のコメントを書いてみましょう。