本文へ移動

ライティングラボ by Shodo

執筆・ライティングについてのノウハウを共有するブログです。ブログや本の執筆、コンテンツマーケティングにお役立てください!

PDF校正の「AI解析」で、文を正しく読み取れる割合が69%から99%に

はてなブックマーク

AI校正サービスShodoのPDF校正に、AIでPDFの段落と読み順を認識する「AI解析(高精度)」を追加しました。

PDFの校正では、校正の前にまず「PDFから文章を正しく取り出す」必要があります。ここで文が途中で切れたり、別の文と混ざったりすると、正しい文に指摘が出たり、逆に本当の誤りを見落としたりします。AI解析は、この読み取りの精度を上げるための機能です。

契約書、小説、論文などに対応した新しいテキスト解析がリリース

この記事では、縦書きの小説、2段組みの論文、契約書など5つのサンプルPDFを使い、従来の読み込み方(テキスト読み込み)とAI解析とで、どれだけ正しく文章を取り出せるかを比べた結果を紹介します。

5つのPDFで検証しました

5つのサンプルPDF。上段は縦書きの小説A・小説B・随筆、下段は横書きの論文・契約書

AI解析は、レイアウトの異なる5つのPDFで読み取りを確かめています。どれも、これまでのテキスト読み込みでは正しく読み取りにくかった要素を含む文書です。

  • 2段組みの論文: 表、図、数式、脚注を含む研究ノート。左右の段を混ぜずに、正しい順序で読み取れます。
  • 契約書: 条の見出し、項番号、箇条書き、署名欄。条や項の区切りどおりに段落を読み取れます。
  • 縦書きの小説(2つ): ルビ、縦中横(たてちゅうよこ)の数字、台詞。縦中横の数字も本文の中で正しく読み取れます。
  • 縦書き・2段組みの随筆: 上下2段の組版、題、署名、小見出し。上の段から下の段へ、正しい順序で読み取れます。

たとえば2段組みの論文は、テキスト読み込みでは左右の段の文字が交互に混ざり、次のように取り出されていました。

改善前:

1すはを.失高、 るはう齢自こじ、者動とめいの車がにわ外へ繰ゆ出のりる頻依返「度存し移の度報動低が告の下高さ…

AI解析なら、この段落も元の文章どおりに取り出せます。

結果のまとめ

5つのPDFをあわせて、文を正しく読み取れた割合は 68.8%から98.9% に、段落を正しく読み取れた割合は 46.8%から98.1% に上がりました。

文を正しく読み取れた割合

サンプル テキスト読み込み AI解析
小説A 91.5% 100%
小説B 86.5% 100%
随筆 71.4% 100%
論文 49.2% 96.9%
契約書 52.0% 98.0%
合計 68.8% 98.9%

段落を正しく読み取れた割合

サンプル テキスト読み込み AI解析
小説A 60.0% 100%
小説B 78.6% 100%
随筆 50.0% 100%
論文 38.6% 95.5%
契約書 26.2% 97.6%
合計 46.8% 98.1%

正解の文は5つのPDFで263文、段落は154段落です。縦書きの3つのPDFでは、AI解析ですべての文と段落を正しく読み取れました。

残った問題も、校正への影響はごくわずか

100%でないの? と思われるかもしれませんが、厳しい基準でのチェックでこの水準ということです。

AI解析で正しく読み取れなかったのは、263文のうち3文です。どれも、文字が抜けたり別の文と混ざったりしたものではありません。文の区切りや記号の扱いが、正解とわずかに違っていたというものです。

  • 論文で、上付きの参照番号「[1, 2]」のうち「2]」が、文の終わりに残った
  • 論文で、次のページへ続く1文が「…示唆す」と「る。」に分かれるケースがあった
  • 契約書で、項の番号「1」が、続く本文とは別に取り出された

1つ目と3つ目については本文として問題はありません。2つ目についても今後の改善を予定しております。 5つのPDFすべてで、AI解析で取り出した文字には、欠けや誤りが1文字もありませんでした。

とはいえ、細かなケースも含めて正しく読み取れることを目指しています。残った3つのケースも、引き続き改善していきます。

AI解析のしくみ

PDFには、文字とその位置の情報は入っていますが、「どこからどこまでが1つの段落か」「どの順番で読むか」という情報はほとんど入っていません。

AI解析では、文書の構造を読み取るAIを使って、ページの見た目から段落と読み順を認識します。人がページを見て「ここからここまでが1つの段落で、この段の次はあの段を読む」と判断するのに近い処理です。

文字そのものは、これまでどおりPDFに埋め込まれた文字を突き合わせて使います。AIの読み間違いで文字が変わることはありませんのでご安心ください。

使い方

PDF校正の画面で、PDFをアップロードしたあとに「PDF解析」の「AI解析(高精度)」を選んで校正を実行してください。

利用方法はAI解析を選ぶだけ

AI解析は、マックスプランとビジネスプランでご利用いただけます。プランごとに、1か月にAI解析できるページ数の上限があります。上限に達した月は、テキスト読み込みで校正できます。

小説や随筆の原稿、論文、契約書など、校正する機会の多い文書で安心してお使いいただけます。これまでPDF校正で読み取りがうまくいかなかった文書があれば、ぜひAI解析でお試しください。