第１３期より実施しております「日本語処理解析性能評価」につきまして、第１５期第１回（通算第４回）評価を２０１８年６月２９日（金）に実施致しましたので、この評価結果等を公開致します。この度の評価製品は「Nuix」となります。
【評価の実施について】
今回は第１５期（２０１８年）４月末より受検製品（企業）の募集を開始し、６月に１社（ＡＯＳリーガルテック（株））の「Nuix」の評価を立会人の下に実施致しました。
【これまでの経緯】
デジタル・フォレンジック研究会では、第１１期（２０１４年）に下記を目的として「日本語処理解析性能評価」分科会を立ち上げ、ＩＤＦ会員及び官民のアドバイザーによるワーキングでの検討を逐次進めて参りました。第１２期（２０１５年）には「評価基準」「評価データ」「評価手順」を作成し、第１３期（２０１６年）に有識者からなる「評価委員会」にてこれらの確認を行い、評価の実施について承認を得ました。
これらに基づき第１回評価を、２０１６年８月より受検企業の募集を行い、２０１７年１月に２社、第２回評価は２０１７年１２月に１社の製品性能評価を実施、第３回評価は２０１８年３月に実施致しました。
☆これまで日本では、客観的な日本語処理解析性能評価に関する指標や基準が無かったことから、ＩＤＦが評価基準を設け、評価用データや評価手順を作成し、評価を実施していることの意義は大きいとの評価を頂いております。
【目的】
デジタル・フォレンジックやｅディスカバリ用途で、多様な検索機能や解析機能を持つ多くのツールが開発され、利用されている。
しかしながら、海外で開発されたものも多く、日本国内で使用する場合に、どこまで日本語に対応しているかが不明でユーザーが使用してみるまで分からないのが現状である。
実際、フォレンジック調査やｅディスカバリ作業現場において以下の様な問題が発生している。
・検索にヒットすべきものがヒットせず、重要な収集されるべきものが漏れる。
・文字化けが発生し、内容を確認できない。
・日本語処理対応とされるツールでも何がどこまでできるのかが不明確で使い込むまで分からないことが多く、精度をどこまで信用して良いか分からない。
・日本語処理対応の定義も不明確。
・実際に性能を評価しようとしても客観的かつ有効な指標も存在しない。
このような状況を踏まえ、日本語処理解析性能の「評価基準」「評価データ」「評価手順」を作成し製品の評価を実施することに致しました。
【今後の評価実施について】
今期第１５期（２０１８年度）内に、第２回（通算第５回）の評価を実施する予定です。
また、第１６期（２０１９年度）以降も評価を実施して参ります。
第４回「日本語処理解析性能評価」受検結果報告
※本評価実施時の評価準備手順にミスがあり、本来、調査対象として準備したデータ（エビデンス）内のどこにどのような文字コードのデータが記録されているかを事前に知る事は出来ませんが、本評価では、テキスト評価用データの解析時において、ツールによる文字コードの自動識別ではなく、人による文字コード毎のエンコーディング補正を行っていたことが分かりました。このため、これまで評価を実施しました他製品と評価条件を合わせる必要から解析フローの見直しによる再評価を実施致します。実施後速やかに結果を公開致します。評価結果を参照される方々には、ＩＤＦ側のこの準備手順確認漏れについてお詫び致します。
【第４回受検実施企業】
２０１８年６月２９日（金） ＡＯＳリーガルテック株式会社
お問い合わせ
本報告に関するご意見、ご要望、その他のお問い合わせ等は、【ご氏名】【ご所属先】【ご連絡先】をご明記の上、以下の問い合わせ先へお寄せ下さい。
ＩＤＦ事務局 E-MAIL：info@idf-test-suite.digitalforensic.jp
また、各受検企業結果内容の詳細及びお問い合せにつきましては、各「日本語処理解析性能評価」実施結果報告に記載しております、受検企業各社問い合わせ先へ直接お問い合わせ下さいますようお願い致します。