1日に6時間以上も電子メールの処理に時間をとられる米国人労働者もいる ― 私たちはこんな研究を目にしてきている。それは時間の有効な使い方ではなく、生産性を損ない、最終的にはビジネスコストに跳ね返る。SalesforceのMetaMind研究者のチームが書いた新しい論文によれば、最終的にはプロフェッショナルコミュニケーションのサマリーを提供することができる。もし研究がいくつかの不都合を解決することができれば、より効果的なテキストサマリーツールが、Salesforceユーザーたちに素晴らしい価値をもたらしてくれるものだ。
特に非常に長いテキストブロックを処理する場合に、機械学習を使用してテキストサマリーを作成することは容易ではない。サマリーを生成するために、単純にソーステキストを頼りにする手法はあまり柔軟ではなく、全く新しい文章を生成する手法はしばしば支離滅裂な文を生み出す。
Salesforceは後者の手法の精度を高めようとしている。すなわち新しい文章でサマリーを生成しようとしているのだ。標準的な方法へに対してチームが行った変更には、強化学習の追加と、反復的な文書の削除、そして精度の最大化のために使える文脈量の増加などが含まれる。
強化学習を用いて、最適な振舞が確立される。この場合は、既存のテストによる正確性が最大化するように測定が行われる。そしてモデルが連続したサマリーを返す度に、その正確性に対するスコアをモデルにフィードバックする。モデルはそのスコアを参考にして、次回はより高いスコアを得ることができるように適応の努力を行なう。
この手法について想像するための簡単な手段としては、無制限に再試を受けられる模擬試験を大学で受けている状況を想像してみると良い。模擬試験を受ける度に、あなたは実際の試験での成績を最大化することを狙って、勉強の戦略を変更する。人間ならば、それを上手くやるためにはそれほどの繰り返しを必要としないだろうが、機械はかなり多くの試行錯誤を行なう必要がある。
強化学習は、文章生成を必要とするタスクでは徐々に一般的になりつつある。強化後に変更されたモデルは、ソース文書のコンテキスト情報も使用して、関連する新しい文章の生成を支援し、重複するフレーズを減らす。
SalesforceはそのアプローチをROUGE(Recall-Oriented Understudy for Gisting Evaluation)テストで評価している。ROUGEは、生成されたサマリーの精度の高速分析を可能にする一連のテスト手法である。
テストでは、生成されたサマリーの断片を、受け入れ済みのサマリーの断片と比較する。テストのバリエーションは、異なる長さの断片を一致させようとするだけだ。以前の試みよりも、Salesforceの手法は、2〜3ポイント高いスコアを達成している。これはあまり大きな違いではないように思えるかもしれないが、機械学習の世界ではとても大きなことだ。
すべての研究と同様に、まだ実用上成熟しているものとは言えない。しかし、この研究は幾つかのことを示している。ピンと来ていないひとのために言うと、SalesforceはCRMへのマシンインテリジェンスの適用に真剣に取り組んでいる。その中での最初の大切な目標の1つがセールスを支えるテキストサマリー技術なのだ。
[ 原文へ ]
(翻訳:Sako)