jpreprocess

目標

• （形態素解析部分）
  • Raspberry piなどメモリの限られた環境で使うことを考慮し，独自の辞書形式（jpreprocess辞書）によりメモリ上の辞書ファイルのサイズを削減する．
  • 一方，他の形態素解析エンジンとの互換性を維持するため，文字列（CSV）での入力も可能にする．
• （前処理部分）
  • OpenJTalkのコードをそのまま読み替えるのではなく，できるだけ読みやすく，書きやすい構造にする．
  • バグと思われる一部の挙動を除き，OpenJTalkと全く同じ出力（フルコンテキストラベル）を得ることができる．
    • たとえば「特殊助動詞」や紛らわしい2,2,3桁区切りの数字の読み方は，OpenJTalkと異なります．
    • ただし，OpenJTalkになかった機能を追加する場合もあります．その場合でも，OpenJTalkと同じ結果を得る手段が残るようにします．

Crates

ドキュメンテーションについては，docs.rsを参照してください．

jpreprocess

主要なインターフェースです．入力された日本語文の正規化を含みますが，それ以外の部分はLindera，jpreprocess-njd，jpreprocess-jpcommonなどのラッパーになっています．形態素解析の結果は，jpreprocess-coreで規定されるデータ構造で保持します．

例：

use jpreprocess::*;

let system = SystemDictionaryConfig::File(path).load()?;
let jpreprocess = JPreprocess::with_dictionaries(system, None);

let jpcommon_label = jpreprocess
    .extract_fullcontext("日本語文を解析し、音声合成エンジンに渡せる形式に変換します．")?;
assert_eq!(
  jpcommon_label[2].to_string(),
  concat!(
      "sil^n-i+h=o",
      "/A:-3+1+7",
      "/B:xx-xx_xx",
      "/C:02_xx+xx",
      "/D:02+xx_xx",
      "/E:xx_xx!xx_xx-xx",
      "/F:7_4#0_xx@1_3|1_12",
      "/G:4_4%0_xx_1",
      "/H:xx_xx",
      "/I:3-12@1+2&1-8|1+41",
      "/J:5_29",
      "/K:2+8-41"
  )
);

jpreprocess-core

発音，単語，品詞，JPCommon等のデータ構造と，それに関連する関数群，エラーを表現する構造を含みます．なお，posはPart Of Speechの頭字語で，「品詞」を表します．

jpreprocess-dictionary

「jpreprocess辞書」の生成と読み込みを行います．また，実行時には読み込んだ辞書がLinderaの辞書か，jpreprocess辞書かどうかを自動で判定します．

jpreprocess辞書は，辞書に文字列として記述された品詞等の単語情報を前処理し，jprpeprocess-coreのデータ形式に高速に展開できるバイナリ形式にしたものです．その他の部分（double array等）はLinderaの辞書とほとんどの部分で同じですが，Open JTalkとの互換性のため，同一の重みをもつ単語の優先順位がLinderaと逆順になっています．

加えて，Lindera辞書/jpreprocess辞書のビルドを行うためのdict_toolsツールもここで実装されています．

jpreprocess-naist-jdic

実行時のバイナリに，naist-jdic辞書から生成したjpreprocess辞書を組み込みます．jpreprocessクレートでnaist-jdic featureを有効にすると利用できます．

なお，naist-jdic featureを有効化すると，マシンにもよりますがビルドに数分かかることがあります．

jpreprocess-njd

OpenJTalkでいうNJDNode，NJDの構造を定義し，NJDに対する変換処理を行います．

具体的には，数字の読み方を変換したり(たとえば「10,120」を「いちまんひゃくにじゅう」)，アクセント位置を推定したりします．

jpreprocess-jpcommon

OpenJTalkでいうJPCommonLabelの構造を定義し，NJDからJPCommon，さらにJPCommonからフルコンテキストラベルへの変換を行います．

jpreprocess-window

jpreprocess-njdの変換処理で使われる，mutableなwindowを実装します．

Copyrights

This software includes source code from:

• OpenJTalk. Copyright (c) 2008-2016 Nagoya Institute of Technology Department of Computer Science
• Lindera. Copyright (c) 2019 by the project authors

License

BSD-3-Clause