NAYOSE BENCHMARK
名寄せ精度ベンチマーク
カバレッジ（confident率）と confident 精度の2軸を、再現可能な方法論つきで公開します。
主要指標
カバレッジ（confident率）
68.15%
confident 精度
100%
review 救済率（候補5件内に正解）
100%
偽陰性率（DB内の正解を unmatched）
20.15%
同名多数の confident 化（review 正解の違反件数。ヒント有無を問わず失敗として精度にも計上）
0
都道府県ヒント有無別
| ヒント | 件数 | カバレッジ | confident 精度 |
|---|---|---|---|
| あり | 993 | 73.11% | 100% |
| なし | 1007 | 63.25% | 100% |
カバレッジ-精度カーブ
- 閾値 0.7: カバレッジ 70.8%、精度 100%
- 閾値 0.75: カバレッジ 69.3%、精度 100%
- 閾値 0.8: カバレッジ 68.55%、精度 100%
- 閾値 0.85: カバレッジ 68.15%、精度 100%
- 閾値 0.9: カバレッジ 68.1%、精度 100%
- 閾値 0.95: カバレッジ 68.05%、精度 100%
ケース種別内訳
| ケース種別 | 吸収 | カバレッジ | confident 精度 |
|---|---|---|---|
| variant | ○ | 97.5% | 100% |
| spacing | ○ | 92.62% | 100% |
| shorthand | ○ | 91.41% | 100% |
| kind_swap | ○ | 93.75% | 100% |
| kind_drop | ○ | 88.88% | 100% |
| width | ○ | 94.11% | 100% |
| long_sound | ○ | 94.28% | 100% |
| kana | × | 0% | — |
| abbrev | × | 0% | — |
| typo | × | 0.61% | 100% |
| partial | × | 0% | — |
| composite | ○ | 94.19% | 100% |
| composite | × | 0% | — |
計測条件
- データセット版
- 1
- DBスナップショット日
- 2026-07-19
- commit
- 5d251bf3
- normalizer version
- 2
方法論・データセット再構築手順は 公開リポジトリ を参照してください。
既知の限界
- 計測は合成コーパス（縮小セット2,000行・シード固定・単独/複合摂動）に対するもので、実データベース全体（500万行超）の月次計測は後続の運用で公開する。
- T2合成ゆらぎのみで、実在ペア（T1）コーパスは未導入。
- 誤字・かな変換・略語展開などの非吸収ケースは正規化では畳み込まれず、類似度照合で救済される場合に限り confident になるためカバレッジを押し下げる（実測値をそのまま掲載）。
- 照合キー空間で正解が一意に定まらない行（同名多数・生成入力衝突。都道府県ヒントで一意化される行は除く）は「reviewが正解」として扱い、これらの行がconfidentになった場合はヒント有無を問わず精度の失敗および違反件数として計上する（除外しない）。precisionEvaluated は confident精度の実分母（confident 全行数）を示す。カバレッジ・review率・偽陰性率は全評価行を分母とする。
変更履歴
- 2026-07-18: 同名ペア保全・転置誤字・複合の実効性保証（入替+脱落の相互排他）まで反映して再計測。カバレッジ68.15%は目標70%に未達だが実測値をそのまま公開（改善は継続バックログ）。
- 2026-07-18: 実効ambiguous行のconfident化を精度の失敗・違反として計上するルールへ是正（除外を廃止）。
- 2026-07-18: 率系指標（カバレッジ・review率・偽陰性率）の分母を全評価行へ是正し、confident精度のみ非ambiguous分母に限定。都道府県ヒント有無別の指標を追加。
- 2026-07-18: 摂動マトリクスを設計仕様（単独+複合適用）へ拡張し再計測。review救済率・偽陰性率を追加。
- 2026-07-18: 初回計測（合成コーパスv1・2,000行）を公開。