名称照合の手法、およびその長所と短所
構造化されたデータベースでは、名前は通常、メールアドレス、電話番号、ID番号などの他のフィールドのメタデータのように扱われます。しかし、レコードを検索する際に、名称しかわからない場合はどうなるでしょうか？人間には数字よりも名前を好む傾向があり、法律によってID番号の作成や共有が禁止されている場合もあるため、このような状況はごく普通に起こります。
名前が唯一の共通データポイントである場合、類似した名称を正しく照合する重要性は高まります。とはいえ、名前は多様性や複雑性に富んでいるため、名称照合には独特の困難さが伴います。愛称、翻訳ミス、同じ名前の複数の綴り方などがすべて、照合ミスの原因になり得るのです。市場には数多くの検索ツールが存在しますが、名称検索は文書検索とは別世界のテクノロジーであり、根本的に異なるアプローチが必要です。
名称照合のさまざまな問題を解決するには、問題に応じて最適の手法を選ぶ必要があります。名称を照合する方法はいろいろありますが、万能の解決策というものは存在しないからです。優れた名称照合ソフトウェアでは、名前の変化形を可能な限り多く網羅するために、以下のようないくつもの手法が組み合わされています：
- 共通キー法
- リスト法
- 編集距離法
- 統計的類似度法
- 単語埋め込み法
各手法は、正確かつ一貫性のある照合を目指す際に生じる数多くの課題の、1つまたはいくつかを効果的に解決することを目的に開発されました：
共通キー法
長所：処理が速く、再現率が高い
短所：主にラテン文字系の言語に限定される。ラテン文字以外の名称を音訳すると、適合率が低下する
この手法では、名前を英語の発音に基づいてキーやコードに置き換え、発音が似ている名前が同じキーになるようにします。よく知られている共通キー法の一つに、1918年に特許を取得した[Soundex](https://en.wikipedia.org/wiki/Soundex)があります。たとえば、Cyndi、Canada、Candy、Canty、Chant、Condieは、いずれもコードC530が共通しています。
MetaphoneやDouble Metaphoneなど、Soundexと同様のアプローチを採用している手法は数多くあります。これらの手法では、発音アルゴリズムを用いて、発音が似ている名前を同じキーに変換し、類似した名前を特定します。Metaphoneは英語の発音規則の幅を広げることでSoundexを拡張しており、キーの長さの変化が許容されますが、Soundexは固定長のキーを使用しています。
Double Metaphoneは名前ごとに一次コードと二次コードを返すことでマッチングの精度を高めており、より多くの曖昧さに対応できます。さらに、文字の英語発音に縛られることなく、スラブ語、ゲルマン語、ケルト語、ギリシャ語、フランス語、イタリア語、スペイン語、中国語など他の語源に基づく発音も網羅するように設計されています。
たとえば、Double Metaphoneでは、「Smith」を一次コードSM0、二次コードXMTとして符号化しますが、「Schmidt」には一次コードXMT、二次コードSMTが割り当てられます。一次コードと二次コードでXMTが共通しているため、両者の間に一定の類似性があることが示唆されますが、Soundexではその類似性が過大評価されがちであり、Metaphoneでは見過ごされがちです。
共通キー法は実行速度が速く、再現率も高いですが、適合率が犠牲になります。適合率の問題に関して、いくつかの名前を手作業で調べてみましょう。Soundexでは、以下の名前でキーH245が共通しています：Haugland、Hagelin、Haslam、Heislen、Heslin、Hicklin、Highland、Hoagland。
MetaphoneはSoundexよりも優れた性能を発揮し、非常に似ている「Haugland/Hoagland」や「Heislen/Heslin」といったペアを除き、上記の名前がそれぞれ異なるコードで符号化されます。
異なる文字体系の名前ペア（たとえば、韓国語のハングルと英語など）間で名前の類似性を評価する場合、その名前をまずラテン文字に変換する必要がありますが、これが比較時にさらなるエラーの原因になる可能性があります。
特に日本語のように1つの文字に複数の正しい発音がある言語で、最初にラテン文字に変換してしまうと、致命的な間違いを招くおそれがあります。日本の一般的な女性の名前「洋子」には、Yoko、Hirokoのどちらの読み方もあります。
名前の音訳（ある文字体系の文字や音を別の文字体系に写し替えること）では、完全に対応する音がない場合は近似した音にせざるを得ないため、多くの変化形が生じます。音訳によって生じる表記のばらつきによって、もともと困難な名前の照合作業はさらに複雑になります。
「الرشيد عبد」を「Abdal-Rachid」と照合しようとする場合に、「الرشيد عبد」が「Ar-Rashid」と音訳されてしまうと、これらの名前は一致しますか？（本来は一致すべきなのですが）
共通キー法の一つであるベイダー・モース音声照合アルゴリズムは、キリル文字表記のロシア語やヘブライ文字表記のヘブライ語は処理できますが、それ以外はラテン文字に限定されています。
リスト法
長所：メンテナンスが簡単
短所：計算負荷が高い（つまり、長い名前リストを高速で処理するには高性能なハードウェアが必要です）。システムが認識していない名前は処理できない。構成要素間のスペースが欠落または追加されている名前は処理できない。異なるフィールドに分割された名前は処理できない。構成要素が5以上ある長い名前については、処理時間が許容できないほど長くなるおそれがある。
この手法では、名前の構成要素ごとにその綴りとして考えられるすべての変化形を列挙し、そのリストの中から一致する名前を探します。たとえば、あるシステムでは、このアラビア語の名前「الرشید عبد」について、3,024通りの音訳が生成されました。この名前の構成要素ごとにいくつかの変化形があるためです。以下に、最初の5つと最後の5つの変化形を挙げます。
1. Abdal-rashid
2. Abdal-rashide
3. Abdal-rasheed
4. Abdal-rashiyd
5. Abdal-rachid
…
3020. ‘Abd-errshiyd
3021. ‘Abd-errchid
3022. ‘Abd-errchide
3023. ‘Abd-errcheed
3024. ‘abd-errchiyd
考えられるすべての変化形を生成しようとする手法には、いくつかの明らかな欠点があります。リストにない名前の変化形は検出されません。しかし、おそらくもっと大きな問題は、処理速度とデータサイズです。複数の部分から成る名前、特に英語以外の名前は、変化形のリストが指数関数的に増加するため、これらのリストをすべて検索するにはかなりの時間がかかります。名前の構成要素が3つしかなくても、構成要素ごとに20通りの変化形があるとすると、全部で20³（＝8,000）通りとなり、1つの名前だけで非常に大きな検索空間となります。これに、監視リストに掲載されている名前の数を掛けてみてください！リスト法にはさらに課題があります。8,000件の変化形の1つがデータベース内の複数の名前と一致した場合、一致スコアはどう評価すればよいでしょうか？また、愛称やイニシャル、肩書きなど、その他の種類の変化形も処理するとなると、検索空間は膨大なものとなり、それも困難です。
リスト法の利点は、メンテナンスが簡単であることです。ユーザーから一致が見落とされたという苦情があった場合でも、その情報を名前データベースに追加するだけです。しかし、メンテナンスのしやすさは、速度の低下という弱点の引き換えにはならないと思われます。ウォッチリストのスクリーニング、マネーロンダリング対策（AML）、顧客確認（KYC）など、何百万件規模の名前を高スループットで処理する必要がある場合に、このアプローチはお勧めできません。処理速度が遅すぎたり、高価なハードウェアが大量に必要になったりする可能性があるからです。
編集距離法
長所：導入が簡単
短所：ラテン文字系の言語に限定される。すべての置換が均等に重み付けされるため、言語のニュアンスが失われる
このアプローチでは、ある名前を別の名前に変えるために、何文字の変更が必要かを調べます。「Cindy」と「Cyndi」は「i」と「y」が単に位置を入れ替わっただけであるため、編集距離は1ですが、「Catherine」と 「Katharine」は「C」が「K」に変わり、最初の「e」が「a」になっているため、編集距離は2となります。
2つの名前間で文字ごとの距離を調べる手法には、レベンシュテイン距離、ジャロ・ウィンクラー距離、ジャカード類似係数などがあります。これらのアプローチでは、次の2つの要素の組み合わせを調べます。(1) 類似する文字の数、(2) 一方の名前をもう一方の名前に変換するために必要な編集操作の数です。ここでいう操作とは、挿入、削除、入れ替えを指します。
こうした比較は手っ取り早いですが、言語的なニュアンスは無視されます。すべての編集には、同じ重み付けが適用されます。したがって、「c」を「p」に変える編集と「c」を「k」に変える編集は同じ重みになりますが、英語では後者の方が、たとえば「Catherine」と「Katherine」のように、名前の類似性を明白に示している可能性があります。さらに、たとえば、アラビア文字の「sheen」شは、英語ではしばしば「sh」に対応しますが、そのような1対多の編集は認められません。
また、共通キー法と同様、非ラテン文字の名前は、比較を実行する前にまずラテン文字に音訳する必要があります。
統計的類似度法
長所： 言語や文字体系の境界を越えて一致を検出できる。適合率が高くなる
短所：処理速度が遅い。トレーニングデータの準備や特徴量の調整などが必要となるため、導入のハードルが高い
統計的なアプローチでは、何百、場合によっては何千もの一致する名前のペアを用意し、2つの「類似した名前」が実際にどのように見えるかをモデルに学習させます。これにより、所与の2つの名前がどの程度似ているかを示す類似度スコアを割り当てることができます。
何千もの一致する名前のペアでトレーニングされた統計モデルは、高い適合率を誇り、異なる言語間でも元の文字のまま直接照合することができます。名前をラテン文字に音訳する必要はありません。この手法は、一致する名前の収集に多大な労力や時間を要するため、導入のハードルが高くなりますが、その精度は、払われる努力に十分に値すると言えるでしょう。欠点は、実行速度が遅いことです。何百万もの名前を走査する統計的手法のみを用いて、一致する名前を探すようなシステムは、処理件数の多い環境では処理速度が遅すぎて実用的ではないとされる可能性があります。
組織名向けの単語埋め込み法
長所： スペル中心の手法では見逃されてしまうような、意味的な一致を検出できる
短所：組織名の照合にのみ適用できる
組織名は、人名とは異なります。変化形として、対象となる名前とは見た目も発音も全く異なる同義語が含まれる場合があるからです。1つの企業を指す2つの名前が、意味的には類似しているものの、発音は異なるという場合です。たとえば、人間は、corporation、company、groupという単語が、組織名によく見られる類似した言葉であることをすぐに推測できますが、編集距離法のような標準的な名称照合手法でこのような関連性を導き出せる可能性はまず考えられません。このような場合、単語埋め込み法で一致を検出できます。
単語埋め込みとは、単語の意味を数値ベクトルで表現したものです。2つの単語や文書が類似した埋め込みを持つ場合、それらは意味的に類似しています。たとえば、「woman」と「girl」の埋め込みは、ベクトル空間上で互いに近接しており、これは両者が意味的に類似していることを示します。対照的に、「whale」と「philosophy」の埋め込みは、意味的に関連していないため、ベクトル空間上で遠く離れています。このような単語埋め込み法を組織に適用すると、PennyLuck PharmaceuticalsとPennyLuck Drugsは、おそらく同じ会社であることがわかります。
意味的類似性は、異なる言語間で組織名を照合する場合にも有効です。「United Nations」は日本語で「国際連合」と表記されますが、「国際」という漢字は翻訳すると「international」であり、「nations」ではありません。「nations」と「international」はどちらも類似したベクトル空間に属しているため、テキスト埋め込みにより、「国際」が「nations」と合致すると、正しく判定されます。
2パスハイブリッド手法で各手法の長所を活かす
ハイブリッドなアプローチでは、あるアプローチの弱点を別のアプローチの強みで補います。たとえば、まず再現率を高めるために共通キー法を用い、次にその結果を統計的手法にかけて適合率を高める、というハイブリッド手法が考えられます。
最初のパスでは、処理速度が速く再現率の高い共通キー法で、照合対象となる候補群から一致の可能性が高いものだけを取り出します。リストに異なる言語の名前が含まれている場合、Metaphoneを適用する前に、まずそれらの名前を（通常は英語に）音訳しておくことが、この手順において特に重要です。取り出されたリストに対する2回目のパスでは、適合率の高い統計的手法を用いて、スコアが最も高い一致候補を最上位に位置付け、さまざまな一致候補をきめ細かく区別します。
共通キー法のみの場合と比較すると、このハイブリッド手法で精度が大幅に向上します。ハイブリッド手法の第2パスでは、類似度を評価する際に、（良し悪しはさておき）派生キーの粗い比較に縛られるのではなく、元の文字で表記された元の名前を改めて検討します。
このハイブリッド手法では、名前の変化形が大量に生成されるというリスト法の弱点も回避しています。その代わりに（統計モデルを通じて）各言語における名前の言語的変化形が活用されます。このような名前の変化形に関する言語学的知見により、ハイブリッド手法は、異なる文字体系の名前を直接比較できない編集距離法に比べて優位性を発揮します。
こうして、高速かつ高精度な名称照合アルゴリズムが完成しました。
よくある質問
ファジー論理名称照合とは何ですか？
ファジー論理名称照合とは、綴りや書式、文字が完全に一致していなくても、2つの名前が類似しているかどうかを判別する手法です。完全な一致を探すのではなく、パターンや可能性に基づいて類似度スコアを算出します。この方法により、不揃いなデータや一貫性のないデータで行う名称照合の効果性が大幅に高まります。そのため、本人確認、コンプライアンス、データ品質管理のワークフローで広く利用されています。
厳密な名称照合が、現実世界のデータでは効果的でないのはなぜですか？
現実世界のデータには、タイプミスや書式の違い、アクセント記号の欠落、文化的な名前の違いなどが数多く含まれているため、完全に一致する名前を検出するやり方ではうまく行きません。厳格な一致ルールでは、文字の入れ替えや短い愛称の短縮といった些細な変更も許容されません。また、異なる言語からの音訳が原因で、完全一致では解消できない相違が生じます。その結果、真の一致が見逃され、不必要な誤検出が生み出されます。
ファジー照合は、AIシステム内でどのように機能しますか？
AIを活用したファジー照合では、類似度指標、言語的なルール、機械学習によるパターンを用いて、名前を分析します。この分析では、文字だけでなく、いくつもの特徴量を比較して、2つの名前がどれほど類似しているかを判定します。高度なシステムでは、音声学的な側面、よくある変化形、追加の識別子のような文脈上の手がかりを評価します。これにより、データが複雑で多言語にまたがっていたり、不完全だったりしても、分析の精度を大幅に高めることができます。
ファジー論理名称照合のよくある活用事例には何がありますか？
ファジー論理名称照合は、KYCやAMLのスクリーニング、顧客の受け入れ審査、不正検出、本人確認に利用されています。これは、一貫性がなかったり多言語にまたがったりするデータセットを横断して分析し、個人を特定する作業に必須の手法です。記録の照合作業を改善する面で、医療、行政、金融サービスでも活用されています。名前の比較に信頼性が求められるあらゆる状況で、ファジー論理のほうが従来の手法より精度が高くなります。
ファジー照合で、本人確認の誤りをどのように減らせますか？
ファジー照合は、完全一致では見落とされるスペルミス、名前の別表記、言語間で生じる一貫性のなさを識別できるので、本人確認の誤りが減ります。偽陰性（真の一致を見逃すこと）が劇的に減少するため、セキュリティとコンプライアンスが向上します。一方、名前は似ているが実際には別の人物である場合も識別できるので、誤検出が減ります。その結果、アイデンティティ関連のどのワークフローでも、より明確なデータを得て、自信を持って意思決定を行えるようになります。
ファジー論理名称照合では、どのようなアルゴリズムが使用されていますか？
一般にファジー論理名称照合では、レベンシュタイン距離、ジャロ・ウィンクラー、Soundexなどのアルゴリズムや、その他の音声学的モデルや類似度に基づくモデルが用いられます。これらのアルゴリズムでは、2つの名前の完全な一致は必要とされず、その類似度が評価されます。最新のAIシステムでは、通常、精度を高めるために複数の手法が組み合わせて用いられます。このハイブリッドなアプローチは、多様性のあるデータセットやノイズの多いデータセット、複数言語にわたるデータセットに有効です。
ファジー照合では、スペルの変化形をどのように処理しますか？
ファジー照合では、名前を文字単位および音単位で比較し、どの程度類似しているかを判定します。余分な文字や文字の入れ替え、アクセント記号の欠落、些細なタイプミスがあっても許容され、類似性が即座に却下されることはありません。類似度スコアを割り当てることで、データが不完全であっても一致の可能性が高いペアを特定できます。これは、一貫性に欠けるのが普通の現実世界のデータを扱うのに最適です。
ファジー論理名称照合は、ウォッチリストのスクリーニングでどのように利用されていますか？
ファジー照合をウォッチリストのスクリーニングに利用すれば、名前に誤字や別名、音訳上の違いがある場合でも、リスクの高い人物を効果的に検出できます。わずかに綴りを変化させて検出をすり抜けるという手口は通用しません。潜在的な一致候補がランク付けされるので、アナリストは最も関連性の高いアラートに注意を集中できます。その結果、偽陰性と不必要な調査の両方を減らせます。
ファジー照合は、どの程度の精度ベンチマークを満たすべきですか？
ファジー照合には、高い適合率と再現率を実現し、真の一致を確実に検出すると同時に、誤検出を最小限に抑えることが期待されます。通常、ベンチマークテストでは、特に多言語環境において、従来の完全一致システムを上回る精度を目指します。強力なソリューションでは、業界固有のコンプライアンス要件に合わせて調整が可能です。最終的に、監査にも対応できる意思決定を自信を持って行うための基盤になるレベルの精度が達成されます。
ファジー照合は、多言語の環境でどのように効果的に動作しますか？
多言語ルール、音声学モデル、音訳処理に対応している場合、ファジー照合は多言語の環境で効果的に動作します。AIを活用したシステムは、各文化に固有の命名パターンを学習し、さまざまな文字体系に適応できます。その結果、ラテン文字表記の名前と非ラテン文字表記の名前を正確に比較することが可能になります。高品質なファジー照合は、複雑なグローバルデータセットにおいても高い性能を維持します。
コンプライアンスチームに最適なファジー名称照合ソリューションは何ですか？
コンプライアンスチームには、多言語対応のファジー論理、高い精度、説明可能なスコア算出、何百万件ものレコードに対応できる拡張性が統合されたソリューションが最適です。Babel Streetは、誤検出を最大90％削減し、20以上の言語と文字体系に対応する、特許取得済みの2パス名称照合システムでこうしたニーズに対応します。
Babel Streetは、誤検出をどのように最小限に抑えていますか？
Babel Streetは、音声学モデル、言語学モデル、統計学モデルを融合させたハイブリッドファジー照合エンジンで15種類以上の名前の変化形を評価することで、誤検出を最小限に抑えています。これは、高い再現率と高い適合率の両方を保証する2パス照合アプローチで、不要なアラートを排除しながら、判別が難しいケースも確実に捕捉します。コンプライアンスチームは、照合結果のスコアから、2つの名前が一致するあるいは一致しないという結論になった理由や経過を完全に把握できます。
ファジー照合は、リスク許容度に合わせて調整できますか？
はい。Babel Streetには豊富な設定オプションが用意されており、各チームは固有のリスクプロファイルに合わせて、一致とみなされる閾値、ペナルティ、重み付け、適合率と再現率のバランスを調整できます。パラメータの変更が結果にどのように影響するかがリアルタイムでユーザーインターフェースに表示されるので、ワークフローやユーザーグループごとにさまざまな設定が可能です。
Babel Streetは、大規模な名前スクリーニングをどのようにサポートしていますか？
Babel Streetは、大容量/大規模環境向けに設計されており、何億件もの名前を処理する場合でも、リアルタイムのパフォーマンスを提供します。フットプリントが軽量なので、クラウド、オンプレミス、分散システムをはじめ、現場業務で使うエッジデバイスやポータブルデバイスなど、さまざまな環境に導入できます。こうした拡張性を活かして、国レベルのスクリーニングプログラムや国境警備機関、グローバルなコンプライアンスチームでご利用いただけます。
ファジー照合はエンティティ解決に統合できますか？
Babel Streetは、類似度スコアと、住所、日付、別名などの文脈に基づく識別子を組み合わせることで、ファジー名称照合とエンティティ解決を統合しています。照合結果は、さらに広範な分析パイプラインに直接取り込まれます。チームは、データセットや言語の境界を越えたアイデンティティの関連付けを、これまで以上の確信を持ち、かつ効率よく行えるようになります。ユーザーはこの統合アプローチに基づいて、単なる名前の類似性から、あらゆる側面が考慮されたアイデンティティインテリジェンスへの移行を実現できます。