*disclaimer
632843
logDice
まず、Dice係数を出す
- 「strong tea」の共起頻度
- 「strong」の頻度
- 「tea」の頻度
Dice係数＝（共起頻度×２）÷（片方の頻度＋もう片方の頻度）
Dice係数の底を２とする対数をとり、１４を足したものが、logDice
logDice ＝ １４＋log2(Dice)
解釈
- 最大値１４（すべての場合に共起する）
- スコア０：いずれかの語の16,000語あたりの共起回数が１以下
- スコアがマイナスの場合：統計的に共起関係はないといえる。
- スコアを比較して、
- 片方が１大きい場合、共起頻度は２倍
- 片方が７大きい場合、共起頻度は１００倍
- スコアはコーパスサイズに依存しない。（相対頻度なので）
Rのスクリプト
LD.R(263)
- 使い方
- このスクリプトをRで読み込んで、
- 後は必要な頻度数を入れる。
- 共起表現xy頻度、単語xの頻度、単語yの頻度
LD(xy, x, y)
> LD(8, 389, 230) [1] 8.726204 > LD(300, 300, 300) [1] 14 # 300回全部共起していると１４ > LD(3, 3000, 3000) [1] 4.034216 > LD(6, 3000, 3000) [1] 5.034216 # 共起頻度が３回から６回に倍増するとスコアは１上がる > LD(300, 3000, 3000) [1] 10.67807 # 共起頻度が１００倍になると、スコアは７上がって１０
Reference
Pavel Rychlý (2008) A Lexicographer-Friendly Association Score, In Proceedings of Recent Advances in Slavonic Natural Language Processing, RASLAN 2008, pp. 6–9, 2008.
https://sugiura-ken.org/wiki/