https://sites.google.com/site/edcw2012/

ちょっと、「ワークショップ」と呼ぶのは？だが、それはさておき、こうしてコンテストにして、自由参加にして、競い合って、優秀な人に「賞」をだすというのは、良いことだと思う。

評価尺度として「人手でアノテーションされたタグの誤り検出のF値（適合率と再現率の調和平均）」を使っているところがメモですね。

こうした試みを実施する際のポイントは三つ
１）データが公開されていてだれでも自由に確認できること
２）「誤り」は「正誤の二値」で特定できる文法的誤りに限定すること
３）処理するプログラムをオープンソースにすること
　
以上。