Так выглядит то, чем я сейчас занимаюсь

Сам метод описан вот тут: http://arxiv.org/ftp/cs/papers/0212/0212033.pdf. Я его модифицировал под свои нужды, но не сильно.

Насчет зависимости от грамматической структуры языка — не знаю. Здесь нет разницы между глаголом и существительным, поскольку рассматриваются формальные признаки. А морфологию слова Яндекс сам анализирует. Теоретически, основная проблема заключается в том, являются ли слова, находящиеся, скажем, в пределах одного предложения, имеющими близкий смысл. Важную роль играют отрицания, но их можно отслеживать, по крайней мере на уровне отсеивания «не/нет + слово».

Ну и еще проблема — как отличить «кубанские вина» от «меня гложет вина». Правда такого рода проблем не так много.

Я брал частоту встречаемости слова в результатах поиска. Т.е. рассматриваем русскоязычный сектор интернета как один большой текст и смотрим, сколько раз в нем повторяется наше слово (или сочетание слов).

А пишу я вроде как на кафедре общей, под бдительным оком Волохонского, правда понятия не имею, что потом делать с результатами. Первоначально это вообще должна была быть статья для нового сборника про блоги, но сборника, видимо, не будет.