kuromoji - japanese morphological analyzer
About Kuromoji Kuromoji is an open source Japanese morphological analyzer written in Java. Kuromoji has been donated to the Apache Software Foundation and provides the Japanese language support in Apache Lucene and Apache Solr 3.6 and 4.0 releases, but it can also be used separately. Downloading Download Apache Lucene or Apache Solr if you want to use Kuromoji with Lucene or Solr. See below for so
顔文字をMeCabで形態素解析する - Haroperi.log
顔文字を形態素解析？ テキストコミュニケーションにおける「身振り手振り言語」とも言われる顔文字は、目・鼻・口などの顔のパーツから構成されています。ところで顔文字をパーツごとに分割し、パーツの種類（品詞）を推定するというタスクは、形態素解析と同じ問題に帰着します。そこで今回私は、形態素解析器として使われているMeCabを用いて、顔文字を形態素解析してみました。 デモ まずはデモを試してみてください。 http://www.haroperi.info/cgi-bin/emoticon.cgi 実行結果 未知語処理が苦手なようで、なかなか正確な形態素解析は行えませんが、教師データを解析してみると、以下のように綺麗に分割・品詞付与されます。 詳細 詳細はhttp://www.haroperi.info/emoticon/mecab.htmlに書きました。これ以上はどこにも書いていません。 今後、M
Bayesian Setsによる関連文書検索システムStupa - mixi engineer blog
都会よりも田舎が好きなfujisawaです。Bayesian Setsというアルゴリズムを使って、関連する文書を高速・高精度に検索できるシステムを作成しましたので、そのご紹介をさせていただきます。 Bayesian Setsとは Bayesian Setsはいくつかアイテムを入力すると、それを補完するようなアイテムを返してくれるアルゴリズムです。原著論文の先頭に"Inspired by Google Sets"と書かれているように、Google Setsを参考にして作成されています。実際にどのような出力が得られるか、Google Setsに以下の表のクエリを検索して試してみますと、 クエリ 出力 apple, banana chocolate, strawberry, vanilla, cherry, ... apple, macintosh software, windows, mac,
『英辞郎 on the WEB』整列・頻度集計機能 ヘルプ
語学学習のスペースアルク（Space ALC）がお届けする、進化を続けるオンライン英和・和英辞書『英辞郎（えいじろう） on the Web』。「英次郎」、「英二郎」と綴られることもあります。本サービスは、β 版として運用中です。諸事情により予告なくサービスを停止する場合もございますので、あらかじめご了承ください。 『英辞郎 on the WEB』整列・頻度集計について 『英辞郎 on the WEB』の「整列」、「頻度集計」機能を利用すると、検索キーワードがどのような単語と共起する（いっしょに使われる）ことが多いのかを、『英辞郎 on the WEB』のデータから簡単に調べることができます。 ここで提供する機能は、大量の文書を分析対象とするコーパス言語学では一般的な分析手法ですが、「この動詞はこの名詞を目的語に取ることが多い」といったことや「この動詞がこの前置詞をともなうときはイディオ
Railsの次は何を勉強するか
Railsはこれからもバリバリと使っていくけど、自分の中では一段落したし、そろそろ新しい物を勉強していかないとなーと考え中。 Adobe AIRもちょこちょこと追い始めているけど、新しい技術って訳ではなく、いままでの延長線という感じでちょっとちがう。 そんな感じで次に追おうと思っているのは、テキストマイニング。先日のブログでもちょっと書いたけど、特に意味解析とか、要約、文書分類なんかを、マジメに勉強したいなと思ってます。 なぜ、テキスト処理を今勉強しようと思うのか、というと、それはもちろん今後この技術が非常に重要になると考えているからです。 私の中のパソコンとかデジタル機器の進む方向は、「身体能力の拡張」だと思っていて、車が足に関する身体能力を大きく拡張するように、ネットは人間の目や耳や口といった情報入出力に関する身体能力を飛躍させていると感じています。 車を運転するときにハンドルやアクセ
Yahoo!の日本語形態素解析Webサービスを使ってTwitterで流行っているキーワードをクラウド化 - Do You PHP はてブロ
Yahoo!JAPANがまたサービスを出してきました。このサービス、利用制限はありますが、結構使えそうです。 ヤフーは6月18日、開発者向けサイト「Yahoo!デベロッパーネットワーク」において、日本語の文章を解析できるAPI「日本語形態素解析Webサービス」を公開した。 先日MeCab extensionを使ってTwitterで流行っているキーワードをクラウド化してみましたが、MeCab extensionをYahoo!のサービスに置き換えたものを書いてみました。 使ったライブラリは PEAR::HTTP_Request PEAR::HTML_TagCloud Services_Twitter の3つです。まあ、そのうちYahoo用のライブラリも出てくるでしょうから、それを使えばもっと簡単に書けそうです。やっぱ、SimpleXML楽すぎ！ :-D <style> div.taglist
テキスト解析:日本語形態素解析API - Yahoo!デベロッパーネットワーク
指定されたURLは存在しません。 URLが正しく入力されていないか、このページが削除された可能性があります。
Firefox を人工無脳にして Twitter にポストする Greasemonkey 「munotter」
Firefox を人工無脳にして Twitter にポストする Greasemonkey 「munotter」 前の記事の Greasemonkey を公開してみようと思います。とはいえ、まだおかしなところも多いので自己責任でお願いします。 それと Twitter に投稿するというより、Firefox を人工無脳化させる方が面白い気がしてきたので、そっちがメインな感じになっています。 munotter035.user.js 追記（2007-05-25）：正常に動作していないようなので一旦公開を停止します。 週明けまでネットが使えないのでその後という事になりそうです。申し訳ありません。 追記（2007-05-28）：再公開 少し修正したので再公開します。それと、学習したデータの保存数を少なめにしたり、ページの邪魔にならないようにしてみました。 使い方 まず、インストールしてウェブページを開く
tagthe.net - Webservice that tags your resources
Welcome to tagthe.net! This is a simple webservice that helps you in tagging textual content on and off the web. There are two ways of using it: by simply pasting a URL or a text in the fields below or uploading a file by using the REST API tagthe.net then returns a set of tags based on the textual content you specified. The service is mainly designed for developers, building applications that mak
del.icio.usのポスト時にページを解析してタグを追加する - higeorange's blog
Dance Party 上の画像のように，tagthenet.net でページを解析して重要そうな単語をサジェストとして追加してくれるGreasemonkeyスクリプト。 使えるかどうかは，tagthe.netの精度がどの程度かによるね。 参考 tagthe.netのAPIについて 追記 Operaで動くUserJavascriptを作った。全く同じじゃないけど。OperaのGMなんちゃらっての動かすためのuserjsを入れると元のスクリプトでも動くのかなぁ。 http://www14.plala.or.jp/operairc/customize/userjavascript/deliciousTagtheNet.js
YappoLogs: Lingua::JA::Summarize::Extract - 日本語文章のサマリ抽出
Lingua::JA::Summarize::Extract - 日本語文章のサマリ抽出 なんとなくPlaggerドリブンで日本語の文章の中から特徴的な文節を抽出するモジュールを書きました。 具体的にはGetSenというWebサービスをCPANモジュールで使いたかったという感じです。 CPANに上げてあります。 Lingua::JA::Summarize::Extract 簡単な使い方は use strict; use warnings; use utf8; use Lingua::JA::Summarize::Extract; my $extracter = Lingua::JA::Summarize::Extract-&gr;new; my $text = "日本語の文章を沢山書きます"; my $result = $extracter-&gr;extract($text); my $
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Sets
http://mono.kmc.gr.jp/~oxy/bsets/
http://www.ryo.com/ryo/2005/06/10/52/
http://www.ryo.com/ryo/2005/06/03/45/
http://www.ryo.com/ryo/2005/06/01/40/
GetSenフォームインターフェース