はてなブックマーク

日本語入力システム「azooKey」の開発者のMiwaです。 2024年に「開発近況」を書いてから1年強経過しました。この期間のazooKeyの動きをまとめます。 前回の記事⬇ macOS版azooKeyの開発状況 前回の記事では以下のように書きました。この宣言の通り、macOS版azooKeyにかなりのリソースを注ぎました。 今後1年程度は意欲的な改善に取り組みたいと考えています。特に、デスクトップ環境においてニューラル言語モデルなどを利用してより妥当な変換を実現することにかなり興味を持っています。 「ニューラルかな漢字変換」で未踏ITに採択 何よりも大きかったのは2024年度の未踏IT事業に採択されたことです。早稲田大の高橋さん（Twitter）と共に「ニューラル言語モデルによる個人最適な日本語入力システムの開発」というプロジェクトを提案し、岡PMのもとで2025年の3月まで取り組みま

こんにちは。iOSの日本語入力アプリである「azooKey」を開発しているMiwaです。 azooKeyは最近macOS版の開発が進んでいます。このazooKey on macOSに、完全にローカルで動作するニューラルかな漢字変換エンジンである「Zenzai」を開発し、搭載します。この記事ではZenzaiの技術を解説します。 Zenzaiを搭載したazooKey on macOSは現在アルファ版としてリリースしています。macOSをご利用の方はぜひ入れて試してみてください！ Zenzaiの概要 日本語入力に欠かせないかな漢字変換ですが、その歴史は長く、50年にも及びます。この間様々なアルゴリズムが提案され利用されてきましたが、近年の技術開発はやや落ち着きつつあります。オープンソースのかな漢字変換ソフトウェアで今でも広く利用されているものは数えるほどしかありません。 クローズドソースのシステ

かな漢字変換は、日本語入力の最も重要な機能です。日本語自然言語処理で最も広く実用されているプロダクトの1つでありながら、その進化は翻訳AIや対話AIの進化と比べて鈍足です。 そこで、ChatGPTとGPT-4にかな漢字変換をやらせてみてみました。 性能の評価のため、比較的長い一文を用意しました。 ようしょうきからてにすすいえいやきゅうしょうりんじけんぽうなどさまざまなすぽーつをけいけんしながらそだちしょうがっこうじだいはろさんぜるすきんこうにたいざいしておりごるふやてにすをならっていた 幼少期からテニス水泳野球少林寺拳法など様々なスポーツを経験しながら育ち小学校時代はロサンゼルス近郊に滞在しておりゴルフやテニスを習っていた 多くの日本語入力では、1、2箇所の間違いに収まる文章です。これのかな漢字変換をお願いして、どれくらいしっかりやってくれるか調べてみます。 ChatGPT まずはChat

2年半近く趣味として個人開発してきたiOS・iPadOS向けの日本語キーボードアプリ「azooKey」をオープンソース化しました。ライセンスはMIT Licenseです。 azooKeyは2年前からApp Storeで無料で公開し、開発を続けてきました。日本語対応のiOS向けキーボードアプリには、Simeji、Flickなど多くの先輩がいますが、標準キーボード志向で高機能なOSSとしては初めてのものではないかと思います。 技術的な特徴 azooKeyの技術的特徴としては、変換エンジンの独自実装、ライブ変換のサポート、独自に調整した辞書、強力なカスタマイズ機能などがあります。 IME開発の特色は幅広い技術的課題を扱えることにあります。競プロ的なアルゴリズムとデータ構造の問題もあればNLP的な話やGUIのデザインの問題もあり、めっちゃ楽しいです。 なお、azooKeyは全てSwiftで実装され

NEologdは新語や固有名詞に強い形態素解析用辞書として有名ですが、2020年の9月を最後に更新がありません。実用上の問題は大きく分けて2つあります。 新語・固有名詞が供給されない 不具合が修正されない 1つ目も重要なのですが、今回フォーカスするのは2つ目の点です。 私は個人開発でazooKeyという日本語入力アプリケーションを開発しています。かな漢字変換用辞書の生成の目的でNEologdを使っているのですが、この用途では品詞と読みの正確性がクリティカルになってきます。しかしNEologdの辞書では「ヤバい」が固有名詞になっていたり、「光GENJI」に「イチ」と読みがついていたりします。これは回り回ってかな漢字変換の性能に影響を与えるので、可能な限り修正したい不具合です。 しかし、更新がない以上、自前でどうにかするしかありません。 不具合への対処 当初この手の問題は実行時に動的に適用する

形態素解析機を使っていると色んな場面で「あれ、解析うまくいってないな……？😓」という場面に出会います。 単に辞書に無いだけの単語というのはいくらでもありますが、中にはさらに根本的な理由で解析ができない単語というのも存在しています。 MeCabなどで多く用いられているIPADICにはIPA品詞体系という体系が用いられています。この品詞体系は非常に包括的で面白いのですが、よく見ると所々欠けている品詞があったりします。そうした欠落のために、一部の言葉が品詞体系上原理的に「解析・分類できない日本語」となっているのです。 この記事では「そこそこ一般的に用いられるにもかかわらず」「品詞体系上分類することが困難である」ような日本語[1]の例を挙げ、なぜ解析できないのかを解説してみます。 品詞体系全体の解説もあります。ぜひご覧ください。 本記事ではIPADICのバージョンは2.7とします。 1.「いらっ