タイ語と標準Unicode属性 - rochefort's blog
PHPの調べ物をしていたのに気付いたらRubyの記事を見ていました。 Rubyを使ってタイ語の表示文字単位で文字列を区切る - Qiita これがなかなか面白くて、UnicodeやOnigmoについてちょろっと調べてみました。 元記事＆コメント Rubyを使ってタイ語の表示文字単位で文字列を区切る - Qiita （文字コードの範囲などは、コメント途中で正しいものが提示されていたので、それを反映した形で掲載しています） タイ語の"พี่ชาย" (日本語で兄の意味)は表示上は4文字ですが、 最初の文字"พี่"が3つのUCS("e1e", "e35", "e48")から構成されており、 単純にsplit(//)をしただけでは6文字に分解されてしまいます。 コメント 前半 text = "พี่ชาย" # ["e1e", "e35", "e48", "e0a", "e32", "e22"]
Ups and Downs of Ruby Internationalization - Ruby Kaigi 2016
A note about Ruby versions and Unicode versions: The Ruby core team is very conservative (in my view too conservative) in introducing new Unicode versions as bug fixes. Update to new Unicode versions therefore only happens for new Ruby versions. RbConfig::CONFIG["UNICODE_VERSION"] ⇒ '9.0.0' VUnicode = y - 2007 VRuby = 1.5 + VUnicode · 0.1 VUnicode = VRuby · 10 - 15 Don't extrapolate too far! Ups a
Feature #10085: Add non-ASCII case conversion to String#upcase/downcase/swapcase/capitalize - Ruby - Ruby Issue Tracking System
Case conversion functions are currently limited to ASCII characters. When used with formal languages, that may be appropriate, but it is often not appropriate for applications. In order to avoid backwards-compatibility problems and to make sure that the various variants of case conversion (e.g. language-dependent) can be selected, we propose to add an optional parameter to the case conversion func
Feature #10084: Add Unicode String Normalization to String class - Ruby - Ruby Issue Tracking System
Implementing Normalization in Pure Ruby - Presentation - IUC 37
Algorithmic Definition Decompose everything For NFD and NFC, use canonical decomposition For NFDK and NFCK, use compatibility decomposition Reorder Combining Marks For NFC and NFKC, recompose using canonical composition Works on characters one by one What's needed for Normalization Convert code units (UTF-8/UTF-16) to scalar values (U+BA98) Look up decompositions (Ṛ → R + ̣) Look up combining clas
「東京Ruby会議05」でUnicode正規化の話を聴いてきた(えっ?) - ただのにっき(2011-02-04)
■ 「東京Ruby会議05」でUnicode正規化の話を聴いてきた(えっ?) そういえばRegional RubyKaigiに参加するのは初めてだ。今までは「大RubyKaigiの実行委員がRegionalに参加して(ただでさえ少ない参加枠を狭めるのも)申しわけないなぁ」と思って遠慮していたんだけど、今年は予告通りRubyKaigi2011の実行委員からは外れたので、遠慮するこたぁないのだった。というわけで東京Ruby会議05に参加。 場所は渋谷、ECナビの8Fにある「Ajito」という……なんだろう、そのビルに入っている各社の共同スペースみたいな? 趣向を凝らしたいろんな部屋がある、会議&イベントスペースというか。渋谷にこんな小洒落たフロアを持ってるなんて、ネット企業うらやましい! 冒頭は高橋さんによる「Rubyの楽しさ」に関する講演(台本なし、スライドなしの1時間)で、その後、事前に設
Benchmarking ruby Unicode normalization alternatives
If you ever write code to deal with non-ascii unicode text, you probably need to deal with unicode normalization. If you ever need to compare two non-ascii unicode strings for equality, you definitely need to deal with unicode normalization. If you don’t understand why, I recommend reading the first chapter or three of UAX#15. Several times if needed. (It took me a couple). So anyways. ruby 1.9+ i
Ruby にて文字と Unicode コードポイントの相互変換を行う - vivid memo
Unicode のコードポイントを指定して文字を得たり、逆にある文字のコードポイントを調べたり、ということをする機会は結構多いと思います。 が、Ruby でそれをやる方法をぐぐってもあまり上位に情報が出てこないなー、と思ったので簡単にまとめておきます。 Unicode コードポイントとは そもそも Unicode コードポイントとは何か。 Unicode というのは世界中の文字が集められた文字集合であり、Unicode に収録されている文字には順番に番号が振られています。 この番号のことをコードポイントといいます。 あるコードポイントが指す文字を表現するときに "U+" という文字の後ろに 16 進数表記のコードポイントを書いて表すことがあります。 例えば、コードポイント 0x3041 が指す文字 (ひらがなの 「あ」) を U+3041 と書いて表します。 各文字とコードポイントの関係は
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
consider using `unf` gem for unicode normalization · Issue #111 · twitter/twitter-cldr-rb
GitHub - duerst/eprun: Efficient Pure Ruby Unicode Normalization
Transliteration in ruby
GitHub - twitter/twitter-cldr-rb: Ruby implementation of the ICU (International Components for Unicode) that uses the Common Locale Data Repository to format dates, plurals, and more.
A Reintroduction To Ruby M17 N