グロースハックについて思うこと - 運河
Webサービスにおいて定量的に評価できる数字とユーザー体験はトレードオフであることが多い。たとえば、広告のクリック率を上げようと思えば、広告枠を過剰にチカチカさせたりボタンに隣接させて配置したりすればよい。運営者の小遣いが増える代わりに、ユーザーにとっての心地よさを犠牲にする。 必要なのはバランス感覚だ。価値基準が歪むと"Don't be evil"という言葉も機能しなくなる。 ユーザー体験を犠牲にする黒魔術に一度手を染めると、そのサービスはいつしかスパムと区別がつかなくなる、と僕は思う。 “月間34億PV、新規会員登録1日1万人！ pixiv片桐代表が明かす、驚異のグロースハック術 | ログミー[o_O]” http://t.co/q36cwDbmeq— ウイウ (@uiureo) 2014, 2月 17 会員登録しないと著しく不便なようにして無理やりユーザーに登録させるのをグロースハッ
A/Bテストでいちばん大切なこと - Kentaro Kuribayashi's blog
「A/Bテスト」が、Webサービスの最適化技法として人口に膾炙して久しい昨今ですが、それでもなお、個々の施策実行時にはいろいろと迷うことがあります。たとえば: 有用なテスト結果を得るためにパターンをどのような基準で用意すればよいのか テスト結果の統計的有意性をどのように検定すればよいのか 個々の改善がそれぞれによかったとしても、それらが局所最適に陥らないためにはどうしたらよいのか といったあたりが挙げられます。(2)については純粋に技術的な問題なので、ここでは議論しません。問題にしたいのは(1)および(3)についてです。ひとまず、いまのところ僕が思う一番大切なことをひとつだけ述べておきましょう。それは: 「それに対してなんらかの肯定的/否定的意見のあるパターンをテストする」 ということです。どういうことか。 視野狭窄的なA/Bテスト A/Bテスト、あるいは同様の最適化技法については、かつて
FINDJOB!終了のお知らせ | FINDJOB!
FINDJOB! 終了のお知らせ 2023年9月29日にFINDJOB!を終了いたしました。 これまでFINDJOB!をご利用いただいた企業様、求職者様、様々なご関係者様。 大変長らくFINDJOB!をご愛顧いただき、誠にありがとうございました。 IT/Web系の仕事や求人がまだ広く普及していない頃にFind Job!をリリースしてから 約26年間、多くの方々に支えていただき、運営を続けてまいりました。 転職成功のお声、採用成功のお声など、嬉しい言葉もたくさんいただきました。 またFINDJOB!経由で入社された方が人事担当になり、 FINDJOB!を通じて、新たな人材に出会うことができたなど、 たくさんのご縁をつくることができたのではないかと思っております。 2023年9月29日をもって、FINDJOB!はその歴史の幕を下ろすこととなりましたが、 今後も、IT/Web業界やクリエイティブ
バンディットアルゴリズム入門と実践
Tokyowebmining発表用資料です。複数の選択肢がある場合に、どのように選択を行うのが効率的なのか？という問題を解決するためのアルゴリズムです。
【LPOはDLPO】「猫」で説明します。ABテスト・多変量テスト - DLPO株式会社
こんにちは! 今日は猫を使って、ABテストと多変量テストの違いをご説明できればと思います。 まずはA/Bテストです。二匹の猫がいて（猫Aと猫B)、どちらの猫が可愛いのか知りたいです。WEBを通じて1万人に一人ずつ一匹だけ猫を見せます。猫のパターンは二匹ですので、猫Aを見ている人は5,000人。猫Bを見ている人も5,000人。 今回の例で猫Aを見た人は66%が可愛いと答えています。猫Bは34%と人気度が少し低めでした。 猫Aの大きな勝利です！ ただし、このA/Bテストには二つの課題があります。 猫は二匹しか存在しないので 1) そもそもこの二匹以外に可愛い猫が存在するのでは?という疑問があります。 2) 上記の猫Aはどういった理由で勝っているか不明です。勝ったのは耳が水色だから？ベロが出ているから？目が黒いから？その猫が勝っている要因は闇の中です。 そこで「多変量テスト」の登場です。方法はほ
多腕バンディット テスト - アナリティクス ヘルプ
Google アナリティクス ウェブテストの基盤を成す統計手法について説明します。Google アナリティクスでは、ウェブテストの手法として多腕バンディット方式を採用しています。多腕バンディット テストには、次のような特徴があります。 最も利益の大きい選択肢の特定を目標とする ランダム分布がテストの進行とともに更新される 「多腕バンディット（multi-armed bandit）」という名前は、それぞれに異なる見込み配当率が設定された、「One-armed bandit（片腕の盗賊）」というスロット マシンが複数並んでいる状況を模した仮説テストという意味を持っています。スロット マシンのプレイヤーは、最も見込み配当率が高いスロット マシンを見つけ出す必要がある一方で、利益を最大化する必要もあります。この状況では、これまでの配当率が最も優れているマシンのみをプレイするか、それともさらに配当率
一度は試してみるべきA/Bテスト11 | growthhack.jp
以下のブログで「一度はためしてみるべきA/Bテスト11」というポイントが紹介されていました »11 Obvious A/B Tests You Should Try 以下にざっと紹介いたします 1.広告に「無料」の文字を入れる 2.解説用動画を用意する 3.スクロールするサインアップボタンを設置 4.フォームの項目を減らす 5.申し込みページを分ける（基本情報と支払い情報とか） 6.スクリーンショットではなく、動画での利用画面を用意 7.「無料トライアル」か「不満足には返金保証」の制度を用意 8.無料期間の期間を調整 9.早い人への割引（先着100人とか） 10.ボーナスのおまけをつける（300ドル分の利用券とか） 11.ボタンの色 「1」「3」「4」「8」「9」「10」「11」は比較的、軽く対応できそうです 「2」「6」であるように、動画を使った解説は海外のソーシャルメディアではかなり目
TechCrunch | Startup and Technology News
Welcome to Startups Weekly — Haje‘s weekly recap of everything you can’t miss from the world of startups. Sign up here to get it in your inbox every Friday. In…
バンディットアルゴリズムによる最適化手法
TOPICS Programming , Database 発行年月日 2013年07月 ISBN 978-4-87311-627-3 原書 Bandit Algorithms for Website Optimization FORMAT 本書は、「多腕バンディット問題」と呼ばれる問題を解くためのアルゴリズムを、Webサイトの最適化という例をもとに解説する書籍です。 バンディットアルゴリズムに関する基本的な知識について、既存研究についての理解を十分に得て、多腕バンディット問題についての資料を自力で読めるようにすることを目的としています。 A/Bテストのような2者択一ではなく、新しいアイデアの探索と、既存のアイデアから最大限の利益を引きだすという矛盾する2つの問題を解決するための一助となるでしょう。なお本書はEbookのみの販売となります。 yuku_tさんによる本書の英語版とバンディット
ABテストのための有意性検定 - Qiita
こんにちは、awakiaです。今回のアドベントカレンダー、結構、機械学習ガチなメンツが揃ったみたいなので、俺も対抗してやる！！とも思ったのですが、研究を離れて2年が経とうとしているので、真っ向勝負とか今更無理なことに気づきました...ｗ なので、開発者の皆も知っておくと便利なデータサイエンスの話をすることにします。 ABテストと検定の必要性 Webサービスを運営していると、見た目の問題だけでも結構悩みます。ボタンの色や文言などの小さなところから、トップページに盛り込む内容をどうするかまで、いろいろです。 今回、「ABテスト」と呼ぶものは、画面に占める大きさ等にかかわらず、パターンAとパターンBを作って、そのどちらがいいかを判断するための実験と定義することにします。 なお、ABテストの呼び名には結構流派があるので別の名前で聞いたことがあるかもしれません。例えば、Googleのマット・カッツ先
easyAB.js - A/B and Multivariate testing made easy
I'm in the mood for change. What about a new color for my download button? But wait. How will I be able to know which color is your favorite one? Ok, that should do the trick: $('#download-btn').easyab({ 'slot': 1, 'name': 'download-button-color', 'default-value': 'apple-green', 'alternatives': [{ 'value': 'fire-red', 'alternative': function($this) { $this.removeClass('btn-success').addClass('btn-
World's leading AI-powered digital experiences
Did we mention AI? Meet Optimizely Opal: your infinite workforce Powered by specialized AI agents, Opal is always in-context to your brand, connected across your workflows, and able to take proactive action against complex requests. Discover how to make your ‘wow’ We’re a real team player Optimizely products integrate with all your favorite apps and tools to work just the way you need it to work.
ABテストを検定する
検定とは 利用者にとっての意味だけを割り切って考えるなら、検定とは、「得られた結果が偶然なのか、そうじゃないのか」を判断するためのツールです。 ただ、何でもかんでも検定する必要はなくて、得られた結果に有意差があるかどうか知るだけなら、検定が必要な場合と検定しなくてもなんとかなる場合があります。 この記事では、ABテストを検定する方法と、どうすれば検定が必要かどうかぱっと見で分かるようになるのか、を書いていきます。 標本数が少ないABテストは検定で有意差を判断する 標本数が少ない時は、有意差があるのかを知るために検定が必要です。下記の具体例で計算方法を示します。 WebのABテストを行った結果、Aは15クリック、Bは10クリックだった。本当に差があるのかを検定で確かめたい この結果に有意差があるかを知るには、χ^2検定を使います。χ^2検定は以下の式で簡単に手計算できます。 χ^2 = (
A/Bテストよりすごい？バンディットアルゴリズムとは一体何者か - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? オバマ大統領の再選に大きく寄与したことで大きな注目を集めているA/Bテスト。A/Bテストを導入した、することを検討している、という開発現場も多いのではないだろうか。 そんな中、Web上で次のような議論を見つけた。 20 lines of code that will beat A/B testing every time Why multi-armed bandit algorithm is not “better” than A/B testing 一言でまとめると「A/Bテストよりバンディットアルゴリズムの方がすごいよ」「いやいやA
StripeがA/BテストフレームワークのAbbaをオープンソース化
あなたにとって重要なトピックや同僚の最新情報を入手しましょう最新の洞察とトレンドに関する最新情報を即座に受け取りましょう。 継続的な学習のために、無料のリソースに手軽にアクセスしましょうミニブック、トランスクリプト付き動画、およびトレーニング教材。 記事を保存して、いつでも読むことができます記事をブックマークして、準備ができたらいつでも読めます。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://qiita.com/kekekenta/items/8b1f9d2a17c4c6a6b638
Fluentd, mongoDB, Kibanaを利用したはてなブログABテストの事例
Sixpack: An Ab Testing Framework from SeatGeek
TechCrunch | Startup and Technology News
GrowthHacker jp
