sshによるポートフォワーディングまとめ -- ぺけみさおsshには以下3種類のポートフォワーディング機能がある。ポートフォワーディングの説明はmanが詳しいが、さほどわかりやすいとは言えない。このエントリでは、ポートフォワーディングの使い方を図解して簡単にまとめる。 -Lによるポートフォワーディング -Rによる逆ポートフォワーディング -Dによるダイナミックフォワーディング説明中のserver、remotehostはホスト名に、portやremoteportはポート番号に、それぞれ読み替えること。 ポートフォワーディング
Envoy の Trafic Mirroring による負荷テストを考える - ツナワタリマイライフ
弊社には以前 Shadow Proxy というものがいた。 qiita.com 当時のモチベーションとして Database への Index 追加等をぶつけでなく事前にやりたい、ということだった。現状は Production database の Snapshot から Develop database を毎晩リストアしており、事前にそちらで実行するようにしている。 2020年の今やるなら Envoy かな、と。 で、ここでモチベーションとしてあげている負荷テストとは特に、Database の Migration のことを考えている。 現状 EC2 上に MongoDB をセルフホストしている。そのためインスタンスのスケールアップが必要なときにはいろいろあって1日ほどかかる。マネージドサービスの Atlas にすればスケールアップも容易で早くなるし、パフォーマンスに関する分析も提供してく
Shadow Proxyのご紹介 at Quipper - Qiita
この記事はQuipperのテックブログに書いた以下の記事の日本語版での要約です。 http://quipper.github.io/2015/11/11/introducing-shadow-proxy.html Shadow Proxyとは？ 本番のHTTPリクエストから同等のリクエストをステージング環境に適用するための仕組みです。主な目的は、2年以上の運用で肥大化したMongoDBに対するindexの追加/削除/つけ忘れなどを事前に検証・検知するためです。 構成 Fluentdが大活躍しています。 Reverse Proxy Log AggregatorにNginxのアクセスログを転送する Log Aggregator S3(バックアップ),BigQuery(調査用),Shadow Proxyにアクセスログを転送する Shadow Proxy アクセスログをもとにステージングのアプリに
Inside the GitHub Load Balancer | HAProxyConf2019
In this presentation, Joe Williams describes the architecture of the GitHub Load Balancer (GLB). GitHub built a resilient custom solution on top of HAProxy to intelligently route requests coming from a variety of different clients including Git, SSH and MySQL. The GLB is split into two major components: the GLB Director and GLB proxies. The latter is built upon HAProxy, which provides many benefit
メルカリではCDNの裏側にImageFluxを配置し、配信コストの削減と、快適なアプリを実現｜画像変換・ライブ配信クラウドサービス ImageFlux｜さくらインターネット
株式会社メルカリ プリンシパルエンジニア 久保 達彦氏 個人同士の取引を対象としたフリマアプリ「メルカリ」 は、国内だけでなく米国や英国でもサービスを展開し、全世界で1億ダウンロードを突破しました。メルカリ上で売買される商品金額は月間で100億円以上に、メルカリ上で出品される商品数は毎日100万品以上にまで大きくなっています。 メルカリのコンテンツは画像の占める割合が高く、データ通信の大部分が画像です。日々の出品に伴い画像ファイルも大量に増え続けます。画像配信には従来からCDNを利用していましたが、配信データ量の大幅な増加に伴い、CDNのキャッシュヒット率の低下が顕著になってきました。そこで、CDNとオリジンサーバの間に中間的なキャッシュサーバを導入することにしました。「別途キャッシュサーバを導入するにはそれなりに太い回線が必要な規模でしたので、その能力を持った事業者さん数社を検討しました
作って学ぶ 「Https Man in The Middle Proxy」 in Go - ( ꒪⌓꒪) ゆるよろ日記
ᕕ( ᐛ )ᕗ こんにちわ、しいたけです。 webのhttps化が推進される昨今ですね? https通信は経路上での通信内容が盗聴・改竄されるのを防ぐことができますが、開発用途でhttps通信の内容を確認したい場合が稀にあります。 そのような場合は mitmproxy などを導入すればよいのですが、せっかくなので実際にこのようなProxyをGoで実装してみて、 中間者攻撃(Man-in-The-Middle Attack)がどのような手法でhttps通信を盗聴・改竄するのか確かめてみました。 実際に書いたProxyのコードはこちらです yuroyoro/mitm_proxy_sample https proxy と HTTP CONNECT tunneling まず、通常のhttps Proxyの動作を確認してみましょう。 httpsでは、ProxyはクライアントからのCONNECTメソッ
プロキシとの戦いに疲れたのでgoで透過プロキシを作ってみた - Qiita
背景 Qiitaのproxyタグを見てもわかるように、多くのエンジニアがプロキシサーバとの戦いで日々消耗し続けている。とはいえ、主にセキュリティ上の理由でプロキシサーバの利用は必要なことも分かる。 となると、プロキシサーバを意識しなくても(設定しなくても)自動的にプロキシサーバを経由してくれるようになればうれしいよね？ これは透過プロキシと言って昔からある考え方で、QiitaにもProxy環境下での仮想GW構築というすばらしい記事がある。 しかし、上記記事では透過プロキシにredsocks、DNSサーバにpdsndと複数のツールを組み合わせて実現されており、それぞれインストールや設定するのが個人的には面倒というのと、記事中で述べられているとおり、プロキシ経由で53/tcpに接続できない場合に対応できないという制約もあった。 というわけで、今回go言語の勉強も兼ねて自分好みの透過プロキシを自
RailsのPOSTでCSRF TokenがVerifyできないときに確認したいこと - Qiita
前提条件 nginxがSSL Terminationをするリバースプロキシである Railsのバージョンが5の状態でrails newをしている 発生する問題 formのPOST時にCan't verify CSRF token authenticity.というエラーが発生する 確認するところ CSRF Tokenがページ内に埋まっているか？ nginxにおけるリパースプロキシの設定は間違っていないか？ CSRF Tokenがページ内に埋まっているか？ Railsで入力フォームを作成するときは、おそらくform_forかform_tagを使うことになると思います。その場合、普通はauthenticity_tokenというhidden fieldが追加されています。 たとえばこれはQiitaの意見を送信するフォームにauthenticity_tokenが埋め込まれている様子です。 またAja
EventSource / Server-Sent Events through Nginx
On server-side using Sinatra with a stream block. get '/stream', :provides => 'text/event-stream' do stream :keep_open do |out| connections << out out.callback { connections.delete(out) } end end On client side: var es = new EventSource('/stream'); es.onmessage = function(e) { $('#chat').append(e.data + "\n") }; When i using app directly, via http://localhost:9292/, everything works perfect. The c
Nginxのリバースプロキシでバックエンドとhttp2通信する - ASnoKaze blog
以前書いたとおり、ApacheではリバースプロキシでバックエンドとHTTP2通信することができます。 asnokaze.hatenablog.com Nginxの場合は、開発者のメーリングリストでGoogleの人が書いてる「ngx_http_v2_upstream」パッチを利用することでバックエンド(upstream)とHTTP2通信することが出来るようになります。 パッチ [PATCH 01 of 14] Output chain: propagate last_buf flag to c->send_chain() [PATCH 02 of 14] Upstream keepalive: preserve c->data [PATCH 03 of 14] HTTP/2: add debug logging of control frames [PATCH 04 of 14] HTTP/
grpc-gateway機能ひとめぐり - 世界線航跡蔵
@vvakame さんが TechBooster の新刊"JavaScriptoon"の中でgRPCを解説していて、その中で grpc-gateway にも触れている。これはとてもよい記事だったので、みんなこの本の電子書籍版を買えば良いと思う。 ただし、grpc-gatewayは記事中で使われているだけで主題ではないので、すべてのトピックをカバーしてくれているわけではない。それは仕方が無いが、そろそろgrpc-gatewayの機能を見渡す日本語記事が欲しいと思ったので自分で書くことにする。 grpc-gatewayとは gRPC (HTTP/2 + ProtocolBuffers)をwrapして古典的なJSON API (HTTP 1.1 + JSON)を提供するリバースプロキシを生成するコード生成機だ。 別記事 にも書いた。 何ができるのか gRPCで使うサービス定義(IDLみたいなやつ
Nginxで、リクエストを複製するmirrorモジュールが標準搭載された - ASnoKaze blog
[20170809追記] nginx-1.13.4に ngx_http_mirror_module は含まれました Nginxで、リクエストを複製するmirrorモジュールがコミットされ、何もせずとも使用できるようになりそうです(現状最新コミットをビルドする必要あり)。 例えば本番環境のproxyからリクエストを複製して開発環境に流すような事も出来ます。もちろん複製処理は本来のリクエスト処理をブロックしません。 例えば以下のように、mirrorに来たリクエストを複製してバックエンドサーバに投げるようにしてみます conf server { listen 80 ; server_name localhost; mirror_request_body on; log_subrequest on; location /mirror { mirror /proxy; #/proxy宛にリクエストを
【資料公開します】AWS Dev Day Tokyo 2017 にて登壇しました／choconの簡単なご紹介 | メルカリエンジニアリング
こんにちは。SREの @kazeburo です。2017年5月31日から6月2日にAWS Summit Tokyo 2017と同時に開催された「AWS Dev Day Tokyo 2017」に登壇しました。 登壇する機会をいただき、また数あるセッションの中から会場に足を運んでいただいた皆様、ありがとうございました。 発表内容 「Cloud connect the world as Glue」というタイトルにて、メルカリのインフラストラクチャの概要および変遷、そして現在のAWSをはじめとするクラウドの利用について紹介しました。 資料はこちらになります。 chocon について スライド中で触れた chocon について少し紹介したいと思います。 choconはクラウドのRegionあるいはデータセンター外との通信を効率良く行うためのミドルウェアになります。HTTPS、HTTP/2の通信をKe
Envoy: C++ L7 proxy and communication bus
Envoy Tweet Docs C++ L7 proxy and communication bus Envoy is an open source edge and service proxy, from the developers at Lyft Out of process architecture Envoy is a self contained server. It runs alongside any application language or framework. At Lyft we currently use it to proxy for PHP, Python, Go, Java, and C++. HTTP/2 Envoy has first class support for HTTP/2 for both incoming and outgoing c
GoReplayを導入して、Production環境へのリクエストを複製し、Staging環境に転送する仕組みを作った - Glide Note
結構前に作っていたんですが、いろいろと忙しくてブログに書くタイミングを失していたので年末のタイミングで紹介。 TL;DR GoReplayを利用して、Production環境のリクエストを複製し、Stagins環境、開発環境に投げる仕組みを作った インフラ構成の大きな変更無しで、手軽にProduction環境の実リクエストを複製し、開発、動作検証ができるようになった 2016年の弊社サービスのDocker化や、インフラ構成の大幅な変更、ミドルウェアのアップデート、アプリの改修時のバグ事前検知と事故防止に大いに役に立った GoReplayの説明 GoReplay Goで書かれており、バイナリを設置し、オプションを指定し実行するだけで動作する アプリが稼働しているサーバで動く。(例えばNginx+Railsが稼働しているサーバで一緒にGoReplayを動かす感じ。) libpcap を利用して
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
docker コマンドだけで起動する proxy サーバ - Qiita
GitHub - mtsmfm/yaichi: Yaichi is a reverse proxy for developers using Docker on development environment.
GitHub - nginx-proxy/nginx-proxy: Automated nginx proxy for Docker containers using docker-gen
GitHub - mailgun/kafka-pixy: gRPC/REST proxy for Kafka
GitHub - yuroyoro/mitm_proxy_sample: ʕ ﾟ皿ﾟ ʔ This project is a sample implementation of Proxy that sniffing request and response by "Man in The Middle".
