メルカリの検索基盤の変遷について | メルカリエンジニアリング
※この記事は、"Blog Series of Introduction of Developer Productivity Engineering at Mercariの一環で書かれています。 はじめに こんにちは、メルカリ、サーチインフラチームのshinpeiです。今回はメルカリの検索基盤の裏側について、そのアーキテクチャ変遷について書こうと思います。2018~2021年の4年間で、大きく3回、変化をしました。設計の段階では希望と期待にあふれているアーキテクチャでも、問題は後からやってきます。設計には良し悪しがあり、変化することで知見を得ながら、改善を続けています。え、これだと危ないのでは？、、あぁ、やはりそうなるのね。などと、ご笑覧いただければ幸いです。 前回までのお話 メルカリの検索は、創業時から、Solrをベースにしたシステムで組まれてました。その変遷はこちらのスライドにまとめてあ
EKSクラスターへ「kubectl」コマンドでアクセスする際の認証・認可の仕組みと設定 | DevelopersIO
EKSクラスターへのアクセス制御は、設定する場所が複数に分かれているなど、少々分かり辛いところがあるかもしれません。できるだけ分かり易く解説してみます。 みなさん、こんにちは！ AWS事業本部の青柳＠福岡オフィスです。 今回は、Amazon EKS における「クラスターへアクセスする際の認証・認可」について解説したいと思います。 はじめに みなさんは、EKSクラスターを構築して「kubectl」コマンドで最初にアクセスする際に、どのような手順を実施しているでしょうか？ eksctlコマンドを使用してクラスターを構築する場合は、特に何もすることなく、すぐにkubectl get nodes等のコマンドを使ってクラスターへアクセスできると思います。 また、マネジメントコンソールやAWS CLIを使用する場合は、クラスター構築を行ったIAMユーザーでaws eks update-kubeconf
Amazon EKSでgRPCサーバを運用する - 一休.com Developers Blog
以前の記事でも紹介した通り、一休では、gRPCを使ったサービスを導入し始めています。 user-first.ikyu.co.jp この記事では、このサービスをAmazon EKSで提供するための設計や気をつけたポイントについて紹介します。 背景 一休では、ウェブアプリケーションの実行環境としてAWS Elastic Beanstalkを採用しています。 そして、この4月からElastic BeanstalkをAmazon EKSへ移行するプロジェクトを進めています。 このgRPCサービスもElastic Beanstalkで運用をしていましたが、以下の問題を抱えていました。 適切にロードバランシングできない。 Elastic BeanstalkでgRPCサービスを運用しようとするとNetwork Load Balancer(NLB)を使うことになります。NLBはレイヤ4のロードバランサです
インフラが苦手でも大丈夫！紙芝居Kubernetes
Women Developers Summit で登壇したときの資料です。
コンテナ・Docker・Kubernetesについて初心者にも分かりやすく解説するとこうなる
DockerやKubernetesなどのコンテナ技術は多くのシステムで用いられていますが、初心者が概要を理解するのは難しいもの。そんなコンテナ技術の概要について、クラウドストレージサービスを運営するBackblazeが分かりやすくまとめています。 What Are Containers? https://www.backblaze.com/blog/what-are-containers/ ・目次 ◆コンテナとは何か？ ◆コンテナと仮想マシンの違いは？ ◆コンテナのメリットは？ ◆コンテナの用途は？ ◆Dockerとは何か？ ◆Kubernetesとは何か？ ◆コンテナとは何か？ 物流の世界における「コンテナ」は、形状やサイズを規格化し、異なるメーカーが製造した船舶・電車・トラックなどの移動手段や、世界中の港などの「異なる環境」でも同じように物を運んだり保管したりできるようにしたものです。
Kubernetesとは何かを図でわかりやすく解説！Pod、Namespaceも｜Udemy メディア
システム開発 2024/07/25 Kubernetesとは何かを図でわかりやすく解説！Pod、Namespaceも 『Kubernetes』とは、コンテナ仮想化ツールの運用管理・自動化を行うために開発されたオープンソースソフトウェアのことです。マイクロサービスとの相性が良いなど、さまざまなメリットがあるKubernetesの知識は、ITトレンドを追従するエンジニアにとって欠かせません。 この記事では、Kubernetesの基礎知識やメリット、Dockerとの関係性や、Kubernetesに関連する用語を解説します。 公開日：2020年11月12日 Kubernetesとは何か？わかりやすい図で解説 「Kubernetes」とは、Dockerなどのコンテナ仮想化ソフトウェアを管理、および自動化するためのオープンソースソフトウェア（OSS）のことです。 “クバーネティス”や“クーべネティス”
サービスメッシュ必読ガイド - 第2版: 次世代のマイクロサービス開発
2016年頃「サービスメッシュ」という用語は、マイクロサービス、クラウドコンピューティング、DevOpsの分野に登場しました。楽天的なあるチームは、2016年にこの用語を使用して彼らの製品である Linkerd を説明しました。コンピューティングの多くの概念と同様に、実際には、関連するパターンとテクノロジーの長い歴史があります。 サービスメッシュの登場は、主に IT ランドスケープの最悪の状況によるものでした。開発者は、複数言語 (ポリグロット) アプローチを使用して分散システムの構築を開始し、動的なサービスディスカバリーを必要としていました。運用は一時的なインフラストラクチャの使用を開始し、避けられない通信障害を適切に処理し、ネットワークポリシーを適用したいと考えていました。プラットフォームチームは、Kubernetes などのコンテナオーケストレーションシステムの採用を開始し、Envo
KubernetesのResource RequestsとResource Limitsについて - Qiita
Resource Requests Resource Requests とは podをデプロイする時に必要とするリソース(CPU/メモリ)を指定することができる仕組み。 ただしpodは指定したresource requests以上のリソースを使うことができる。(リソース使用量の制限はlimitを使う) またその指定したリソースがそのpod用に確保されるわけではない。 あくまでpodをデプロイ時にそのリソース量が空いているかをチェックするためのもの。 ポイントとしてはpodをデプロイするときに、nodeのリソース使用量は見ないで、resource requestsをみてデプロイが行われる。 なので、nodeのリソース(CPUやメモリ)の使用率が100%でも、resource requestsに空きがあればデプロイされる。空きがないnodeにはデプロイされない。 たとえばメモリ1Gのnodeが
悩みに悩んだ Kubernetes Secrets の管理方法、External Secrets を選んだ理由 | PLAID engineer blog
悩みに悩んだ Kubernetes Secrets の管理方法、External Secrets を選んだ理由#ops#Kubernetes#k8s#gitops#secret こんにちは、今年の4月に新卒で入社し、Kernel チーム[1]でエンジニアとして働いている大矢です。 Kernel チームでは、CXプラットフォーム「KARTE」[2]のデプロイシステムの改善を行ってきました。今回の記事では、Kubernetes の Secret 管理方法について比較検討したことや、External Secrets[3] に移行する際に注意したポイントなどについてお話しします。 1. 今までの Secret 管理 GitOps[4] を実現する際には、Secret の管理方法を考える必要があります。Kubernetes の Secret リソースは base64 でエンコードされているだけなので
Kubernetes 専門家として知るべき 47 のこと - 誰かの役に立てばいいブログ
この記事は私が過去 3 年ほど Kubernetes に携わる中で学んだ、ちょっと見つけにくい知識をまとめたものです。 特にカスタムコントローラーを開発するような人に必要となる知識群です。 感想とか指摘とかあれば Twitter までお寄せください。 更新履歴 2021-03-05: "コンテナの resources.limits と resources.requests の違いについて" の項を補足しました (thanks to @superbrothers) API コントローラー実装 プログラムと連携動作 資源管理 ネットワーク モニタリング アクセスコントロール API kube-apiserver が備える拡張機構を列挙しなさい 回答例 Custom resources: OpenAPI スキーマで独自のリソース型を追加できる Aggregation layer: kube-ap
今からでも遅くない! Kubernetesを最速で学ぶための学習法とは
はじめに 本連載は、Kubernetesに入門しあぐねているエンジニア、特にアプリケーション開発者の方向けにKubernetesへの入門の仕方と最低限動かすための知識を実践形式で紹介するものです。 Kubernetesについて全く触ったことがないという方から、何となく知っているけど実務で応用できない、実務で使っているけど実のところよく分かっていない……という方を対象に、Kubernetesの全体像の知識と手順をステップアップして学べるように構成しています。 今回の第1回は、本連載をより効果的に活用していただくために、Kubernetesに入門する意義と効率的な学習法を取り上げます。 Kubernetesに入門する意義 さて、現在、DockerやKubernetesに代表されるコンテナ技術は、随分と広く利用されるようになってきました。開発環境のみならずプロダクション環境でも多く採用されるなど
【環境構築】Raspberry Pi 4台で作るKubernetesクラスタ
【環境構築】Raspberry Pi 4台で作るKubernetesクラスタ by nao · 公開済み 2020年9月27日 · 更新済み 2020年12月25日 前書き：憧れのラズパイクラスタ Raspberry Piでスパコンを構築する取り組みは昔からありましたが、最近は「Kubernetesクラスタを作ったよ」という報告が増えてきました。私もラズパイ4（8GB）を一台購入してラズパイが合計4台となったのをキッカケに、憧れのラズパイクラスタに手を出してみました！ 本記事では「導入手順(ネットワーク接続などのセットアップ説明は除く)」や「ハマったポイント」を紹介します。 クラスタ材料（ハード、ソフト）
3日間クッキング【Kubernetes のラズペリーパイ包み “サイバーエージェント風”】
今回は鮮度が高いまますぐに届く Amazon 産とヨドバシ.com 産の材料を使いました。�メイン食材のラズペリーパイについては RS コンポーネンツから購入しました。クラスタに彩りを添える CyberAgent のステッカーについては産地直送で取り寄せです。 さて鮮度が非常に高いまま到着しました。朝自席に来たときはダンボールの山が積まれた状態でしたが、一旦１つの大きな箱に詰め込みました。 今回は 12 人前の材料を用意しました。 なかなかこの量の Raspberry Pi を用意することも無いかと思います。圧巻の光景ですね。 作り方 さて、いよいよ作っていきたいと思います。 物理的構築自体はだいたい 1 時間ほどで完了するかと思います。 １．Raspberry Pi を開封します。 一番高い部品なので、壊さないよう丁寧に空けましょう。 ２．Raspberry Pi にヒートシンクを取り付
リダイレクトの警告
表示中のページから https://udemy.benesse.co.jp/development/system/kubernetes.html にリダイレクトしようとしています。 このページにリダイレクトしないようにする場合は、前のページに戻ってください。
Argo CD の GitOpsを確認してみた - Qiita
アルゴCDは、アプリケーションがデプロイ先で、目的の状態となるようにデプロイを自動化する。 デプロイするアプリケーションの更新を追跡、Gitコミット時のタグによる特定バージョンのデプロイなども可能である。 アルゴCDは、Kubernetesコントローラとして実装され、アプリケーションの動作を継続的にモニターして、現在状態から目的とする状態へ変えていく、ウェブ画面からの変更ではできず、Gitリポジトリを通じて状態を設定する。 デプロイされたアプリケーションの現状が、目的とする状態から外れることを OutOfSync (同期外） とみなす。 アルゴCDは、目的とする状態と現状の差異を視覚化しレポートする。現状を目的の状態にするために、自動的同期または手動同期の手段を提供する。 自動的同期では、Gitリポジトリでターゲット状態へ加えられた変更は自動的に適用され、指定された環境へ反映される。 次は
EKSでの認証認可 〜aws-iam-authenticatorとIRSAのしくみ〜 - もうずっといなかぐらし
こちらはAmazon EKS #1 Advent Calendar 2019 7日目の記事です。 EKSでIAM RoleをUserAccountに紐付けたり、ServiceAccountをIAM Roleに紐付けたりする際、AWSのドキュメントに従って設定してはいるものの、その設定によって実際にどんな処理が行われているかを具体的に知らない方も多いのではないでしょうか？(私も今回の記事のために調べるまではそうでした。) そこで今回の記事では、Kubernetesの認証認可の仕組みを解説したあと、AWSのIAMの認証情報をKubernetes内のUserAccountに紐付けるaws-iam-authenticatorの動作の仕組みとKubernetesのService AccountにIAM Roleを紐づける仕組みについて設定方法のレベルから一段掘り下げて実際の動作に焦点を当てながら説明
Amazon EKS on AWS Fargate試してみた
AWS ECS（Elastic Container Service）で使用できるFargateがEKS（Elastic Kubernetes Service）でも選択できるようになりました。[1]
コマンドラインツールを用いずにCI/CDを行うGitOpsとは？
DevOpsをさらに推し進めた「GitOps」という開発手法が、KubeCon＋CloudNativeConが紹介された。 KubeCon＋CloudNativeConではKubeflowやIstioなどの多くのプロジェクトが紹介され、まるでKubernetesのエコシステム展覧会と言ってもいいほどだ。その中から今回は、WeaveworksのCEO、Alexis Richardson氏が提唱するGitOpsについて紹介したい。Richardson氏は、Cloud Native Computing Foundation（以下、CNCF）のTechnical Oversight Committeeのチェアも務めている人物だ。 Richardson氏は、クラウドによってDevOpsへの流れが生じたと語り、その先にあるのは「Push Code, Not Container」とあるように開発者が「コ
Amazon EKSでのArgoCDを使ったGitOps CD | Recruit Tech Blog
こんにちは。スタディサプリ ENGLISH SREグループの木村です。 つい先日、スタディサプリENGLISHの基盤をECSからEKSへの移行をしました。移行の経緯や理由などは先日公開された大島のスタディサプリENGLISHの基盤をECSからEKSに移行しました という記事で紹介しております。 今回は私たちがKubernetesのCDに利用したArgo CDをなぜ選んだのか？どのよう導入したのかという部分を説明していきたいと思います。 Argo CDについて Argo CDはGitOps1)Gitをアプリケーションとインフラのsingle source of truthとして扱い、Gitにある情報(ここではKubernetesのmanifest)をあるべき姿とし、同期を行いアプリケーションの変更を行う手法。GitOpsを提唱しているweaveworksのGitOpsにページに詳細が書いてあ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ラズパイでKubernetesクラスタを構築する - Qiita
