PythonでGoogle Cloud Data Catalog APIを使ってみた(前編) - Qiita
はじめに Google Cloud Data CatalogからPythonを使ってデータを抽出する機会があり、詰まったところ、TIPSなどをまとめてみました。 Data Catalogを使って何をするか 今回使用した Data Catalogの機能面をGoogleのサイトから拾ってみました。 フルマネージドでスケーラビリティの高いデータ検出およびメタデータ管理サービス。 Data Catalog は、さまざまな Google Cloud システムからアセット メタデータをカタログ化できます。 Data Catalog API を使用して、カスタム データソースと統合することもできます。 データをカタログ化したら、タグを使用してこれらのアセットに独自のメタデータを追加できます。 組織が大きく、データが増えるほどに以下のような課題が生じてくる為、それらをメタデータとしてData Catalo
有名企業のエンジニア向け研修資料まとめ - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 今回は有名企業の公開されているエンジニア新人研修資料をまとめました。 昨今、新人向けの研修資料を公開する企業が増えています。 またクオリティーがかなり高いものが多く、初級者~中級者でも学びがある資料となっています。 資料の作り方も勉強になるので「勉強会で登壇している人」「企業の研修担当の人」にも有益な資料になっています。 この記事の主な対象者 有名企業の研修資料を網羅的に見たい人 エンジニア初級~中級者の人 独学で学習をしている人 研修資料の作成を今後していきたい人 ミクシィ まずはじめに紹介するのは、毎年新人向けの研修資料を
2019年末版 形態素解析器の比較 - Qiita
形態素解析は日本語処理の初歩であり、文を単語に分割したり、品詞や活用形、基本形を分析するために行います。本記事では形態素解析のツールをいくつかの出力例を交えて比較していきます。 （SentencePieceでいいじゃん、という人はお呼びでないですが、そういう方には、Twitterのトレンドが変な分割になってたら嫌では？と申し上げておきたいです） MeCab 言わずと知れた形態素解析器。とりあえずMeCabを使うという人は今なお多いことでしょう。とにかく高速であるということと、システムと辞書が分離されているのが特徴です。またPythonから使うのも簡単になりました（Janomeというものがありましたがmecab-python3の方が高速です）。Javaから使いたい人はKuromojiを使えばmecab(+ipadic)相当の結果が得られるはずです。 辞書はIPA辞書が推奨されていますが、Un
Next.js+TypeScriptでシンプルなニュースサイトを作ってみた。 - Qiita
作ったもの タイトルはSimple Newsです。 サイトURLは、 **こちら**です。 ソースコードは **こちら**です。 Google News を参考にしました。 どんな機能があるの？ NewsAPIからニュースサイトの記事のデータを取得し、タイトルと画像を表示 NewsAPIは、世界中のニュースサイトから検索をかけて、情報を取得できるAPI ( Application Programming Interface ) OpenWeatherMapから取得した、現在の天気情報と5日間の天気予報を表示 OpenWeatherMapは、現在の気象やある期間の気候の予測データを取得できるAPI ページ遷移が高速 記事をクリックすると、記事が掲載されているサイトへ飛びます。 こんな感じでとてもシンプルで高速に動くニュースサイトです。 こんな人に読んでほしい Next.jsを使ってみたい初心
実践 Docker - ソフトウェアエンジニアの「Docker よくわからない」を終わりにする本
------------------------------------------------------ 2024 年 1 月更新 本書がきっかけで「なんとか Docker を使えるようになりたい」というプログラマの方向けの入門書を秀和システム様から出版させていただけることになりました 開発系エンジニアのためのDocker絵とき入門 https://www.amazon.co.jp/dp/4798071501 紙書籍と電子書籍、どちらもございます この書籍と執筆経験は、みなさまからの驚くほどの高評価があればこそ得られた機会でした いつも本当にありがとうございます 書籍化に際しまして、この場で次のとおり説明させていただきます 1️⃣ 本書 ( Zenn ) は有料化しません 2️⃣ 本書 ( Zenn ) は今後更新しません 3️⃣ 本書 ( Zenn ) と出版される絵とき入門の違い
GoogleCloudStorageでPythonからファイルをやりとりする方法
こんばんは、エンジニアの眠れない夜です。 ここではGoogleCloudPlatformのCloudStorageにPythonからファイルをアップロード・ダウンローする方法をご紹介します。 分かってしまえばなんて事のない事なのですが、なかなかファイルのアップロードとダウンロードができなくて何時間も費やしてしまいました。 このブログを読んでくださる方は5分もあればCloudStorage（クラウドストレージ）にファイルの保存、取得ができるようになります。 CloudStorage（クラウドストレージ）の概要 クラウドストレージにアクセスするにはサービス アカウントというクラウドストレージにアクセスするためのアカウントとバケット（ストレージ）を作成します。 作成したアカウントの認証キーを使って認証を行います。 あとはストレージにPythonプログラムからアクセス実行するだけ。 という3ステッ
AWS、ローコード開発ツール「AWS Step Functions Workflow Studio」リリース。サーバレスアプリをビジュアルプログラミング
AWS、ローコード開発ツール「AWS Step Functions Workflow Studio」リリース。サーバレスアプリをビジュアルプログラミング AWSは、AWS Lambda関数やAWSのサービスなどをフローチャートのようにアイコンを組み合わせることでプログラミングを行える、ローコードビジュアル開発ツール「AWS Step Functions Workflow Studio」（以下、Workflow Studio）をリリースしました。 Workflow StudioはWebブラウザから利用する開発環境です。左側にAWS Lambda関数の呼び出しやAWSのさまざまなサービスがアイコンとして並んでいます。 Workflow Studioで開発された内容は、最終的にJSONベースのコード「Amazon States Language」( ASL）として出力されます。 Amazon S
ZOOMもUberもNetflixも、たった3万円で全てのシステム/アプリを作れるノーコードの衝撃
ZOOMもUberもNetflixも、たった3万円で全てのシステム/アプリを作れるノーコードの衝撃 2021.06.09 Updated by Ryo Shimizu on June 9, 2021, 14:40 pm JST プログラマーというのは長じるとプログラムを書かなくなるものである。 特に最近はWebサイトくらいの簡単なものでも、決まり事が多くて書くのが億劫になってしまった。 大学生が適当に書いたHTMLをネットにバラ撒き散らしていた時代と異なり、今はSSL対応が必須になり、そのための証明書の管理もしなければならないし、スマートフォンでもPCでもタブレットでも綺麗にコンテンツが見えなければならない。 そうなると、もはやそれが専業の人以外は、お手上げだ。というか、できるだけ触りたくない、というのが本音である。 ところで筆者が創設に関わった「全国小中学生プログラミング大会」も今年で第
Beverage Preference Dataset(関係データ) にテンソル分解かけて可視化してみた - Qiita
この記事は古川研究室 Advent_calendar 9日目の記事です。 本記事は古川研究室の学生が学習の一環として書いたものです。内容が曖昧であったり表現が多少異なったりする場合があります。 はじめに Beverage Preference Data Set の紹介をかねて記事を描こうと思ったのですが、まだプログラムが動いていないので、随時編集していきます. Beverage Preference Data Set Beverage Preference Data Set は古川研究室が公開している関係データの実データです. 細かい規約等はリンク先を参考にしてください. 604人のユーザーに 14種類の飲料水 を 11のシチュエーションごとにどう評価するのかアンケートをとったデータです. つまり, (人) x (飲料水) x (状況) の３つの母集団の要素の組み合わせによって観測された関
WindowsでJupyter notebookにJulia v1.0を追加してHello,Worldするまでのメモ - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 背景 Julia v1.0をJupyter notebookから使えるようにするまでちょっとてこずったのでそのメモ。 前提条件 Windows 10 64bit Anaconda3(Jupyter notebook含む)はすでにインストールされた状態（Anaconda3をインストールしたときのメモはこちら）。 方法 Anaconda環境外にJuliaをインストールする 1-1. Juliaの公式ページにアクセスし、julia-1.0.0-win64.exeをダウンロードした。 1-2. C:\Users\（ユーザ名）\Julia-1.0
WindowsでJulia+Jupyter Notebookによる環境構築 : 初級者エンジニアのブログ
今回はJulia(ver1.1.0)を導入し、Jupyter Notebookで使用する方法を記載致します。 必要なもの Python3 (Anaconda3) Jupyter Notebook Julia 1.1.0 Anaconda, Jupyter Notebookについては過去の記事で記載していますので、今回は省略します。 Juliaのダウンロードとインストール Juliaの公式サイトより、Juliaをダウンロードします。 ダウンロードしたファイルを実行するとxx% Extractingというウィンドウが開きますので少し待ちます。 少し待つと、The Julia Language Setupといったウィンドウが開きますので、インストール先のフォルダを指定してInstallをクリックします。 インストールが終わると、ダウンロード先フォルダを確認 と デスクトップショートカットとスター
Slackで動作するピアボーナス機能を３日で実装、導入した話 - Qiita
この投稿はLancers（ランサーズ） Advent Calendar 2018の6日目の記事です。 昨日はyKanazawaによるランサーズ版SQLチューニングポリシーという記事でした。 今日は、ランサーズ内にNas!というお互いに感謝を送り合うようなツールを導入した話を書いていきます。 お互いに感謝を送り合うようなツールとは？ いわゆるピアボーナス的な感じ。従業員同士がお互いに報酬や感謝を贈り合うことができる仕組みのことを指してます。 導入することで従業員同士のコミュニケーションが活発化したり、社内の良い出来事が見えやすくなるなどのメリットがあります。 導入して数日ですが、以前に比べて積極的に褒め合う空気が生まれてきたかなと感じています。 実装内容 ランサーズではSlackをメインのチャットツールとして使用しているので、そこで動作するツールとして実装しました。 このサービスはNAS!と
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
最適化超入門
GitHub - PRQL/prql: PRQL is a modern language for transforming data — a simple, powerful, pipelined SQL replacement
【保存版】リクルートやサイボウズといった大企業が新人研修用の資料を公開。→「学び直そう」「非エンジニアの方にも」
GitHub - jmcarpenter2/swifter: A package which efficiently applies any function to a pandas dataframe or series in the fastest available manner
Flutter研修【ミクシィ22新卒技術研修】
Google DeepMind
じゅじゅ on Twitter: "プログラミング、データサイエンス・統計学関連はネット上にで超優良なテキストが"無料"で公開されており、本当に良い時代。。 本ツイートに各テキストへのリンクもぶらさげておきます。 https://t.co/zSLyLEyQSL"
Amazon.co.jp: Juliaで作って学ぶベイズ統計学 (KS情報科学専門書): 須山敦志: 本
