現場データサイエンティスト奮闘記

とある企業で働くデータサイエンティストの日々のアウトプット

2019-01-01から1ヶ月間の記事一覧

GKEのオートスケールの設定手順をまとめた

概要 GKEにはアクセス負荷に応じて適宜サーバを増やしたり減らしたりしてくれるオートスケール機能が備わっています。 クラスタ作成時のその設定方法をまとめました。 オートスケール設定方法 GKEのオートスケールの種類について GKEにはオートスケールの種…

MeCab入りのPythonを実行するDockerfileの書き方

概要 自然言語処理を含んだアプリケーションをDocker imageで構築しようとしたらDockerfileの書き方を少し工夫しなきゃいけなかったので、そのメモです。 Dockerfileの書き方 プロジェクトは以下のような状況だとします。 project ├ src │ ├ main.py │ └ req…

肥大化したBigQueryの管理にデータレイク・データマートの考え方が使えるのではないか

はじめに 前提として、筆者は事業会社でいくつかのwebサービスを運営している会社にいます。 アクセスログなど日々山のようなデータが蓄積され、しかも複数のプロダクトを管理しているので、なかなかにデータの管理が煩雑になりがちという状況です。 この改…

データに不慣れなコンテンツ編集チームを2ヶ月でデータドリブン組織にした6つの方法

概要 この記事について 明けましておめでとうございます。新年1本目です。2019年ものんびり更新していければと思います。 さて、会社ではデータサイエンティストをしているのですが、「データ見れるようになりたい!」と他部署の方から相談を受けまして、ち…