今日学んだこと

ESBを必要とするシーン

https://thinkit.co.jp/free/article/0606/3/3

サービス指向アーキテクチャ (SOA)

https://wa3.i-3-i.info/word16261.html

サービスイン

https://wa3.i-3-i.info/word1771.html

Pandasを用いた基礎分析

http://blog.brainpad.co.jp/entry/2014/12/10/204111

tsvファイル読み込み

http://www.mwsoft.jp/programming/numpy/pandas_csv.html

DataFrame作成

https://pythondatascience.plavox.info/pandas/pandas%E3%81%A7%E3%83%87%E3%83%BC%E3%82%BF%E3%83%95%E3%83%AC%E3%83%BC%E3%83%A0%E3%82%92%E4%BD%9C%E3%81%A3%E3%81%A6%E3%81%BF%E3%82%88%E3%81%86

# http://blog.brainpad.co.jp/entry/2018/08/02/114422

【 scp 】コマンド――リモートマシンとの間でファイルをコピーする

http://www.atmarkit.co.jp/ait/articles/1701/27/news009.html

Jupyter Notebookをバックグラウンド実行で動かす

https://qiita.com/ishizakiiii/items/b98bbf8997f039f40058#%E3%83%90%E3%83%83%E3%82%AF%E3%82%B0%E3%83%A9%E3%82%A6%E3%83%B3%E3%83%89%E3%82%B8%E3%83%A7%E3%83%96%E3%81%A7%E5%8B%95%E3%81%8B%E3%81%99

今日学んだこと

コピペから脱却して自由に Deep Learning するための TensorFlow 再入門

https://qiita.com/horiem/items/00ec6488b23895cc4fe2

train = tf.train.GradientDescentOptimizer(0.0001).minimize(loss) という行が出てきました。これは、ざっくり言うと、「誤差 (loss) を最小にせよ (minimize) 」という部分で、そのための方法として勾配降下法 (Gradient Descent) を用いているということです。さきほど、誤差関数 (= loss) は望みの状態のときに最小になるように設計したことを思い出してください。ここで loss を最小にすることで、望みの状態へとモデルを変化させていっているということを意味しています。

Inside of Deep Learning あるいは深層学習は何を変えるのか

https://qiita.com/jiny2001/items/85af7dd163a63b3a152a

ディープラーニング機械学習の違い (Vol.5)

https://products.sint.co.jp/aisia/blog/vol1-5

Python データ分析

データ分析に興味が出たので学習する。  

 

題材

www.udemy.com

 

環境構築 

Anacondaというディストリビューションを使うのが楽とのこと。  

Macにインストールも簡単。  

以下からダウンロードして、インストーラー起動するので指示通りボタンをポチればインストール完了する。

心配な人は手順をまとめてくれているサイトがありますので参照してください。

www.anaconda.com

 

参考

www.sejuku.net

 

ディストリビューションとは、便利なツールをひとまとめにしたもの(ソフトウェアパッケージ)。  

 

横道  

ディストリビューションつながりでLinuxディストリビューションの説明。  

www.infraeye.com

 

www.ibm.com

今日学んだこと

性能試験をして、結果まとめ中。
複数回試験したが、実施タイミングによってサーバの稼働状況が異なり、どれだかバラつきがあるのか表現したかった。
本当はGoogle Spreadsheets でグラフ化したかったが、誤差の表現がエクセルでないと出来なかったのでエクセル使いました。

データからワンランク上の規則性を見つけるために 「分散」と「標準偏差」をざっくり理解し、エクセル分析しよう

https://markezine.jp/article/detail/15763

エラーバー付き棒グラフをエクセルで作る

http://www.gon-tech.net/article/438065698.html

今日学んだこと

JavaのStreamのcollectメソッドで使われるCollectorインターフェースおよびCollectorsクラスについて。

http://www.ne.jp/asahi/hishidama/home/tech/java/collector.html

Javaでリストの集約(Collectors.groupingBy)

https://qiita.com/KevinFQ/items/c4e7b5835487180d9659

Java入門】List⇔Map変換でJava8のStreamを使う方法

https://www.sejuku.net/blog/15900#Stream

今日学んだこと

Amazon Athena のパフォーマンスチューニング Tips トップ 10

https://aws.amazon.com/jp/blogs/news/top-10-performance-tuning-tips-for-amazon-athena/

S3のデータをAmazon Athenaを使って分析する

https://aws.amazon.com/jp/blogs/news/analyzing-data-in-s3-using-amazon-athena/

SETTING UP PRESTODB ON LINUX

https://optimalbi.com/blog/2018/05/15/setting-up-prestodb-on-linux/

Engineering Data Analytics with Presto and Parquet at Uber

https://eng.uber.com/presto/

データ視覚化のデザイン #1

https://note.mu/goando/n/neb6ea35f1da3

データ視覚化のデザイン #2

https://note.mu/goando/n/n4a2735c3d69d

人材だけそろってもデータ活用はうまくいかない ガートナーが説く「4つのポイント」とは

http://www.itmedia.co.jp/enterprise/articles/1806/25/news056.html [1]データ活用に関わる言葉を理解し、整理し、認識を合わせる。 [2]基盤の構築やデータ集約よりも、誰が何をどう分析するかを先に決める。 [3]データの価値や品質、人の育成や意識改革、組織作りに重点を置く。 [4]ボトムアップトップダウンの両面で文化を醸成する。

今日学んだこと

機械学習

Google機械学習活用勉強会レポート

https://engineer.dena.jp/2017/10/google.html

BigQuery ML

https://twitter.com/yutah_3/status/1023424745339928576?s=12

初心者でも機械学習の基本的なアルゴリズムを学べる11のスライド

https://paiza.hatenablog.com/entry/2018/07/27/%E5%88%9D%E5%BF%83%E8%80%85%E3%81%A7%E3%82%82%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92%E3%81%AE%E5%9F%BA%E6%9C%AC%E7%9A%84%E3%81%AA%E3%82%A2%E3%83%AB%E3%82%B4%E3%83%AA%E3%82%BA%E3%83%A0%E3%82%92%E5%AD%A6

5 Quick and Easy Data Visualizations in Python with Code

https://towardsdatascience.com/5-quick-and-easy-data-visualizations-in-python-with-code-a2284bae952f

財務諸表の図解

2017年最後に抑えておきたいビジネスの基本概念7個

https://note.mu/tck/n/n6c2cfb70a473

iPhoneアプリ

『メルカリ』 アプリの画面描画を高速化する技術、バックエンド・iOSAndroidの基本設計

https://employment.en-japan.com/engineerhub/entry/2018/07/27/110000