統計学基礎

統計学入門メモ

＜概要＞
現状、企業や組織には業務における大量のデータを保有しています。
今までは管理しきれないため見過ごされてきたデータ群を記録・保管して即座に解析することで、
ビジネスや社会に有用な知見を得て、これまでにないような新たな仕組みやシステムを産み出す可能性が高まります。
本研修ではデータの活用の礎となる、統計学の手法を理解し、数値の捉え方をケーススタディから学習します。

＜対象＞
企業内データを分析する方法を学びたい方、上流工程で業務の分析、改善を行う方。

＜目標＞
ビジネスにおける統計学の重要性を理解する。
代表的な統計手法の種類を理解する。
代表的な統計手法をビジネスで活用できる。

＜メモ＞
【第１章】ビジネスにおける統計学の重要性
目的）
　規則性を発見し、将来を予測するため。

求められるスキル）
　１．どの手法を適用すればよいか？- 統計学の手段を選ぶこと
　　手段を選ぶスキルが必要。
　　数学は不要。深掘りすれば必要かもくらい。研究職の仕事。
　　ビジネスでは優先度低い。
　　
　２．正しく結果(事実)を読み解く
　　
　
分析の必要性）
　客観的で説得力のある説明が求められている。
　意思決定のための材料。
　→成功確率が求められている。
　
　例　受注データ ⇔ 年代の客層
　
　欧米のMBA必須科目は統計学

データ分析の手順）
　統計学は万能ではない。
　
　１．目的設定
　２．仮設づくり
　３．データ収集
　４，分析方法の決定
　５．分析実施
　６．結果解釈
　
　データ分析は仮説検証型
　目的設定-仮設づくり

　誤解　→　データ分析すれば何か出てくるのでは？？
　※狙いと仮説が必須

　目的　顧客減少の原因は何故か
　→仮説　商品満足度が落ち込んでいる？
　　→分析方法の決定　相関分析
　　　→分析実施
　　　　→結果解釈　結論を導く or 再度検証

ＳＷ）
　統計ソフトウェア
　→SASという製品(大規模向け)
　　特徴 CUI中心
　　→ある程度ITリテラシー必要
　
　→SPSS IBM社
　　中規模向け
　　
　→R言語
　　※注目されている
　　※OSS
　　大規模であるが手軽に使える
　　オラクルが採用。
　　→もともと学者が使っていたもの
　　　敷居高い。CUIなので。
　　　
　Excelで十分学べます。
　
【第２章】代表的な統計手法
記述統計学と推測統計学）
　記述統計学　→　多くの情報を集約・要約する
　　　　　　　　　１年間の受注実績データ
　　　　　　　　　ヒストグラム、標準偏差

　推測統計学　→　得られたデータから未知のデータを推測
　　　　　　　　　一部のデータから全体を語る
　　　　　　　　　視聴率(サンプルをもとに傾向をつかみ全体を語る)

なぜ２つ必要か？）
　両方共組み合わせて使う
　
　一般的な順番
　　１．記述統計
　　→２．推測統計

　まずは記述統計学を行い、使用するデータを絞っていく
　データの外観を捉えることが大切。
　
　１で特徴あるデータを捉え、２で深掘りしていく。


記述統計学）
　ヒストグラム
　→データを一定の範囲に分けて視覚化
　→可視化しないと出てこない発想
　
　代表値
　→平均値、中央値、最頻値
　→どのデータが妥当か検討
　
　分散と標準偏差
　→標準偏差：人間が見た時に見やすくしたもの
　　例　±3.8万円(標準偏差)
　
　基本統計量：統計学で基本的な指標となるもの
　　　　　　　(平均値、中央値、最頻値、分散、標準偏差)

　散布図
　　右肩上がり(正の相関関係)
　　外れ値を最初から無視するのではなく、内容を吟味したほうがよい
　　→イレギュラーデータが明確になることでビジネスチャンスがあるかも
　
　相関
　　相関係数：2変数の関係の強さを表す指標
　　→絶対値が１に近づくもの＝相関が強い(すなわちゼロは相関なし)
　　→一般的に0.7以上だと相関関係ありと言える
　　→擬似相関には注意(直接的な相関なし)
　
　
推測統計学）
　母集団と標本
　　母集団：語りたいこと(目的・ゴール)
　　標本　：手元のデータ
　
　　前提→基本的に正規分布に従う
　　　
　単回帰分析
　　単回帰式→予測式 y=ax+b
　　　説明変数　説明材料(例：最高気温)
　　　目的変数　求めたいもの(例：売上)
　
　　y(目的)=ax(説明)+b
　
　　手順あり
　
　重回帰分析
　　説明変数が２つ以上だと重回帰分析
　　y=a1x1+a2x2+a3x3+・・・
　　※考え方として、説明変数をなるべく小さくする
　　※説明変数が互いに相関関係があると誤った答えが導かれてしまう
　　　例：駅からの距離、駅から徒歩時間
　
　検定
　F検定
　t検定
　x2検定
　分散分析

第33回 PaaS勉強会(2016/8/2)

１．10 分でわかる Cloud Foundry Summit 2016 報告
Hiroaki UKAJI さん
約１００セッション

(私見)頻出キーワード
　１．Digital Transformation(DX)
　２．Multi Cloud
　３．Microservices

　１．Digital Transformation
　　クラウドネイティブな世界へ
　　
　　オーストラリア政府のサービス基盤をCFを使ってCI化
　　

　２．Multi Cloud
　　ハイブリッド・クラウド的な話

　３．Microservices
　　設計思想
　　

２．10 分で書ける Cloud Foundry Route Service
Hiroaki UKAJI さん

　Route Service
　→アプリへ到達する前に何か処理してくれる

　アプリ ⇔ サービス(MySQLサービスとか)
         ~~bindという

　当然性能は低下する。
　ほぼただのHTTPサーバ

３．帰ってきた鬼っ子　～ Stackato を知っているか～
jyoshise さん(HP Enterprise)

　HPとしてはパブリック・クラウドはやめたが、AWSとかとパートナー契約している。

　Cloud FoundryはPivotalでしょ。
　
　Stackato
　→Pivotal CFとの違い？
　　→CFベースのPaaS商用ディストリビュート

　コンセプト
　　情シスが持てるPaaS <= 管理機能を強化
　　事業部ITが持てるPaaS
　　あなたが持てるPaaS

　パブリックの上にプライベート環境を構築できる。

　特徴=>コンテナがDocker
　DEAをDockerで動かしてきた

　参考）
　https://visualstudiogallery.msdn.microsoft.com/4cad4d95-099c-449e-9d90-7d4da5c4a0c0

　開発環境でPaaS活用できると生産性あがるかも

　PC上で動くお手軽PaaSもある。

　将来的にはMesosにも対応

４．「 DC/OS (何？)」をさわってみた
nota-ja さん

　https://dcos.io/get-started

５．みんなだいすきマイクロサービスと lambda スタイル。
　 (fabric8 と funktion の紹介と解説)
tnaoto さん(富士通)

　富士通クラウドサービス(UKリージョン)
　http://jp.fujitsu.com/solutions/cloud/k5/

　fabric8
　→プラットフォーム。CI 継続的改善

６．Open PaaSの新潮流？ Deis Workflowの話
jacopen さん

　Deis
　→Kubernetes(クーバネイティス) Google開発

　Request Rooter
　→これが実際のAppを指定しているので同じIP、PortでもURL(リクエスト)をもとに
　　切り分けできる。PaaSだと普通。

　PaaSとは、、、アプリの開発・運用支援サービス

　OpenShift敷居高い
　→Kubernetes知らないと使いこなせない。

JJUGナイトセミナー(2016.7.11)～Java API訴訟問題を考える～ に行ってきた

2016/7/11@日本マイクロソフト本社

19:00-19:30「Oracleが訴えるまでの経緯について～SunとOSSとIBMとAndroid～」
鈴木雄介（JJUG会長）

■Javaのエコシステム
→2011年から個人で仕様策定に参画できるようになった。
→独自機能によってロックインしていた。(Weblogic独自機能など)
ベンダーのためのエコシステム
SUNは認定することで利益を得ていた。
各社は独自実装を販売して利益を得ていた。
どんどん肥大化していった。

■OSSのエコシステム
Apache Software Foundation
オープンソースを支援する任意団体
2002、2004年OSS(Struts等)を受け入れることでとても盛り上がった。
→IBM(WebSphere)がとても貢献していた。
→OSSビジネスの成功
→Linuxの成功体験がベース
→Eclipseは2001.11にOSS化
2004年TomcatがRI(参照実装、検証)
2006年JBoss旋風
JavaEEではOSSをベースに盛り上がった。
→SEでもできないか?

■JavaとOSS
2005.5 Project Harmonyが提案
Eclipseみたいなものを目指していた。
2006.10 Apache Harmony誕生
2006.11 SunがJ2SEをOSS化
OpenJDK
2007年、公開書簡
Harmony「この利用制限を外せ」
Sun「嫌だ」
2007.8 SunがTCKを公開
Sun⇔それ以外

■AndroidとJava
2005年ごろ GoogleのAndroid戦略
オープンソースによる共有資産
2007年以降、Android普及へ
→無料で手を入れられるOS
→もうSunにライセンス料払わなくていい

■その後
SunのOSS戦略は成功せず
2016年、AndroidがOpenJDK

■まとめ
IBMはOSS戦略成功、Sunは失敗した。
IBMすごい。したたか❔

19:30-20:10「Oracle vs Google訴訟の全貌と概要 ～APIは著作権で保護されるべきか～」
栗原潔（弁理士）

http://www.slideshare.net/KiyoshiKurihara/oracle-vs-google-63898283

■日本と米国の違い
日本→条文に書いてあるかどうかを重視
米国→裁判結果を重視(市場への貢献しているかどうか、という考え。フェアユース)
やってみないと分からないのが米国。
→裁判するお金ないと不利になる。1億円くらい必要。

JJUG CCC 2016 Springに行ってきた

Thymleaf3を使ってみよう!
椎葉 光行さん
@bufferings
■Thymleafとは❔
Thymeleaf
→デザイナーの課題を解決するために開発されたもの。

仕組み→
th属性で制御している。
htmlでは無視される。Thymleafで動かす時thをみて動的に動く。

■始め方
Spring Bootから始めやすい。
キャッシュon/off

JerseysMVC

th:remove
→サンプルでは表示、実装では非表示にしたい場合。

Natural templating
http://bufferings.hatenablog.com/entry/2013/11/23/101731

------
ランチLT
elasticsearch stack
Jenkins ソフトウェア開発スピードアップ
→自社プライベートクラウド上にJenkinsサービスを構築。各プロジェクトから使えるようにする。プライベートクラウド上に開発ツールを構築して提供する。

------
ローカルでのID管理は大丈夫?!
よりセキュアでモダンなJavaの多要素認証
日本マイクロソフト
Javaエバンジェリスト寺田さん
元サンマイクロシステムズ→元オラクル

パスワードは暗号化していれば大丈夫?
→辞書攻撃、パスワードリスト攻撃などの脅威
salt付加する!

通信元を隠蔽したところからの通信
テナントをまたいた異常なログイン
感染デバイスからのログイン
→これらを個別に実装するのは大変
→AzureAD 餅は餅屋に任せないか？

世界で2番目に攻撃を受けているのがMicrosoft。1位は国防省。

多要素認証でよりセキュアなアプリに
→なぜ必要なの?
→ログインとパスワードはバレたらアウト
→より強固なものが必要
→知識情報、所持情報、生体情報など段階ある。

モバイル・アプリ

多要素認証を利用することでパスワード漏洩してもログイン可能。

JSR-196 JASIC
GitHubにアップ済
→yoshioterada

権限によるプログラム実装制御がアノテーションにより可能
→管理者権限ユーザなら実行させる。一般権限ユーザなら実行しないなど。

Java認証・認可モジュールの実装

------
ネクストStruts/Seasar2としてのJava EEアクションベースMVC入門 - MVC1.0、JerseyMVC、RESTEasyHTML
カサレアル 多田さん

アクションベースMVC(Struts経験者やりやすい)
コンポーネントベースMVC

JSF コンポーネントベース
JAX-RS

JavaEE8にてアクションベース標準で入る予定
→エンジニア集めやすい?

Ozark

MVC1.0
→画面構築×、二重submit×

Thymleaf3
→HTMLでかける。xhtmlを書かなくてOK(閉じタグとか不要)

TERASOLUNAガイドライン参照
全般的にThymleaf率高い。

やりたい事の実現やトラブル解決のためには、JAX-RSの知識が不可欠
→処理パイプラインが大切(買った本にある)

MVC1.0+ThymleafでStruts代替か。

春のJava IDE祭り～激突!? 3大IDE～

=====================================================
IDEだとかテキストエディタだとかそんなチャチなもんじゃあ断じてねえ。
もっと恐ろしいものの片鱗を味わせてやるぜ（山本さん）
=====================================================
JJUG読み方(今更。。。)
→ジェイジャグ。

どれくらい凄いの？
→会社作るくらい凄い。

■サンプル　Twitterインスタンス生成～
TwitterFactory.
変数へのセットが半自動(.varでコード補完される)
同じ感じでfor文も楽。
→行の先頭へ戻る操作が不要になる。

警告(あやしい箇所)表示機能も充実

デバッガ
→より効率的に

HTML5対応
→HTMLコーディングはリアルにブラウズ反映
　コード選択して削除みたいなときに便利な機能あり
　※構文をみて選択してくれるので誤ってタグを削除することがなくなる！
　　当然Java等も。

JS対応
Gitとの連携OK

JDBCドライバー
→別途インストール不要。IDEの中で進めていけば自動インストールしてくれる。

いちいちSSHトンネルを掘る必要がなくなる
→機能として設定可能

Java9まで対応している？！

=====================================================
Eclipseでサクサク開発！ そしてクラウドIDEへ（谷本さん）
=====================================================
48% eclipse 2014年
→STSも合わせれば50%こえる

エンタープライズ最強な理由
No.3 plugin豊富
No.2 Free
No.1 設定できる。import/export

重い理由
No.3 plugin
No.2 Incremental build
     開発・関連モジュールが多いと重くなる。
No.1 WTP(for JavaEE)
     XMLとか重い。
No.0 Anti Virus
     某大手家電メーカ。。。
Use Pleiades platform and install JDT.

Anti Virusが原因なら対象から外すしか・・・

eclipse自体は軽いので重いpluginを突き止めて対処

将来的にマイクロサービスがさらに普及していくのでは。

今後のリリース予定
2016.6 Neon
2017   Oxgen

Cloud IDEデモ紹介
→実用性にはまだ不十分。
参考サイト
http://www.publickey1.jp/blog/16/eclipse_che.html

エンタープライズ目線
→独自のルールを作ったり、チェックしたりする場合
　(個別のローカル環境で設定不要なので)統一しやすい。

=====================================================
NetBeans IDEの現在とこれから（片貝さん）
=====================================================
歴史からみるとわかりやすい

チェコのプラハ
→学生のプロジェクトが始まり

位置づけ
JDeveloper エンタープライズ
NetBeans   軽量に
ゆえに・・・
最新のJavaテクノロジをいち早くサポートする

日本語版(英語版とほぼ同時リリース)

最近はHTML5サポート強化
→デバッガ、UnitTest等
　ブラウザ連携

Oracle JET
→面白い？！らしい。
　エンタープライズ向けJavaScriptライブラリ(FW)
　レスポンシブデザイン

http://www.publickey1.jp/blog/16/javascriptoracle_jetspaui.html

http://kojs.sukobuto.com/docs/introduction

JavaEE7徹底入門にあるサンプルアプリケーションを動かしてみる

3/19開始
課題）

GlassFish(4.1.1)の管理コンソールでJDBCコネクションプール設定時にhttp500エラーが発生する。

New JDBC Connection Pool (Step 1 of 2)で必要事項を入力し、「Next」ボタン押下すると

http500エラーが発生する。

原因）

GlassFIsh4.1.1の不具合。

対処）

案①　4.1をインストールして使う。

案②　5.0のリリースを待つ。

②はないのでとりあえず案①で進め見ます。。。結果は別途投稿します。

参考）

https://teratail.com/questions/22777

3/24追記
案①で進めようと思いましたが、どうやら別のディストリビュートでPayaraというものがあり、
これでも動きそうなのでPayaraを早速ダウンロード。

http://www.payara.fish/downloads

インストール後、起動。
コネクションプール設定できました。





課題）
P.382 OracleXEへのpingが失敗する。

原因）
設定パラメタ不正？もしくはOracleサービスが起動していない？

対処）
ログ場所
～payara41\glassfish\domains\domain1\logs
→(4/7)使用ポートの変更で解決するかも？！

4/7追記
課題）
APサーバ起動時に使用ポートが被ってしまい、エラーになることがある。

原因）

使用ポートが重複している。

対処）

使用ポートおよび対象サービスを確認し、サービス停止する。
http://sinsengumi.net/blog/2011/01/windows%E3%81%A7%E3%81%A9%E3%81%AE%E3%83%9D%E3%83%BC%E3%83%88%E3%81%8C%E4%BD%95%E3%81%AE%E3%82%A2%E3%83%97%E3%83%AA%E3%82%B1%E3%83%BC%E3%82%B7%E3%83%A7%E3%83%B3%E3%81%A7%E4%BD%BF%E7%94%A8%E3%81%95/



＜Payaraの起動手順＞

C:\Program Files\payara41\glassfish\bin

下記を実行。
startserv.bat

http://localhost:4848/

JAWS DAYS 2016箇条書きメモ

＜[キーノート]JAWS-UGこれまでとこれから＞
・会社⇄コミュニティ 活性化
・クラウド技術は多岐にわたるため一人や会社でカバーできない
→ありがたい
・貢献の仕方(参加、会場提供、ツイート)

＜首都圏以外でイノベーションをリードするユーザー企業からクラウド活用を学ぶ
〜地方のユーザ企業はクラウドとどうつきあうべきか？〜＞
■前半：どうやったら地方住みでAWS使って幸せになれるか。(なれないかもしれないが)
堀尾紀昭[株式会社アンデルセンサービス]

・ハンズオンだけだとサーバ立てて終わり
・ネットワークありき
・システム資産は集中
・人に買わせて手数料払う
・アプリに専念
・時間貸しAWSを活用(Hadoop)
・監視運用をプログラムで自動化
・移行はテスト、性能確認が重
・クラウドになることで、アプリ寿命がのびる
・クラウド活用によりインフラの時間短縮により休みも多くなる

■後半：ヤマハ発動機におけるクラウドの取り組み
原子 拓[ヤマハ発動機株式会社]

・Office365動かすためにWorkSpaces
・2ヶ月でサービスイン
・トンネルはだめだが新幹線はほほ大丈夫。少し不安定になるくらい。
・どこでもコールセンターやりたい
・まだまだコストメリット検討必要
・ユーザ会立ち上げて関係を築いていく

＜外よりも中からの攻撃・事故がヤバイ、今やるべきクラウドセキュリティ対策＞
齊藤 愼仁[アイレット株式会社]

・基準
・SSOできなければNG
・SAML、Kerberos認証
・多要素認証
・最低限、サービスの机上評価
→IPA手引きある。
→リスクを洗い出し、共有が目的
・クラウド時代、透明性
・セキュリティは積み重ね
・安全なものはない、例えば銀行に預ければ完璧か。

＜長谷川秀樹のIT酒場放浪記 情シス不要論編＞
〜情シス不要論にみるIT部門のありかたとは〜
モデレータ：長谷川秀樹[ハンズラボ株式会社]

・エンドを意識する
・第2の部門(攻め)デジタルイノベーション
・クラウドという言葉を使わない。
→アマゾンのデータセンターつかう。
・セールスフォースが強いのは日本郵政
・AWSはCIA
・自分がどの領域で成果を出せるかが大切
・現場(小売)出るべき。
・いい部門→昔は流通だめだった。今は店舗でPOSによって変わった。
・IT部門が業務部門に近いか
・自分の強み、棚卸する。
・ビジネスメリットを理解する。
・PMとサービスマネジメントは軸
・一回転職活動してみる
・非ITの方と話す。すごい人をみつける。人の話を聞ける。他のことをやってる人をリスペクトする
・ビジネスで認められる仕事をすること
→ハッピーになる
・エンジニアは小さい会社がよい

＜金融クラウド＆FINTECH最新動向　～AWSで金融のイノベーション！＞
モデレータ：渥美 俊英[アマゾン ウェブ サービス ジャパン株式会社]

・欧米の投資がすごい
・金融庁から方針でてる
→2015/9
→FISC安全対策基準
・国際社会から遅れている。
・直接立ち入りしなくても代替可。SOC2、ホワイトペーパー。
メガバンク側 シニアアナリスト
・銀行だけを見てればいい環境はおわった
・金融もテクノロジー大切、投資も
・ウェルズナビ
・スピードとアイデアを外部から取り込む
・トップのICTへの理解が進んでいる
→R&Dへの投資
→海外政府の動きがはやい(EU)
・従来新しいものを作り出す必要性がなかった→成功事例を打ち出す
・ユーザと一緒に改善していく
・あっという間に変わった
→アメリカでも取引は郵送だった(まずは印刷を外注に)
・いろんな職種をまわすスキル
・金融機関の上層部ですらDevOpsという単語に注目している
・コアとフロント(スピードある開発手法)
→シティバンクは海外でコミュニティつくってる。VISAとかもやってる。
・非金融エンジニアも無視できない。
・出資について方針もかわる
・熱量が大切。自分がワクワクすることか大切。
・アカウントアグゲーション

＜長谷川秀樹のIT酒場放浪記 SI不要論編＞
〜「SIerの余命は5年」は本当なのか〜
モデレータ：長谷川秀樹[ハンズラボ株式会社]

・オリンピック境目
・2020年以降、グローバルとイノベーション。
・客を替えろ
・昔メインフレームなくならいと言っていた。
・今価値あることは数年後には価値ない
・オーダーメイドは本来凄いこと。
・競争力のあるカスタマイズ
・工数かけるだけの価値があるのかの観点
・提案料もらう必要あり
→提案＝コンサル料

＜備忘＞
E-JAWS
オラクル クラウド 資格