Elastic {ON} 2017 3/7 ノート(1日目)
今日からElastic {ON}が始まった。会場はサンフランシスコのPier48という、AT&Tパーク近くの倉庫のようなイベント会場。キーノートを行う一番大きなセッション部屋はそれなりに大きい。
キーノート
日本のElastic {ON} Tourでもお見かけしたことのある、CTOのShay Banonさんを中心に話は進む。
新しい機能の紹介に絞ると、以下のような話題がある。
- Kibanaの新しいVisualize
- Filebeat module (coming in 5.3)
- Machine Learning (coming in 5.4)
- Elastic Cloud Enterprise (Beta now)
- Elastic SQL (coming soon)
- Kibana canvasプラグイン (coming soon)
Kibanaの新しいVisualize
導入時期については聞き取れず。以下のダッシュボードのような、今までにないVisualizeが追加される。
新しいVisualizeの1つであるtime series。Inboundのトラフィックを中心線より上、Outboundを下にグラフ化し、In/Outの割合がわかりやすくなる。
Filebeat module (coming in 5.3)
詳細はGithubのissuehttps://github.com/elastic/beats/issues/3159 に書かれていたが、Filebeat moduleとは、ざっくりいうと、以下のような設定をまとめたもの。
- Filebeatのprospectorのyml設定
- ElasticsearchのInjest Nodeのパイプライン定義
- Elasticsearchのフィールド定義(各フィールドの型情報など)
- Kibanaダッシュボード
これは、キーノートの後に行われたセッションで説明されていたが、今までのログの取り込みからは可視化までは、以下のようなフローを"ログごとに"繰り返し行う必要があった。
- beatの設定をして
- LogstashでGrok書いて (またはInjest Nodeにパイプライン定義して)
- Elasticsearchのtemplate書いてスキーマ定義して
- KibanaでVisualizeとダッシュボード作る
Filebeat moduleはこれらの"繰り返し"行う作業を一つの既成のモジュールにまとめて、以下のようにbeatの-setupオプションを実行すると、今までやっていたような設定を1コマンドでやってくれるらしい。
Filebeat moduleのデモとして、Nginxログのダッシュボード、SSHアクセスログ(ログイン成功/失敗数など)、sudo実行履歴の分析が紹介されていた。
masterブランチのFilebeat moduleのドキュメントには、Apache2、MySQL、Nginx、Systemの各モジュールがあると示されている。
Machine Learning (comping in 5.4)
日本のElasticのイベントではPrelertという名前で紹介されていた、機械学習プラグインがMachine Learningという名前で紹介された。*1
IT Operationデータと呼ばれていた、仮想的な業務に対するデータ傾向分析のデモ。KibanaのMachine Learningプラグインでは、Jobという単位でタスクを作成。過去のデータから自動的に傾向を抽出し、特異点を発見する。デモの範囲では、いつもの折れ線グラフを作る場合と同じぐらいの入力をしただけで、過去のデータが傾向を抽出。左からデータが増えるごとに、傾向を示す薄い色の範囲が狭くなり、画面右側のようにデータが大きく動くと、また傾向の範囲の精度が荒くなっている。
特異点は、heat map chartのような図で、赤や青で上下に値が振れ過ぎているのを可視化していた。
ここは私の想像の部分だが、以下のような用途で使えるかなぁと思った。
- 一般消費者向けのお店(スーパーとか衣類店など)で、雨降った日に必要以上に売り上げが落ち込んでいる店を一発で可視化する
- システムリソース解析で、色んなサービスがRESTやSOAPで絡み合っているシステムにおいて、業務量がそれほど増えてないのに、他サービスと比較してリソース消費量が多いサービスを一発で抽出する(アプリケーションに性能バグがないか抽出)
Elastic Cloud Enterprise (Beta now)
Elastic Cloudはフルマネージドなサービスに対して、自分の好きなpublic or privateクラウド、またはベアメタルのハード上で、Elastic Cloudのような管理機能を持つクラスタを構築するためのもの。既にBeta1が出ており、ドキュメントは以下から参照できる。
What Is Elastic Cloud Enterprise? | Elastic Cloud Enterprise Reference [1.0.0-beta1] | Elastic
自分の所属している組織で考えると、Elasticスタックを初めて使うプロジェクトに対して、お試し環境として貸し出し用に使いたいなと考えた。外に出せないデータ向けの、オンプレミスのお試し環境は欲しい。プロダクション環境用途として使われると、一人で運用管理するのは少々荷が重い。
Elasticsearch SQL (coming soon)
ElasticsearchクエリにSQLが使えるAPI /_sql の導入。
SELECT文だけでなく、DESCRIBEによるスキーマ情報の確認、EXPLAINによるクエリ実行計画の確認もできる。RDBMSライクに操作可能。
Kibana canvasプラグイン (coming soon)
pptスライドやポスターのようなダッシュボードが作れるプラグイン。以下のスライドのようなものに含まれる、グラフはVisualizeで作成したもので、文字の部分はpptのようにオブジェクトして埋め込んで操作していた。
縦書きの例も紹介。
動画は撮れなかったため、文字では伝わりにくいが、通常のダッシュボードと同様に毎秒更新のような設定をしておくと、グラフが毎秒最新のデータで更新される。ライブデータでプレゼンできるので、人に見せる時にはインパクトがある。
今までのダッシュボードはKibanaっていうのが一目でわかる見た目しか実現できなかったため、システムにあまり詳しくはない、ビジネス寄りの方へのレポート作成として重宝できるプラグインと思われる。
各セッションについては後日追記予定。
What's Evolving in Elasticsearch?
TODO
セッションの前半はElasticsearch5.2までの振り返り。セッション後半が今後の話。
Elasticsearch 6 and beyond
- Doc Value 2.0 (Lucene 7)
- Index Sorting (Lucene 7) https://github.com/elastic/elasticsearch/issues/6720
- Sequence Number (Internal use)
- Rolling Upgrades 6.0
- 5.x系最新から6.x系最新へのアップデート時はクラスタ全体のリスタートが不要に
- ユーザがアップストリームについて来やすいようになる
- Cross Manjor Version Search
- 異なるメジャーバージョンの並行運用が可能。Kibana -> Elasticsearch6.x -> Elasticsearch5.xの流れのように、新しいElasticsearchから古いElasticsearchにリクエストを転送することで、メジャーバージョンが共存したクラスタへのクエリを実現する。
What's Cookin' in Kibana?
TODO
こちらもセッションの前半はKibana5.2までの振り返り。tag cloudやheatmap chart、Logstash Monitoring、I18N(ロシア語などへの一次対応)、5.1.1のKibana高速化など。
セッション後半が今後の話。
- Log event context https://github.com/elastic/kibana/issues/275
- query+filterバーによる補完
- CSVエクスポート
- Top hits aggregations
- Chart Improvement
- 折れ線グラフと棒グラフを1つのVisualizeに描画
What's Brewing in Beats?
TODO
- Filebeat moduleのデモ (MySQL)
- Metricbeatの応用
- PrometheusとMetricbeatを連携させて、アプリケーションレイヤ(注文数など)のメトリクス収集
- jolokiaと組み合わせてJMXメトリクス収集
- Heartbeatの導入
- DockerへのMetricbeat
- DockerコンテナとしてMetricbeatを起動すると、同じホスト内のそれぞれのコンテナの状態を監視できる
将来的なテーマ
*1:言葉で言ってたかは聞き取れなかったが、少なくともキーノートのスライドにはどこにもPrelertって書いてなかった気がする
