デジビBlog

KNIMEを使ったintra-martのログ分析 – 2 –

投稿日:2019-05-31 更新日:

こんにちは。 デジタルビジネス推進室(デジビ)の関根です。
前回に引き続き、intra-martのログ分析の手法を紹介します。

本記事の前提条件

・KNIME 3.6.1
・intra-mart Accel Platform 2018 Summerのログ
・リクエストログの設定は以下になります。
[%d{yyyy-MM-dd HH:mm:ss.SSS}] [%thread] %X{log.report.sequence} %-5level %logger{255} %X{tenant.id} %X{log.id} - %X{client.session.id} %X{request.remote.host} %X{request.method} %X{request.url} %X{request.query_string} %X{request.url.referer} %X{request.page.time} %X{request.accept.time} %X{request.id}%nopex%n

この記事のゴール

intra-mart Accel Platform のリクエストログをKNIMEに取り込み、
期間毎の同時リクエスト数や処理時間等を一覧化します。
これにより、どの時間帯にユーザのアクセス数が上昇するか、同時リクエスト数はいくつか等を見ることが可能になります。

KNIMEインポートファイルはこちら:期間別統計レポート



まず初めに…

ログの取り込み・整形は前回のブログ記事をそのまま使用しますので割愛!
今回はログファイル以外にも、
thread-maxの設定が記載されているxmlファイルを取り込んでいます。

次に…

同時リクエスト数を算出します。

【ポイント】同時リクエスト数の算出方法
計算用変数を追加、リクエストの送信とリクエストの受信に分割、
送信側は+1、受信側は-1を変数にセットし、
集計期間(1時間)毎に最大値を取得します。

最後に…

整形したログから、期間別集計の一覧を作成します。

【ポイント】期間に対する集計
GroupByを使用して、集計期間毎にスレッド数(Count)、
ユニークセッションID(Unique Count)、ページ処理時間の最大、最小、中央、90%ile、平均、合計、標準偏差を求めます。

【ポイント】thread-max値と同時リクエスト数の可視化
Line Plotノードを使用して、
設定ファイルから取得したthread-max値と同時リクエスト数を
比較するグラフを作成します。

まとめ

今回は期間を基準にリクエスト数や処理時間を求めてみました。
同時リクエスト数を求めるところが若干手間ですが、
あまり複雑な処理もなく実装ができました。
また、intra-martの設定ファイルを組み合わせることもできました。
今後もこのフローを拡張していきたいと思います!

おまけ

ノードが増えることによって可読性が落ちていくので、
必要に応じてメタノード化を行いましょう。(by生田)

次回の予告

研究開発で社内検証している機能「デジビダッシュボード」を紹介しようと思います!

-デジビBlog

執筆者:


  1. […] 過去のKNIMEに関連する記事はこちら! ・intra-mart BIORAブース – サーモセンサーとAI音声チャット ・KNIMEを使ったintra-martのログ分析 – 1 – ・KNIMEを使ったintra-martのログ分析 – 2 – […]

comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

関連記事

【EWS】「業務自動化」に向けたステップアップ【DX展示】

こんにちは。 デジタルビジネス推進室(デジビ)の関根です。 今回は、今年のDX展示内容について、すこ~しだけご紹介します。 intra-mart流の業務プロセス自動化研究ステップ 現在デジタルビジネス …

【EWS2019】DX展示 – 当日の様子 –

こんにちは、デジビの関根です。 EWS2019 ご来場ありがとうございました! 今年は会場を大型化し、昨年を上回る2,500名様超の集客となりましたが、 滞りなく開催できました。 DX展示についてもト …

アイスボタンの作り方

こんにちは。デジタルビジネス推進室の高松です。 前回ご紹介したIoTボタンについて、「作り方を教えてほしい」という話を頂いたので、ご紹介します。 構成について 始めに、アイスボタンの構成を記載しておき …

dezibiz-raspberry-pi-4-im2

ラズパイ4でIMを動かしてみた!【IM起動編】

こんにちは、デジビの堀内です。 今回は新しく発売されたラズパイ4でイントラマートを動かしてみる、という実験について紹介します。 前回はラズパイ4上でresinを立ち上げるところまで行いました。 ラズパ …

低周波音の測定と可視化

初めまして。デジビ林と申します。 最近、他部署から新しい職場(デジビ)に引っ越してきました。 デジビフロアに入室したときに第一印象、何か音がする場所だなと思いました。 先輩達は気にならない様子でした。 …

RSSRSSRSSRSS