デジビBlog

KNIMEを使ったintra-martのログ分析 – 1 –

投稿日:2019-05-23 更新日:

こんにちは。 デジタルビジネス推進室(デジビ)の関根です。
今回はKNIMEを使ったintra-martログ分析の手法を紹介したいと思います。

本記事の前提条件

・KNIME 3.6.1
・intra-mart Accel Platform 2018 Summerのログ
・リクエストログの設定は以下になります。
[%d{yyyy-MM-dd HH:mm:ss.SSS}] [%thread] %X{log.report.sequence} %-5level %logger{255} %X{tenant.id} %X{log.id} - %X{client.session.id} %X{request.remote.host} %X{request.method} %X{request.url} %X{request.query_string} %X{request.url.referer} %X{request.page.time} %X{request.accept.time} %X{request.id}%nopex%n

この記事のゴール

intra-mart Accel Platform のリクエストログをKNIMEに取り込み、
リクエストURL毎の処理時間を集計。リクエスト処理時間総合ランキングを一覧化します。
これにより、利用頻度が高い機能、性能が出ていない画面を見つけるヒントとなるかと思います。
KNIMEインポートファイルはこちら:リクエスト処理時間総合ランク


まず初めに…

intra-martのログをKNIMEに取り込みます。

【ポイント】List Filesノードを使用してログファイルを複数取り込みます。
ローテートされたログファイルに対応するために、List Filesノードを使用します。

【ポイント】Parallel Chunkによる処理の並列化を行います。
複数ファイルの読み込みは直列でやる必要がないので、並列化します。
※ただし、並列処理はPCに負荷がかかりますのでご注意ください。

次に…

取り込んだログを整形します。

【注意】ログファイルはintra-martの環境設定に応じて出力内容が異なりますので、環境に合わせて修正が必要です。

最後に…

整形したログから、リクエスト処理時間のランキングを作ります。

【ポイント】リクエストURLに対する集計
GroupByノードを使用して、リクエストURLに対してスレッド数(Count)、ユニークセッションID(Unique Count)、ページ処理時間の最大、最小、中央、90%ile、平均、合計、標準偏差を求めます。

以上で、リクエスト処理時間総合ランキングの一覧化完了です!

まとめ

今回はURLを基準にリクエスト数や処理時間を求めてみました。
KNIMEを使うことで、ほぼプログラミングなしで簡単に実装できますね。

リクエストログ以外にも、例えばintra-martの設定ファイルやデータベースのログ、Javaのスレッドダンプ、、、を
取り込んで時間軸で並べるような拡張をすることで性能調査等に使えるツールになってくるかと思います。

次回の予告

次回は、期間を基準に同時リクエスト数や処理時間を求めてみたいと思います!

-デジビBlog

執筆者:


  1. […] ログの取り込み・整形は前回のブログ記事をそのまま使用しますので割愛! 今回はログファイル以外にも、 thread-maxの設定が記載されているxmlファイルを取り込んでいます。 […]

  2. […] ログの取り込み・整形は前回のブログ記事をそのまま使用しますので割愛! 今回はログファイル以外にも、 thread-maxの設定が記載されているxmlファイルを取り込んでいます。 […]

KNIMEを使ったintra-martのログ分析 – 2 – – intra-mart Developer Site にコメントする コメントをキャンセル

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

関連記事

【業務効率化】AIによるパワポ資料作成支援

こんにちは、デジビの関根です。 パワーポイントで資料を作る際に どんな画像を差し込むか悩むことってありませんか? 過去に作った資料から画像を持ってきたり、 いらすとや様のようなフリー素材集から画像をい …

no image

【IMラズパイ番外編】激アツなラズパイ4を冷却してみた

こんにちは、デジビの堀内です。 今回は新しく発売されたIMラズパイの番外編です。 激アツなことで有名なラズパイ4の冷却を行ってみました。 その前に簡単に消費電力と温度を測ってみます。 測定条件は以下の …

【EWS2019】DX展示 – 当日の様子 –

こんにちは、デジビの関根です。 EWS2019 ご来場ありがとうございました! 今年は会場を大型化し、昨年を上回る2,500名様超の集客となりましたが、 滞りなく開催できました。 DX展示についてもト …

EWS2019_DX_level1_level2

【EWS2019】DX展示 – レベル1・2 –

こんにちは、デジビの関根です。 今回より、DX展示ブースの技術寄りな話をします。 おさらい 今年のDX展示は、intra-mart流の業務プロセス自動化研究を4つのレベルに区切り、それぞれの研究内容を …

dezibiz-raspberry-pi-4-resin2

ラズパイ4でIMを動かしてみた!【Resin起動編】

こんにちは、デジビの堀内です。 今回は新しく発売されたラズパイ4でイントラマートを動かしてみる、という実験について紹介します。 前回はラズパイ4のセットアップを行い、SSDで起動をするところまでやりま …

RSSRSSRSSRSS