Armadillo-Box WS1/fluentd
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
単語検索
|
最終更新
]
開始行:
[[Armadillo]]~
[[Armadillo-Box WS1/BLE Gateway]]
#contents
*Armadillo-Box WS1/fluentd [#g6abfdd4]
Armadillo-Box WS1 はカーネルもユーザーランドも Armadillo-...
ROM イメージのサイズに注意すれば Armadillo-IoT で動作する...
ほとんど動作させることができます。~
~
[[Armadillo-Box WS1/BLE対応]] と [[Armadillo-Box WS1/Wifi...
flunetd を動作させ、BLE 経由で集めたデータをログ収集用の...
以下に記します。
**収集データの形式 [#bd9fc435]
fluentd でサーバへ送信するデータは、Bluetooth Low Energy ...
以下のようなフォーマットで atmark dist の syslog が出力さ...
tempgw が syslog へ出力するデータ収集アプリ名、ADV は BLE...
temp は温度、rssi は受信強度です。
Nov 30 15:00:43 (none) user.info tempgw: ADV: E0:40:56:7...
これを fluentd の tail plugin で読み込み、適切にフォーマ...
syslog plugin を使ってしまうと format せず message: に全...
データ利用のための検索がしにくいなどの問題があるため tail...
**fluentd 追加 [#n49156dd]
atmark dist の make menuconfig で fluentd 関連ファイルを...
vendor/Product を指定します。
(AtmarkTechno) Vendor
(Armadillo-Box WS1) AtmarkTechno Products
ユーザーランドのコンフィギュレーションを行い、 flunetd と...
[*] Customize Vendor/User Settings (NEW)
Miscellaneous Applications --->
:
:
--- extension
:
:
[*] ruby <-- チェックをいれ有効...
(2.1.2) Version <-- 2.1.2 にする。2.0....
[*] fluentd <-- ruby にチェックを...
:
[*] http_parser.rb <-- ruby にチェックを...
[*] ruby-cool.io <-- ruby にチェックを...
:
[*] ruby-macaddr <-- ruby にチェックを...
:
[*] ruby-sigdump <-- ruby にチェックを...
[*] ruby-systemu <-- ruby にチェックを...
[*] ruby-string-scrub <-- ruby にチェックを...
[*] ruby-thread_safe <-- ruby にチェックを...
[*] ruby-tzinfo <-- ruby にチェックを...
[*] ruby-tzinfo-data <-- ruby にチェックを...
:
[*] msgpack-ruby <-- ruby にチェックを...
:
[*] yajl-ruby <-- ruby にチェックを...
:
:
:
**カーネルとユーザーランドのビルド [#e683004d]
上記の変更を反映したカーネルとユーザーランドを一旦ビルド...
atmark@atde5:~/atmark-dist$ make clean
atmark@atde5:~/atmark-dist$ make
**fluent.conf の配置 [#w3fdb140]
ROM イメージディレクトリの /etc に fluentディレクトリを作...
~
ただし、 ramfs で起動する atmark dist の特徴として /etc/c...
起動後の変更内容を保存できないので、設定ファイルへの変更...
/etc/fluent/fluent.conf は /etc/config/fluent.conf への s...
atmark@atde5:~/atmark-dist$ cd romfs/etc
atmark@atde5:~/atmark-dist/romfs/etc$ mkdir fluent
atmark@atde5:~/atmark-dist/romfs/etc$ cd fluent
atmark@atde5:~/atmark-dist/romfs/etc/fluent$ ln -s /etc/...
また、/etc/config/ 以下の設定ファイルは初回起動時に /etc/...
Armadillo-Box 本体内フラッシュメモリの config 保存領域に...
fluent.conf の実体は /etc/default/ の下に保存しておきます。
atmark@atde5:~/atmark-dist/romfs/etc/fluent$ cd ../defau...
atmark@atde5:~/atmark-dist/romfs/etc/default$ cp ~/atmar...
**イメージ再作成 [#d9cc3238]
fluent.conf の配置が完了したら、上記の設定ファイル配置変...
atmark@atde5:~$ cd atmark-dist
atmark@atde5:~/atmark-dist$ make image
**動作確認 [#u248af46]
Armadillo-Box WS1 がネットワークに接続してある場合に一番...
12.4. TFTPを使用してフラッシュメモリを書き換える~
http://manual.atmark-techno.com/armadillo-box-ws1/armadil...
でカーネルとユーザーランドを再作成したものに書き換えます。~
hermit> tftpdl 192.168.0.90 192.168.0.164 --blksize=1024...
hermit> tftpdl 192.168.0.90 192.168.0.164 --blksize=1024...
新しいカーネルとユーザーランドで起動しネットワークに正常...
まず時間を合わせます。
[root@abws1-0 (ttymxc1) ~]# ntpclient -h ntp.nict.jp -s
25567 00180.848 8769.0 0.8 1448951602547493.0 ...
[root@abws1-0 (ttymxc1) ~]# date
Tue Nov 25 15:36:24 JST 2015
fluent.conf を以下の内容にします。
<source>
@type tail
format /^(?<time>[^ ]* [^ ]* [^ ]*) (?<host>[^ ]*) (?<...
time_format %b %d %H:%M:%S
path /var/log/messages
pos_file /var/tmp/mesagges.pos
types temp:float
tag syslog.ble
</source>
<match syslog.**>
@type copy
<store>
@type forward
heartbeat_interval 60s
heartbeat_type tcp
flush_interval 60s ##600s at realuse
buffer_type file
buffer_path /var/tmp/in_ble_app.syslog.*.buffer
buffer_chunk_limit 3072k
buffer_queue_limit 425
retry_wait 2s
max_retry_wait 1h
retry_limit 72 # retry count
<server>
host 192.168.0.80
port 24224
</server>
</store>
<store>
type stdout
</store>
</match>
fluentd をデバッグオプション付きでフォアグラウンド実行し...
[root@abws1-0 (ttymxc1) ~]# fluentd -c /etc/fluent/fluen...
2015-11-25 16:09:28 +0900 [info]: fluent/supervisor.rb:3...
2015-11-25 16:09:29 +0900 [info]: fluent/supervisor.rb:2...
2015-11-25 16:09:30 +0900 [trace]: fluent/plugin.rb:98:r...
2015-11-25 16:09:30 +0900 [trace]: fluent/plugin.rb:98:r...
〜〜 中略 〜〜
2015-12-01 16:09:37 +0900 [info]: fluent/agent.rb:123:ad...
2015-12-01 16:09:37 +0900 [info]: fluent/root_agent.rb:1...
2015-12-01 16:09:37 +0900 [info]: plugin/in_tail.rb:474:...
2015-12-01 16:09:56 +0900 syslog.ble: {"host":"(none)","...
2015-12-01 16:10:56 +0900 syslog.ble: {"host":"(none)","...
2015-12-01 16:11:56 +0900 syslog.ble: {"host":"(none)","...
stdout への出力を確認し、 tail plugin の format の正規表...
key ごとに正しく分割できていたら fluentd を停止、~
flatfsd -s で fluent.conf の変更内容を保存します。
**起動時実行設定 [#rbf02256]
Armadillo-Box WS1 起動時に fluentd 関連のアプリケーション...
http://manual.atmark-techno.com/armadillo-box-ws1/armadil...
/etc/config.rc.local に以下の内容を追加し、flatfsd -s で...
#!/bin/sh
. /etc/init.d/functions
PATH=/bin:/sbin:/usr/bin:/usr/sbin
# ntp
ntpclient -h ntp.nict.jp -s
# BLE temperature log application
tempgw &
# fleuntd
fluentd -c /etc/fluent/fluent.conf -o /var/log/fluent.lo...
ここでは fluentd は直接 rc.local の中で実行していますが、~
/etc/init.d/ に fluentd 専用の起動スクリプトを置いたり~
[[Armadillo-IoTでfluentdを利用してTreasureDataにデータを...
https://users.atmark-techno.com/blog/46/1219~
にあるように start-stop-daemon で管理して起動してもいいで...
~
fluentd を rc.local から起動すると、root の shell 上で実...
この点は fluentd で送信する log の日付に影響するので注意...
**受信側 fluentd [#d1db317f]
上記の設定で Bluetooth Low Energy Gateway に設定した Arma...
ログ集約サーバーの fluentd で受信します。~
ログ集約サーバーのソフトウェア設定は [[fluentd/ログ集約サ...
* 更新履歴 [#ke5d7093]
2015/12/08 初稿掲載 ~
RIGHT:Satoshi OTSUKA
終了行:
[[Armadillo]]~
[[Armadillo-Box WS1/BLE Gateway]]
#contents
*Armadillo-Box WS1/fluentd [#g6abfdd4]
Armadillo-Box WS1 はカーネルもユーザーランドも Armadillo-...
ROM イメージのサイズに注意すれば Armadillo-IoT で動作する...
ほとんど動作させることができます。~
~
[[Armadillo-Box WS1/BLE対応]] と [[Armadillo-Box WS1/Wifi...
flunetd を動作させ、BLE 経由で集めたデータをログ収集用の...
以下に記します。
**収集データの形式 [#bd9fc435]
fluentd でサーバへ送信するデータは、Bluetooth Low Energy ...
以下のようなフォーマットで atmark dist の syslog が出力さ...
tempgw が syslog へ出力するデータ収集アプリ名、ADV は BLE...
temp は温度、rssi は受信強度です。
Nov 30 15:00:43 (none) user.info tempgw: ADV: E0:40:56:7...
これを fluentd の tail plugin で読み込み、適切にフォーマ...
syslog plugin を使ってしまうと format せず message: に全...
データ利用のための検索がしにくいなどの問題があるため tail...
**fluentd 追加 [#n49156dd]
atmark dist の make menuconfig で fluentd 関連ファイルを...
vendor/Product を指定します。
(AtmarkTechno) Vendor
(Armadillo-Box WS1) AtmarkTechno Products
ユーザーランドのコンフィギュレーションを行い、 flunetd と...
[*] Customize Vendor/User Settings (NEW)
Miscellaneous Applications --->
:
:
--- extension
:
:
[*] ruby <-- チェックをいれ有効...
(2.1.2) Version <-- 2.1.2 にする。2.0....
[*] fluentd <-- ruby にチェックを...
:
[*] http_parser.rb <-- ruby にチェックを...
[*] ruby-cool.io <-- ruby にチェックを...
:
[*] ruby-macaddr <-- ruby にチェックを...
:
[*] ruby-sigdump <-- ruby にチェックを...
[*] ruby-systemu <-- ruby にチェックを...
[*] ruby-string-scrub <-- ruby にチェックを...
[*] ruby-thread_safe <-- ruby にチェックを...
[*] ruby-tzinfo <-- ruby にチェックを...
[*] ruby-tzinfo-data <-- ruby にチェックを...
:
[*] msgpack-ruby <-- ruby にチェックを...
:
[*] yajl-ruby <-- ruby にチェックを...
:
:
:
**カーネルとユーザーランドのビルド [#e683004d]
上記の変更を反映したカーネルとユーザーランドを一旦ビルド...
atmark@atde5:~/atmark-dist$ make clean
atmark@atde5:~/atmark-dist$ make
**fluent.conf の配置 [#w3fdb140]
ROM イメージディレクトリの /etc に fluentディレクトリを作...
~
ただし、 ramfs で起動する atmark dist の特徴として /etc/c...
起動後の変更内容を保存できないので、設定ファイルへの変更...
/etc/fluent/fluent.conf は /etc/config/fluent.conf への s...
atmark@atde5:~/atmark-dist$ cd romfs/etc
atmark@atde5:~/atmark-dist/romfs/etc$ mkdir fluent
atmark@atde5:~/atmark-dist/romfs/etc$ cd fluent
atmark@atde5:~/atmark-dist/romfs/etc/fluent$ ln -s /etc/...
また、/etc/config/ 以下の設定ファイルは初回起動時に /etc/...
Armadillo-Box 本体内フラッシュメモリの config 保存領域に...
fluent.conf の実体は /etc/default/ の下に保存しておきます。
atmark@atde5:~/atmark-dist/romfs/etc/fluent$ cd ../defau...
atmark@atde5:~/atmark-dist/romfs/etc/default$ cp ~/atmar...
**イメージ再作成 [#d9cc3238]
fluent.conf の配置が完了したら、上記の設定ファイル配置変...
atmark@atde5:~$ cd atmark-dist
atmark@atde5:~/atmark-dist$ make image
**動作確認 [#u248af46]
Armadillo-Box WS1 がネットワークに接続してある場合に一番...
12.4. TFTPを使用してフラッシュメモリを書き換える~
http://manual.atmark-techno.com/armadillo-box-ws1/armadil...
でカーネルとユーザーランドを再作成したものに書き換えます。~
hermit> tftpdl 192.168.0.90 192.168.0.164 --blksize=1024...
hermit> tftpdl 192.168.0.90 192.168.0.164 --blksize=1024...
新しいカーネルとユーザーランドで起動しネットワークに正常...
まず時間を合わせます。
[root@abws1-0 (ttymxc1) ~]# ntpclient -h ntp.nict.jp -s
25567 00180.848 8769.0 0.8 1448951602547493.0 ...
[root@abws1-0 (ttymxc1) ~]# date
Tue Nov 25 15:36:24 JST 2015
fluent.conf を以下の内容にします。
<source>
@type tail
format /^(?<time>[^ ]* [^ ]* [^ ]*) (?<host>[^ ]*) (?<...
time_format %b %d %H:%M:%S
path /var/log/messages
pos_file /var/tmp/mesagges.pos
types temp:float
tag syslog.ble
</source>
<match syslog.**>
@type copy
<store>
@type forward
heartbeat_interval 60s
heartbeat_type tcp
flush_interval 60s ##600s at realuse
buffer_type file
buffer_path /var/tmp/in_ble_app.syslog.*.buffer
buffer_chunk_limit 3072k
buffer_queue_limit 425
retry_wait 2s
max_retry_wait 1h
retry_limit 72 # retry count
<server>
host 192.168.0.80
port 24224
</server>
</store>
<store>
type stdout
</store>
</match>
fluentd をデバッグオプション付きでフォアグラウンド実行し...
[root@abws1-0 (ttymxc1) ~]# fluentd -c /etc/fluent/fluen...
2015-11-25 16:09:28 +0900 [info]: fluent/supervisor.rb:3...
2015-11-25 16:09:29 +0900 [info]: fluent/supervisor.rb:2...
2015-11-25 16:09:30 +0900 [trace]: fluent/plugin.rb:98:r...
2015-11-25 16:09:30 +0900 [trace]: fluent/plugin.rb:98:r...
〜〜 中略 〜〜
2015-12-01 16:09:37 +0900 [info]: fluent/agent.rb:123:ad...
2015-12-01 16:09:37 +0900 [info]: fluent/root_agent.rb:1...
2015-12-01 16:09:37 +0900 [info]: plugin/in_tail.rb:474:...
2015-12-01 16:09:56 +0900 syslog.ble: {"host":"(none)","...
2015-12-01 16:10:56 +0900 syslog.ble: {"host":"(none)","...
2015-12-01 16:11:56 +0900 syslog.ble: {"host":"(none)","...
stdout への出力を確認し、 tail plugin の format の正規表...
key ごとに正しく分割できていたら fluentd を停止、~
flatfsd -s で fluent.conf の変更内容を保存します。
**起動時実行設定 [#rbf02256]
Armadillo-Box WS1 起動時に fluentd 関連のアプリケーション...
http://manual.atmark-techno.com/armadillo-box-ws1/armadil...
/etc/config.rc.local に以下の内容を追加し、flatfsd -s で...
#!/bin/sh
. /etc/init.d/functions
PATH=/bin:/sbin:/usr/bin:/usr/sbin
# ntp
ntpclient -h ntp.nict.jp -s
# BLE temperature log application
tempgw &
# fleuntd
fluentd -c /etc/fluent/fluent.conf -o /var/log/fluent.lo...
ここでは fluentd は直接 rc.local の中で実行していますが、~
/etc/init.d/ に fluentd 専用の起動スクリプトを置いたり~
[[Armadillo-IoTでfluentdを利用してTreasureDataにデータを...
https://users.atmark-techno.com/blog/46/1219~
にあるように start-stop-daemon で管理して起動してもいいで...
~
fluentd を rc.local から起動すると、root の shell 上で実...
この点は fluentd で送信する log の日付に影響するので注意...
**受信側 fluentd [#d1db317f]
上記の設定で Bluetooth Low Energy Gateway に設定した Arma...
ログ集約サーバーの fluentd で受信します。~
ログ集約サーバーのソフトウェア設定は [[fluentd/ログ集約サ...
* 更新履歴 [#ke5d7093]
2015/12/08 初稿掲載 ~
RIGHT:Satoshi OTSUKA
ページ名:
BC::labsへの質問は、bc9-dev ＠ googlegroups.com までお願い致します。
![[BC::Labs]](image/bc_logo.png "[BC::Labs]"){kind=logo}
