Papertrail の過去アーカイブログを一括ダウンロードして grep する

2020/04/10   #Papertrail 
このエントリーをはてなブックマークに追加

Papertrail の安いプランだと、Web 画面では 1 週間前までのログしか検索できなかった。
ので、過去ログをダウンロードする必要に迫られるわけだが、ダウンロードページをみると、30 日前までの過去ログが 1 時間単位でアーカイブされていた。
10日分ほしいとなると 240 個のファイルを対象にしなければならない。数が多すぎるのでどうしたものか。。

・・・が、ちゃんと公式にやり方が載っていた。
公式: https://help.papertrailapp.com/kb/how-it-works/permanent-log-archives/#download-multiple-archives-using-date
の macOS のところを参考にした。

3/22 0:00 より前の 240 時間分(=10日分)をダウンロードする場合、

seq 1 240 | xargs -I {} date -ur `date -ju 03220000 +%s` -v-{}H +%Y-%m-%d-%H| xargs -I {} curl --progress-bar -f --no-include -o {}.tsv.gz -L -H "X-Papertrail-Token: my-token" https://papertrailapp.com/api/v1/archives/{}/download

全部ダウンロードしたら、

gzip -cd 2020-* | grep 123456 | grep hogehoge

などとして、gzファイルを直接検索する。