access log 解析 grep sed nkf

以下にあるコマンドでURLエンコードされたキーワードを絞りだせた

# zcat access_log.* | grep "/keyword/" | cut -d " " -f7 |grep "/keyword/" | sed "s/CUT_string1//g" | sed "s/CUT_string2//g"  |sort | uniq -c | nkf -w --url-input

zcatで.gzに圧縮されたログファイルを出力

sedで統計するためにいらない文言をカット

sortで整列して、uniq -c で同じ行のキーワードを搾り出してカウント

nkfでURLでコード。 サーバーにnkfが奇跡的に入ってて助かった

 参考リンク

Apache ログを awk と uniq だけで集計する - Qiita http://qiita.com/bezeklik/items/f5c292c4360cde140bef

ログ解析のとき便利なコマンドまとめ - Qiita http://qiita.com/dogyear/items/419a36427dc028604fec

sed コマンド | コマンドの使い方(Linux) | hydroculのメモ https://hydrocul.github.io/wiki/commands/sed.html

Linuxコマンド集 - 【 sed 】 文字列の置換,行の削除を行う:ITpro http://itpro.nikkeibp.co.jp/article/COLUMN/20060227/230879/?rt=nocnt

urlエンコード(コマンドライン/シェルスクリプト) - Qiita http://qiita.com/kkdd/items/d5a32b5981ed4b41d384

Linux:コマンドラインでURLエンコード・デコードする(nkf編) | よしまさのブログ http://blog.offline-net.com/2014/11/09/linux_nkf_command_urlencode_and_decode/


トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2016-10-12 (水) 21:47:30 (739d)