weiki (作業ログやそのまとめ)

<< 2019.4 >>
[log]
  1 2 3 4 5 6
7 8 9 10 11 12 13
14 15 16 17 18 19 20
21 22 23 24 25 26 27
28 29 30        
log/2019-04-27?は空です。
Counter: 120511, today: 20, yesterday: 0


Information

つぶやき

最近のログ

121218時点のトップページ Counter: 37671

2018/2/15 (木)

log

Googleカレンダーの招待に対する返信をアーカイブする - ただひたすら書こうと思った事を書くところ <http://yu-log.hatenablog.com/entry/2015/08/05/073000>

2017/9/14 (木)

mac sudo: unknown uid 502: who are you?

solution: restart Mac!

https://apple.stackexchange.com/questions/270585/cannot-run-sudo-after-mac-sierra-upgrade/270586

The problem was fixed by restarting the MacBook Pro.

2017/7/10 (月)

mobike memo

  • 1日の総利用回数2000万回
  • 成都市での利用者数300万回/日
  • 4年間メンテナンスフリー
  • 中国とシンガポールでの稼働自転車数450万台
  • ローンチ後最初の10カ月の資金調達356億円

https://www.businessinsider.jp/post-34306

  • 2017年6月 6億ドル追加調達
  • 30億ドルの評価額

http://jp.wsj.com/articles/SB10024787458549603923904583220193737488684

  • 街中に普及している様子

シェアサイクル「モバイク(Mobike)」 - 日経トレンディネット

http://trendy.nikkeibp.co.jp/atcl/column/15/1031523/062900045/>

2017/6/22 (木)

log

Cloud SQL CIDR 表記 Can't connect to MySQL server on

以下のgcloudコマンドではCloud SQLにつながるのに、

gcloud beta sql connect Cloud_SQL_NAME --user=root

普通にIPアドレス指定しても繋がらなかった。

$ mysql --host=IP_ADDRESS --user=root --password
Can't connect to MySQL server on.........

調べたら、

https://cloud.google.com/sql/docs/external?hl=ja#appaccessIP

インスタンスに接続できるネットワークを承認します。
   [アクセス制御] > [承認] を選択します。
   [承認済みネットワーク] セクションで、[ネットワークを追加] をクリックし、CIDR 表記を使用してホワイトリストに IP アドレスを入力します。 

にあるようにCIDR 表記をしないといけない!

ここに

0.0.0.0/0

を入れるとすべてを受け入れるようになる。 動作確認としてまず入れたら、IPアドレス指定で問題なくアクセスできた。

35.111.111.111/32

のように書くと、一個のIPを指定することになる。

参考

http://www.wdic.org/w/WDIC/0.0.0.0

2017/6/21 (水)

メモ プログラマのためのGoogle Cloud Platform入門 サービスの全体像からクラウドネイティブアプリケーション構築まで

本のインストルメモ

https://github.com/asashiho/gcp-compute-engine

sudo apt-get -y install \
git python-pip python-dev python-flask python-wtforms python-arrow python-flask-sqlalchemy python-pymysql python-flaskext.wtf
sudo pip install --upgrade setuptools
sudo pip install --upgrade gcloud
git clone https://github.com/asashiho/gcp-compute-engine
sudo systemctl enable dengonban.service
sudo systemctl start dengonban.service
sudo systemctl status dengonban.service
#v2の時にstopも使う
sudo systemctl stop dengonban.service
create database message_db;
grant all privileges on massage_db.* to appuser@"%" identified by 'pass4appuser' with grant option;
wget https://dl.google.com/cloudsql/cloud_sql_proxy.linux.amd64
mv cloud_sql_proxy.linux.amd64 cloud_sql_proxy
chmod +x cloud_sql_proxy

https://cloud.google.com/sql/docs/mysql-connect-proxy?hl=ja

sudo mkdir /opt/cloudsqlproxy
sudo mv cloud_sql_proxy /opt/cloudsqlproxy/
sudo mkdir /cloudsql
sudo chmod 777  /cloudsql
sudo systemctl enable cloudsqlproxy.service
sudo systemctl start cloudsqlproxy.service
sudo systemctl status cloudsqlproxy.service
sudo systemctl start dengonban.service
sudo systemctl status dengonban.service
#v2の時にstopも使う
sudo systemctl stop dengonban.service
sudo systemctl stop cloudsqlproxy.service

2017/6/7 (水)

log http://www.titech.ac.jp/graduate_school/international/research_students/privately_funded.html

2017/4/24 (月)

log

du 高速 現在のディレクトリ

実現したい結果はこれだった。

/home/の中で誰が一番容量を使用しているかを表示したい
du -h /home --max-depth=1

容量の多いディレクトリを出すコマンド

find . -type f -exec du -kh {} \; | sort -rn | head
find . -type f -exec du -kh {} \; | sort -rn

参考リンク

http://blog.layer8.sh/ja/2011/12/23/linux%E3%81%A7%E3%83%87%E3%82%A3%E3%82%B9%E3%82%AF%E4%BD%BF%E7%94%A8%E9%87%8F%E3%82%92%E8%AA%BF%E3%81%B9%E3%82%8Bdu%E3%82%B3%E3%83%9E%E3%83%B3%E3%83%89%E3%81%AE%E3%82%AA%E3%83%97%E3%82%B7%E3%83%A7/

2016/11/1 (火)

grep -o mail

以下のようなメルマガ受信不能メールの返信が大量に返ってきて、 それらのメアドに当てはまるメアドをメルマガ受信対象からはずす作業

$less 1477981143.V6802I25bd81M293530.XXXXX.com

結果的に、

$cat * | grep -o "<.*@.*com>" | uniq 

などで対象のメアドをある程度リスト化できた。

grep -o これでマッチした文字列を抜き出すことができる。

-oオプションとは
--only-matchingの略。マッチした部分のみを抽出するというオプションのこと。

grepの-oオプションと-Pオプションの組み合わせが便利 - Gre's Blog http://greymd.hatenablog.com/entry/2014/09/27/154305

uniqはログ解析で重複のカウントに良く使っているが、 同じ文字列を一つにできる。

参考リンク

Linuxコマンド集 - 【 grep 】 文字列を検索する:ITpro http://itpro.nikkeibp.co.jp/article/COLUMN/20060227/230786/?rt=nocnt

フィルタを使用した文字列操作 2 | UNIX & Linux コマンド・シェルスクリプト リファレンス http://shellscript.sunone.me/filter_etc.html

2016/10/12 (水)

access log 解析 grep sed nkf

以下にあるコマンドでURLエンコードされたキーワードを絞りだせた

# zcat access_log.* | grep "/keyword/" | cut -d " " -f7 |grep "/keyword/" | sed "s/CUT_string1//g" | sed "s/CUT_string2//g"  |sort | uniq -c | nkf -w --url-input

zcatで.gzに圧縮されたログファイルを出力

sedで統計するためにいらない文言をカット

sortで整列して、uniq -c で同じ行のキーワードを搾り出してカウント

nkfでURLでコード。 サーバーにnkfが奇跡的に入ってて助かった

 参考リンク

Apache ログを awk と uniq だけで集計する - Qiita http://qiita.com/bezeklik/items/f5c292c4360cde140bef

ログ解析のとき便利なコマンドまとめ - Qiita http://qiita.com/dogyear/items/419a36427dc028604fec

sed コマンド | コマンドの使い方(Linux) | hydroculのメモ https://hydrocul.github.io/wiki/commands/sed.html

Linuxコマンド集 - 【 sed 】 文字列の置換,行の削除を行う:ITpro http://itpro.nikkeibp.co.jp/article/COLUMN/20060227/230879/?rt=nocnt

urlエンコード(コマンドライン/シェルスクリプト) - Qiita http://qiita.com/kkdd/items/d5a32b5981ed4b41d384

Linux:コマンドラインでURLエンコード・デコードする(nkf編) | よしまさのブログ http://blog.offline-net.com/2014/11/09/linux_nkf_command_urlencode_and_decode/

2016/9/19 (月)

log

mysql admin csv 出力 -インポート

mysqlの結果をエクセルでほしいと言われることが良くある。 postgresみたいにcsvで出力できればいいのだが、ググってもその用法はなくて一手間必要なようだ。

% mysql -e "SELECT ..." | sed -e 's/\t/,/g'

 mysql -h192.168.2.30 -uUSER -pPASS -Ddb-NAME -e "select * from ....." | sed -e 's/\t/,/g' > /tmp2016/xxxx.csv

詳しい仕組みは以下のサイトを参照。

あらかじめmysqlでDBに入って試行錯誤して、 出来上がったSQL文をそのままコマンドラインで渡して、sedで整形。

これをexcelにペーストして、(カンマ)を区切ればOK なかなか便利だ。

MySQLリモートDBの結果をローカルCSVファイルに出力する方法 | 開発メモるアル http://shusatoo.net/db/mysql/mysql-remote-db-result-output-local-csvfile/

MySQL の結果を csv 形式で標準出力させたい - BOOLEANLABEL http://d.hatena.ne.jp/fd0/20090801/p1

練習ページ

PukiWikiについて

ドキュメント


トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2012-12-18 (火) 14:58:29 (2320d)