いいタイトルが浮かびません。 2012-05-15T19:04:47Z shigekun tag:blog.so-net.ne.jp,2004:shigekun shigekun So-netブログ Copyright (c) 2012, shigekun Twitterまとめ投稿 2012/05/16 2012-05-15T19:04:47Z 2012-05-16 04:01:06+09:00 tag:blog.so-net.ne.jp,2012:shigekun.53161283
]]> Twitterまとめ投稿 2012/05/15 2012-05-15T19:04:47Z 2012-05-15 04:01:07+09:00 tag:blog.so-net.ne.jp,2012:shigekun.53143050
]]> Twitterまとめ投稿 2012/05/11 2012-05-15T19:04:47Z 2012-05-11 04:01:05+09:00 tag:blog.so-net.ne.jp,2012:shigekun.53065738
]]> Twitterまとめ投稿 2012/05/08 2012-05-15T19:04:47Z 2012-05-08 04:01:06+09:00 tag:blog.so-net.ne.jp,2012:shigekun.53002200
  • shige1973shige1973>地域の安全情報・放射線量などの共有サイト「安全安心 map」 : インターネットコムニュース : ニュース : ネット＆デジタル : YOMIURI ONLINE（読売新聞） http://t.co/KqRv6Hpb05/07 11:54
]]> Twitterまとめ投稿 2012/04/28 2012-05-15T19:04:47Z 2012-04-28 04:01:06+09:00 tag:blog.so-net.ne.jp,2012:shigekun.52812256
  • shige1973shige1973ペースメーカーを付けている人に聞いたところによると、携帯を近づけるとチクっと痛みが走るそうだ。04/27 12:38
]]> Twitterまとめ投稿 2012/04/26 2012-05-15T19:04:47Z 2012-04-26 04:01:07+09:00 tag:blog.so-net.ne.jp,2012:shigekun.52768918
]]> Twitterまとめ投稿 2012/04/25 2012-05-15T19:04:47Z 2012-04-25 04:01:05+09:00 tag:blog.so-net.ne.jp,2012:shigekun.52748997
]]> Twitterまとめ投稿 2012/04/24 2012-05-15T19:04:47Z 2012-04-24 04:01:05+09:00 tag:blog.so-net.ne.jp,2012:shigekun.52728947
  • shige1973shige1973もう恐竜にしか見えないｗｗｗ　新潟県 - Google 検索 http://t.co/kdYcOUR704/23 17:50
  • shige1973shige1973新潟 RT @Teikokushoin: この県なーんだ？(難易度★) http://t.co/Qv93S2X304/23 17:46
  • shige1973shige1973RT @city_itabashi: 本日午前７時５５分、板橋区若木で通勤途中の女性が刺される事件が発生しました。犯人は現在も逃走中です。安全に十分注意して、不審者を見かけたときは１１０番通報してください。04/23 14:58
]]> Twitterまとめ投稿 2012/04/18 2012-05-15T19:04:47Z 2012-04-18 04:01:06+09:00 tag:blog.so-net.ne.jp,2012:shigekun.52598941
  • shige1973shige1973東京の地図が面倒な事になる。いまでも小笠原諸島まで入れると南北にすごく長いのにｗｗｗ>「東京都が尖閣諸島を購入」　石原都知事が表明 （http://t.co/2PSV0uOu） - Yahoo!ニュース http://t.co/4KgSQAAQ04/17 21:08
]]> Twitterまとめ投稿 2012/04/17 2012-05-15T19:04:47Z 2012-04-17 04:01:06+09:00 tag:blog.so-net.ne.jp,2012:shigekun.52574521
  • shige1973shige1973メモ_φ(･_･ RT @chizulabo: mixiの絶対領域コミュに入ろうかどうしようか迷っている夜。04/16 06:57
]]> Twitterまとめ投稿 2012/04/12 2012-05-15T19:04:47Z 2012-04-12 04:01:05+09:00 tag:blog.so-net.ne.jp,2012:shigekun.52464932
]]> Twitterまとめ投稿 2012/04/07 2012-05-15T19:04:48Z 2012-04-07 04:01:07+09:00 tag:blog.so-net.ne.jp,2012:shigekun.52351292
  • shige1973shige1973全画面表示を強制されたｗサイズ変更も移動も出来ず最小化しか効かなかった>くまもとGPMap(ジーピーマップ)　熊本県全域の地図情報編集ソフトダウンロードサイト http://t.co/l5rR1RWG04/06 13:23
]]> Twitterまとめ投稿 2012/04/06 2012-05-15T19:04:48Z 2012-04-06 04:01:06+09:00 tag:blog.so-net.ne.jp,2012:shigekun.52327997
  • shige1973shige1973あ、、、2次メッシュ単位じゃないと接合部分が綺麗に出来ないツールだったorz04/05 09:20
  • shige1973shige1973@chizulabo 満喫してるみたいですねｗ 無事飛べることを祈ってます04/05 08:44
  • shige1973shige1973ようやく標高GeoTiffまで変換できた。17GB。一日半かかった。同じメッシュでDEM5A,B,Kがあるところがたくさん。段彩陰影にして比べてみよう04/05 08:35
]]> Twitterまとめ投稿 2012/04/02 2012-05-15T19:04:48Z 2012-04-02 04:01:07+09:00 tag:blog.so-net.ne.jp,2012:shigekun.52226859
  • shige1973shige1973DEM5M全国分、ZIPで17GBもあった。解凍したら。。。解凍しないで変換するように改良しなきゃ04/01 22:07
]]> Twitterまとめ投稿 2012/04/01 2012-05-15T19:04:48Z 2012-04-01 04:01:07+09:00 tag:blog.so-net.ne.jp,2012:shigekun.52205157
  • shige1973shige1973久しぶりにブログ書いた＞wgetの使い方：認証してFORMを送信するようなページでダウンロードする http://t.co/6vJ30V4v03/31 08:04
]]> wgetの使い方：認証してFORMを送信するようなページでダウンロードする 2012-05-15T19:04:48Z 2012-03-31 06:54:47+09:00 tag:blog.so-net.ne.jp,2012:shigekun.52180602
Linuxでwgetを使う。

前提
認証情報がCookieにあって、ボタンをしたらダウンロードが始まるページ

１．認証
--keep-session-cookies、 --save-cookies、 --post-dataを付けて、認証させクッキーをファイルに保存しておく
wget \
 --keep-session-cookies \
 --save-cookies=cookies.txt \
 --post-data 'POSTするデータ（UserId=...&Password=...）' \
 ログインページのPOST先URL

ログインページのPOST先URLやPOSTする情報は
ページのソースを見て調べるか、
ChromeのデベロッパーツールのNetworkを見る。

２．ダウンロード
--load-cookies、--post-data、-Oを付けてダウンロード
wget \
 --referer=リファラ（ダウンロードページのURL） \
 --load-cookies cookies.txt \
 --post-data 'POSTするデータ（key1=value1&key2=value2...）' \
 -O 保存するファイル名 \
 ダウンロードページのPOST先のURL

リファラは必要に応じて。

３．失敗したファイルを削除するには
エラーになった時、いつも同じサイズのHTMLファイルが保存されるならまとめて削除。

指定したサイズのファイルを削除
find . -size サイズc | xargs rm

サイズ0バイトのファイルを削除
find . -size 0c | xargs rm


４．繰り返す時は失敗したファイルを３で削除してからファイルの有無を調べて再ダウンロード
if [ -e ダウンロードファイル名 ] ; then echo "skip"; else  wget ・・・ ; fi


おまけ
User-Agentの設定は--user-agent
Basic認証は--http-user、--http-passwd ]]> Twitterまとめ投稿 2012/03/31 2012-05-15T19:04:48Z 2012-03-31 04:01:07+09:00 tag:blog.so-net.ne.jp,2012:shigekun.52179113
  • shige1973shige1973@chizulabo しかしなんでこんな面倒くさいものに・・・03/30 19:15
  • shige1973shige1973メモ2：wget --referer=～ --load-cookies cookie.txt --post-data ・・・03/30 19:06
  • shige1973shige1973メモ1：wget --keep-session-cookies --save-cookies=cookie.txt --post-data ・・・03/30 19:05
  • shige1973shige1973@chizulabo たぶん月曜には終わっているかと。これ、そのままWebで公開しちゃダメなんですよね？ｗ03/30 18:51
  • shige1973shige1973@chizulabo 調子出てきたので全国分も近々。もし良かったらどうぞ03/30 18:20
  • shige1973shige1973@chizulabo すぐ止まっちゃってダメです03/30 17:54
  • shige1973shige1973@chizulabo 今、スクリプトで頑張ってます03/30 17:32
  • shige1973shige1973wgetでいけそう03/30 17:06
  • shige1973shige1973なにこれ、いちいちサーブレットにPOSTしてダウンロードするの？w03/30 16:27
  • shige1973shige1973ダウンロードできない>< .@niyalist さんの「国土地理院による高精度な数値標高データの公開への反応」をお気に入りにしました。 http://t.co/Wbh3snbA03/30 16:14
]]> Twitterまとめ投稿 2012/03/26 2012-05-15T19:04:48Z 2012-03-26 04:01:04+09:00 tag:blog.so-net.ne.jp,2012:shigekun.51944940
  • shige1973shige1973地図屋さんとしては市内全域の地図を作りたいRT @usakawai: ポリマスターPM1703MO-1B（ガイガー+シンチ）による川口市駅前→オートレース場→市役所付近の放射線測定マップを作成しました。ママチャリ測定 http://t.co/UhFGqnkM #kawaguchi03/25 21:29
]]> Twitterまとめ投稿 2012/03/24 2012-05-15T19:04:48Z 2012-03-24 04:01:10+09:00 tag:blog.so-net.ne.jp,2012:shigekun.51841747
]]> Twitterまとめ投稿 2012/03/20 2012-05-15T19:04:48Z 2012-03-20 04:01:08+09:00 tag:blog.so-net.ne.jp,2012:shigekun.51577323
  • shige1973shige1973会社で買おうかと思ったけど、Ebookだと買っても読まない気がするｗ＞O'Reilly Japan - HTML5 ジオロケーション http://t.co/SBerwmdG03/19 10:16
]]>