いいタイトルが浮かびません。 http://shigekun.blog.so-net.ne.jp/ テーマは特に考えてないんですが、、、コンピュータ関連や世間の話題についてになるでしょう。 しげくん 2012-05-16T04:01:06+09:00 ja Twitterまとめ投稿 2012/05/16 http://shigekun.blog.so-net.ne.jp/2012-05-16 shige1973[MEMO]デベロッパー センター － ヘルプ：ロケスマ http://t.co/xgcT0kH105/15 18:02shige1973[MEMO]成長するマップアプリ「ロケスマ」に自作の地図を作製する手順 | paraches lifestyle lab. http://t.co/bN48pRV705/15 18:01shige1973あとで試す>KML対応アプリ「ロケスマ」 - ちずらぼのちずらぶ - 楽天ブログ（Blog） http://t.co/Vj788tN905/15 12:14 ツイートまとめ しげくん 2012-05-16T04:01:06+09:00
]]> Twitterまとめ投稿 2012/05/15 http://shigekun.blog.so-net.ne.jp/2012-05-15 shige1973@shige1973 明日の持ち物>HDD USBアダプタ05/14 21:00 ツイートまとめ しげくん 2012-05-15T04:01:07+09:00
]]> Twitterまとめ投稿 2012/05/11 http://shigekun.blog.so-net.ne.jp/2012-05-11 shige1973あとでｗｗｗ>App Store - ぐんまのやぼう http://t.co/8McpvVuE05/10 08:40 ツイートまとめ しげくん 2012-05-11T04:01:05+09:00
]]> Twitterまとめ投稿 2012/05/08 http://shigekun.blog.so-net.ne.jp/2012-05-08 shige1973>地域の安全情報・放射線量などの共有サイト「安全安心 map」 : インターネットコムニュース : ニュース : ネット＆デジタル : YOMIURI ONLINE（読売新聞） http://t.co/KqRv6Hpb05/07 11:54 ツイートまとめ しげくん 2012-05-08T04:01:06+09:00
  • shige1973shige1973>地域の安全情報・放射線量などの共有サイト「安全安心 map」 : インターネットコムニュース : ニュース : ネット＆デジタル : YOMIURI ONLINE（読売新聞） http://t.co/KqRv6Hpb05/07 11:54
]]> Twitterまとめ投稿 2012/04/28 http://shigekun.blog.so-net.ne.jp/2012-04-28 shige1973ペースメーカーを付けている人に聞いたところによると、携帯を近づけるとチクっと痛みが走るそうだ。04/27 12:38 ツイートまとめ しげくん 2012-04-28T04:01:06+09:00
  • shige1973shige1973ペースメーカーを付けている人に聞いたところによると、携帯を近づけるとチクっと痛みが走るそうだ。04/27 12:38
]]> Twitterまとめ投稿 2012/04/26 http://shigekun.blog.so-net.ne.jp/2012-04-26 shige1973熊本県。ちょっと難しかった RT @Teikokushoin: この県なーんだ？(難易度★★) http://t.co/0DYOvD3z04/25 20:26 ツイートまとめ しげくん 2012-04-26T04:01:07+09:00
]]> Twitterまとめ投稿 2012/04/25 http://shigekun.blog.so-net.ne.jp/2012-04-25 shige1973ちば RT @Teikokushoin: この県なーんだ？ (難易度★)http://t.co/X66koMC504/24 17:46 ツイートまとめ しげくん 2012-04-25T04:01:05+09:00
]]> Twitterまとめ投稿 2012/04/24 http://shigekun.blog.so-net.ne.jp/2012-04-24 shige1973もう恐竜にしか見えないｗｗｗ　新潟県 - Google 検索 http://t.co/kdYcOUR704/23 17:50shige1973新潟 RT @Teikokushoin: この県なーんだ？(難易度★) http://t.co/Qv93S2X304/23 17:46shige1973RT @city_itabashi: 本日午前７時５５分、板橋区若木で通勤途中の女性が刺される事件が発生しました。犯人は現在も逃走中です。安全に十分注意して、不審者を見かけたときは１１０番通報してください。04/23 14:58 ツイートまとめ しげくん 2012-04-24T04:01:05+09:00
  • shige1973shige1973もう恐竜にしか見えないｗｗｗ　新潟県 - Google 検索 http://t.co/kdYcOUR704/23 17:50
  • shige1973shige1973新潟 RT @Teikokushoin: この県なーんだ？(難易度★) http://t.co/Qv93S2X304/23 17:46
  • shige1973shige1973RT @city_itabashi: 本日午前７時５５分、板橋区若木で通勤途中の女性が刺される事件が発生しました。犯人は現在も逃走中です。安全に十分注意して、不審者を見かけたときは１１０番通報してください。04/23 14:58
]]> Twitterまとめ投稿 2012/04/18 http://shigekun.blog.so-net.ne.jp/2012-04-18 shige1973東京の地図が面倒な事になる。いまでも小笠原諸島まで入れると南北にすごく長いのにｗｗｗ>「東京都が尖閣諸島を購入」　石原都知事が表明 （http://t.co/2PSV0uOu） - Yahoo!ニュース http://t.co/4KgSQAAQ04/17 21:08 ツイートまとめ しげくん 2012-04-18T04:01:06+09:00
  • shige1973shige1973東京の地図が面倒な事になる。いまでも小笠原諸島まで入れると南北にすごく長いのにｗｗｗ>「東京都が尖閣諸島を購入」　石原都知事が表明 （http://t.co/2PSV0uOu） - Yahoo!ニュース http://t.co/4KgSQAAQ04/17 21:08
]]> Twitterまとめ投稿 2012/04/17 http://shigekun.blog.so-net.ne.jp/2012-04-17 shige1973メモ_φ(･_･ RT @chizulabo: mixiの絶対領域コミュに入ろうかどうしようか迷っている夜。04/16 06:57 ツイートまとめ しげくん 2012-04-17T04:01:06+09:00
  • shige1973shige1973メモ_φ(･_･ RT @chizulabo: mixiの絶対領域コミュに入ろうかどうしようか迷っている夜。04/16 06:57
]]> Twitterまとめ投稿 2012/04/12 http://shigekun.blog.so-net.ne.jp/2012-04-12 shige1973[MEMO]放射線量測定値検索API - WEB SERVICES BY 測ってガイガー！ http://t.co/YVsLSH1p04/11 15:54 ツイートまとめ しげくん 2012-04-12T04:01:05+09:00
]]> Twitterまとめ投稿 2012/04/07 http://shigekun.blog.so-net.ne.jp/2012-04-07 shige1973全画面表示を強制されたｗサイズ変更も移動も出来ず最小化しか効かなかった>くまもとGPMap(ジーピーマップ)　熊本県全域の地図情報編集ソフトダウンロードサイト http://t.co/l5rR1RWG04/06 13:23 ツイートまとめ しげくん 2012-04-07T04:01:07+09:00
  • shige1973shige1973全画面表示を強制されたｗサイズ変更も移動も出来ず最小化しか効かなかった>くまもとGPMap(ジーピーマップ)　熊本県全域の地図情報編集ソフトダウンロードサイト http://t.co/l5rR1RWG04/06 13:23
]]> Twitterまとめ投稿 2012/04/06 http://shigekun.blog.so-net.ne.jp/2012-04-06 shige1973あ、、、2次メッシュ単位じゃないと接合部分が綺麗に出来ないツールだったorz04/05 09:20shige1973@chizulabo 満喫してるみたいですねｗ 無事飛べることを祈ってます04/05 08:44shige1973ようやく標高GeoTiffまで変換できた。17GB。一日半かかった。同じメッシュでDEM5A,B,Kがあるところがたくさん。段彩陰影にして比べてみよう04/05 08:35 ツイートまとめ しげくん 2012-04-06T04:01:06+09:00
  • shige1973shige1973あ、、、2次メッシュ単位じゃないと接合部分が綺麗に出来ないツールだったorz04/05 09:20
  • shige1973shige1973@chizulabo 満喫してるみたいですねｗ 無事飛べることを祈ってます04/05 08:44
  • shige1973shige1973ようやく標高GeoTiffまで変換できた。17GB。一日半かかった。同じメッシュでDEM5A,B,Kがあるところがたくさん。段彩陰影にして比べてみよう04/05 08:35
]]> Twitterまとめ投稿 2012/04/02 http://shigekun.blog.so-net.ne.jp/2012-04-02 shige1973DEM5M全国分、ZIPで17GBもあった。解凍したら。。。解凍しないで変換するように改良しなきゃ04/01 22:07 ツイートまとめ しげくん 2012-04-02T04:01:07+09:00
  • shige1973shige1973DEM5M全国分、ZIPで17GBもあった。解凍したら。。。解凍しないで変換するように改良しなきゃ04/01 22:07
]]> Twitterまとめ投稿 2012/04/01 http://shigekun.blog.so-net.ne.jp/2012-04-01 shige1973久しぶりにブログ書いた＞wgetの使い方：認証してFORMを送信するようなページでダウンロードする http://t.co/6vJ30V4v03/31 08:04 ツイートまとめ しげくん 2012-04-01T04:01:07+09:00
  • shige1973shige1973久しぶりにブログ書いた＞wgetの使い方：認証してFORMを送信するようなページでダウンロードする http://t.co/6vJ30V4v03/31 08:04
]]> wgetの使い方：認証してFORMを送信するようなページでダウンロードする http://shigekun.blog.so-net.ne.jp/2012-03-31-1 認証が必要でFORMのボタンを押してダウンロードするようなめんどくさいページで自動的にダウンロードさせるには。。。Linuxでwgetを使う。前提認証情報がCookieにあって、ボタンをしたらダウンロードが始まるページ１．認証--keep-session-cookies、 --save-cookies、 --post-dataを付けて、認証させクッキーをファイルに保存しておくwget \ --keep-session-cookies \ --save-cookies=cookies.txt \ --post-data 'POSTするデータ（UserId=...&Password=...）' \ ログインページのPOST先URLログインページのPOST先URLやPOSTする情報はページのソースを見て調べるか、ChromeのデベロッパーツールのNetworkを見る。２．ダウンロード--load-cookies、--post-data、-Oを付けてダウンロードwget \ --referer=リファラ（ダウンロードページのURL） \ --load-cookies cookies.txt \ --post-data 'POSTするデータ（key1=value1&key2=value2...）' \ -O 保存するファイル名 \ ダウンロードページのPOST先のURLリファラは必要に応じて。３．失敗したファイルを削除するにはエラーになった時、いつも同じサイズのHTMLファイルが保存されるならまとめて削除。指定したサイズのファイルを削除find . -size サイズc | xargs rmサイズ0バイトのファイルを削除find . -size 0c | xargs rm４．繰り返す時は失敗したファイルを３で削除してからファイルの有無を調べて再ダウンロードif [ -e ダウンロードファイル名 ] ; then echo "skip"; else wget ・・・ ; fiおまけUser-Agentの設定は--user-agentBasic認証は--http-user、--http-passwd コンピュータ しげくん 2012-03-31T06:54:47+09:00
Linuxでwgetを使う。

前提
認証情報がCookieにあって、ボタンをしたらダウンロードが始まるページ

１．認証
--keep-session-cookies、 --save-cookies、 --post-dataを付けて、認証させクッキーをファイルに保存しておく
wget \
 --keep-session-cookies \
 --save-cookies=cookies.txt \
 --post-data 'POSTするデータ（UserId=...&Password=...）' \
 ログインページのPOST先URL

ログインページのPOST先URLやPOSTする情報は
ページのソースを見て調べるか、
ChromeのデベロッパーツールのNetworkを見る。

２．ダウンロード
--load-cookies、--post-data、-Oを付けてダウンロード
wget \
 --referer=リファラ（ダウンロードページのURL） \
 --load-cookies cookies.txt \
 --post-data 'POSTするデータ（key1=value1&key2=value2...）' \
 -O 保存するファイル名 \
 ダウンロードページのPOST先のURL

リファラは必要に応じて。

３．失敗したファイルを削除するには
エラーになった時、いつも同じサイズのHTMLファイルが保存されるならまとめて削除。

指定したサイズのファイルを削除
find . -size サイズc | xargs rm

サイズ0バイトのファイルを削除
find . -size 0c | xargs rm


４．繰り返す時は失敗したファイルを３で削除してからファイルの有無を調べて再ダウンロード
if [ -e ダウンロードファイル名 ] ; then echo "skip"; else  wget ・・・ ; fi


おまけ
User-Agentの設定は--user-agent
Basic認証は--http-user、--http-passwd ]]> Twitterまとめ投稿 2012/03/31 http://shigekun.blog.so-net.ne.jp/2012-03-31 shige1973@chizulabo しかしなんでこんな面倒くさいものに・・・03/30 19:15shige1973メモ2：wget --referer=～ --load-cookies cookie.txt --post-data ・・・03/30 19:06shige1973メモ1：wget --keep-session-cookies --save-cookies=cookie.txt --post-data ・・・03/30 19:05shige1973@chizulabo たぶん月曜には終わっているかと。これ、そのままWebで公開しちゃダメなんですよね？ｗ03/30 18:51shige1973@chizulabo 調子出てきたので全国分も近々。もし良かったらどうぞ03/30 18:20shige1973@chizulabo すぐ止まっちゃってダメです03/30 17:54shige1973@chizulabo 今、スクリプトで頑張ってます03/30 17:32shige1973wgetでいけそう03/30 17:06shige1973なにこれ、いちいちサーブレットにPOSTしてダウンロードするの？w03/30 16:27shige1973ダウンロードできない>< .@niyalist さんの「国土地理院による高精度な数値標高データの公開への反応」をお気に入りにしました。 http://t.co/Wbh3snbA03/30 16:14 ツイートまとめ しげくん 2012-03-31T04:01:07+09:00
  • shige1973shige1973@chizulabo しかしなんでこんな面倒くさいものに・・・03/30 19:15
  • shige1973shige1973メモ2：wget --referer=～ --load-cookies cookie.txt --post-data ・・・03/30 19:06
  • shige1973shige1973メモ1：wget --keep-session-cookies --save-cookies=cookie.txt --post-data ・・・03/30 19:05
  • shige1973shige1973@chizulabo たぶん月曜には終わっているかと。これ、そのままWebで公開しちゃダメなんですよね？ｗ03/30 18:51
  • shige1973shige1973@chizulabo 調子出てきたので全国分も近々。もし良かったらどうぞ03/30 18:20
  • shige1973shige1973@chizulabo すぐ止まっちゃってダメです03/30 17:54
  • shige1973shige1973@chizulabo 今、スクリプトで頑張ってます03/30 17:32
  • shige1973shige1973wgetでいけそう03/30 17:06
  • shige1973shige1973なにこれ、いちいちサーブレットにPOSTしてダウンロードするの？w03/30 16:27
  • shige1973shige1973ダウンロードできない>< .@niyalist さんの「国土地理院による高精度な数値標高データの公開への反応」をお気に入りにしました。 http://t.co/Wbh3snbA03/30 16:14
]]> Twitterまとめ投稿 2012/03/26 http://shigekun.blog.so-net.ne.jp/2012-03-26 shige1973地図屋さんとしては市内全域の地図を作りたいRT @usakawai: ポリマスターPM1703MO-1B（ガイガー+シンチ）による川口市駅前→オートレース場→市役所付近の放射線測定マップを作成しました。ママチャリ測定 http://t.co/UhFGqnkM #kawaguchi03/25 21:29 ツイートまとめ しげくん 2012-03-26T04:01:04+09:00
  • shige1973shige1973地図屋さんとしては市内全域の地図を作りたいRT @usakawai: ポリマスターPM1703MO-1B（ガイガー+シンチ）による川口市駅前→オートレース場→市役所付近の放射線測定マップを作成しました。ママチャリ測定 http://t.co/UhFGqnkM #kawaguchi03/25 21:29
]]> Twitterまとめ投稿 2012/03/24 http://shigekun.blog.so-net.ne.jp/2012-03-24 shige1973&gt;地図 山のスポット情報 クチコミTIM http://t.co/Ff0ej9aI03/23 09:36shige1973&gt;これで解決: GoogleとYahooと電子国土の地図を簡単に印刷 http://t.co/EDb2YI3C03/23 09:33 ツイートまとめ しげくん 2012-03-24T04:01:10+09:00
]]> Twitterまとめ投稿 2012/03/20 http://shigekun.blog.so-net.ne.jp/2012-03-20 shige1973会社で買おうかと思ったけど、Ebookだと買っても読まない気がするｗ＞O'Reilly Japan - HTML5 ジオロケーション http://t.co/SBerwmdG03/19 10:16 ツイートまとめ しげくん 2012-03-20T04:01:08+09:00
  • shige1973shige1973会社で買おうかと思ったけど、Ebookだと買っても読まない気がするｗ＞O'Reilly Japan - HTML5 ジオロケーション http://t.co/SBerwmdG03/19 10:16
]]>