ジーナ・トラパニ
ブラウザは、Webドキュメントを取得して表示するのに適した仕事をしていますが、それらのより厳しいHTTPジョブを完了するために追加の強度ダウンロードマネージャーが必要な場合があります。
Wgetと呼ばれる多用途の古い学校のUNIXプログラムは、すべてのダウンロードニーズを処理できる非常にハッキング可能で便利な小さなツールです。 Webサイト全体をミラーリングするか、お気に入りのウェブログのセットから音楽や映画を自動的にダウンロードするか、ゆっくりと断続的なネットワーク接続で巨大なファイルを痛みなく転送するかどうかにかかわらず、Wget's for You。
「非対話ネットワークレトリーバー」であるWgetは、コマンドラインで呼び出されます。 WGETコマンドの形式は次のとおりです。
wget [option]... [URL]...
URLは、Wgetをダウンロードするファイルのアドレスです。この小さなツールの魔法は、非常にきちんとしたダウンロードタスクを可能にするオプションの長いメニューです。コマンドの[オプション]部分にWgetといくつかのダッシュと文字を使用してできることの例をいくつか紹介します。
Webサイト全体をミラーリングします
ブログをバックアップするか、後でアーカイブまたは読み取りのためにWebサイトのディレクトリ全体のローカルコピーを作成したいとします。コマンド：
wget -m https://ginatrapani.googlepages.com
ginatrapani.googlepages.comサイトに存在する2つのページを保存します。コマンドの-mは、「このサイトをミラー」の略です。
サイト内のすべてのページを取得し、サイトがリンクするページを取得したいとします。あなたは一緒に行きます：
wget -H -r --level=1 -k -p https://ginatrapani.googlepages.com
このコマンドは、「https://ginatrapani.googlepages.comにすべてのページ（-r、再帰）をダウンロードし、1つのレベル（ - レベル= 1）にリンクする他のサイトに（-h、spanホスト）、およびダウンロードされたバージョンのリンクを変換して、他のサイトのダウンロードバージョン（-K）を指し、各ページ（-P）を構成する画像のようなすべてのコンポーネントを取得します。
警告：注意してください、小さなハードドライブを持っている人！このタイプのコマンドは、多くのリンク（ブログなど）をリンクするサイトから多くのデータをダウンロードします！ディスクスペースがなくなるので、インターネットをバックアップしようとしないでください！
フレーク状の接続で大きなファイルのダウンロードを再開します
あなたが隣人のwifiを豚バックしていて、誰かが電子レンジをポップコーンするたびに接続を失い、ビデオのダウンロード（いたずらな！）が途中でcrをし続けます。断続的な接続上の大きなファイルの部分的なダウンロードを再開するように直接。
この16MBの中断されたダウンロードを再開するようにWGETを設定する」Mavericks Surf Highlights 2006：Wipeouts「Googleビデオから短い、使用：
wget -c --output-document=mavericks.avi "https://vp.video.google.com/videodownload?version=0&secureurl=qgAAAJCWpcRd5eI2k3sm3LWJZMjLyLFiTxk_KqUrRYbrzLTEw8hwMV30m3MRz6rYMTxGqWIfWMQjNJsP0fNXUMc34jzoPcy6z-qHde5UVD29Po6_9b_-d3J5AQpVROUPRqzkJriangEl2IMkKBJd08Q7TTJIAC_r6XID-fNYPLKHm1KRvx0smOslivNLGmyZsCsZmVNVN0jaw5-dloWtzPlI86zIubh1XvJsTg2u_YaHcaAB&sigh=-BbV2h_bIFVuVg4D-h6MUTxuErM&begin=0&len=139433&docid=6059494448346363884"
（ungunり、包装されていないURLについてお詫びします。）
-c（ "継続"）オプションは、転送が中断された場合に部分的なダウンロードを再開するようにWGETを設定します。また、URLが引用符であることに気付きます。また、そのURLは非常に長いため、出力ファイルの名前を明示的に指定できます - この場合はMavericks.aviです。
ファイルの時間ごとのダウンロードをスケジュールします
コマンドラインスクリプトの良いところは、自動化が非常に簡単であることです。たとえば、1時間ごとにダウンロードしたいファイルが絶えず変化するファイルがあった場合、CronまたはWindowsタスクスケジューラを使用してそれを行うことができます。夜中に、他の作業を完了するためにすべての帯域幅が必要なこの瞬間の代わりに眠っていました。 WGETコマンドを簡単にスケジュールして、後で実行できます。
概念の証明として、昨日、私は自動的に実行するためにLifeHackerのDaily Traffic Chartの1時間ごとのダウンロードをスケジュールしました。コマンドは次のように見えました：
wget --output-document=traffic_$(date +\%Y\%m\%d\%H).gif "https://sm3.sitemeter.com/rpc/v6/server.asp?a=GetChart&n=9&p1=sm3lifehacker&p2=&p3=3&p4=0&p5=64\%2E249\%2E116\%2E138&p6=HTML&p7=1&p8=\%2E\%3Fa\%3Dstatistics&p9=&rnd=7209"
一意のファイル名をもたらす％yおよび％mのデータタイムパラメーターの使用に注意してください。そのため、1時間ごとにコマンドが1時間前に生成された同じ名前でファイルを上書きしません。また、％のsはバックスラッシュで逃げる必要があることに注意してください。
楽しみのために、私は昨日の午後2時から真夜中までのLifeHackerのトラフィックの動きを表示する1時間ごとのチャート画像の少しアニメーションGIFを一緒に投げました。
音楽を自動的にダウンロードします
によって提案されたこの最後の手法ジェフ・ヴィーン、私のお気に入りのWgetの使用です。最近では、興味深い種類のメディアを指すディレクトリ、アグリゲーター、フィルター、ウェブログがたくさんあります。 WGETを使用して、MP3ファイルにリンクするというお気に入りのサイトのテキストファイルリストを作成し、毎日または週ごとに新しく添付されたMP3を自動的にダウンロードするようにスケジュールできます。
まず、mp3_site.txtというテキストファイルを作成し、お気に入りの音楽ソースのURLをオンラインで1行につき1行ごとにリストします（https://del.icio.us/tag/system:fil…またはstereogum.com）。以前の機能を確認してくださいウェブ上で無料の音楽を見つける方法その他のアイデアのために。
次に、次のWGETコマンドを使用して外に出て、それらのmp3を取得します。
wget -r -l1 -H -t1 -nd -N -np -A.mp3 -erobots=off -i mp3_sites.txt
そのWGETレシピは、既にダウンロードしたものよりも新しいmp3_sites.txtにリストされているサイトからリンクされたmp3ファイルのみを再帰的にダウンロードします。そこには、すべての音楽ファイルの新しいディレクトリを作成せず、robots.txtを無視し、リンクの親ディレクトリに登らないように、他にもいくつかの仕様があります。ジェフは彼の中でそれをすべて壊しますオリジナルの投稿。
このテクニックの素晴らしいところは、このコマンドがスケジュールされると、眠っている間、Wgetが獲得する新しい音楽のジュークボックスを取得することです。信頼できる情報源のセットがあれば、再び新しい音楽を探しに行く必要はありません。Wgetはあなたのためにすべての仕事をします。
WGETをインストールします
これをすべて試してみませんか？ Windowsユーザー、できますここからWGETをダウンロードしてください; Macユーザー、ここに行きなさい。よりLinuxyの良さに興味のあるWindowsユーザーの代替品は、UNIXエミュレーターをダウンロードしてインストールすることですCygwinこれには、WGETと他の多くの 'nixyユーティリティも含まれます。
Wgetの秘密のオプションソースのすべてを完全に取り入れるために、タイプwget --helpまたは、フルオンをチェックしてくださいオンラインでマニュアル。ダウンロードタスクが何であれ、Wgetの広範なオプションのいくつかの組み合わせにより、ジョブが適切に行われます。
Wgetのライフハッカーリーダーのファンはいますか？この汎用性の高いツールは何を使用していますか？ lifehacker.comのコメントまたはヒントでお知らせください。
ジーナ・トラパニ、LifeHackerの編集者は、さまざまなWgetオプションのレシピをテストするのに時間がかかりすぎます。彼女の半週間の機能、生きるオタク、毎週水曜日と金曜日にライフハッカーに登場します。を購読しますライブフィードへのオタクニュースリーダーに新しい分割払いを入手します。
