【Python3】URL を指定してファイルの内容を取得・ダウンロードする方法

ウェブ上の CSV / JSON / HTML / XML / 画像といったファイルを読み込みたいとき、コマンドラインなら wget 、PHP なら file_get_contents で簡単にできます。Python で実装するにはどうすれば良いでしょう？

Python3 でURLを指定してファイル内容を読み込む・ダウンロードする方法をご紹介します。

よく使われる2つの方法
urllib によるサンプル
Requests によるサンプル
ダウンロードするサンプル

よく使われる2つの方法

urllib と Requests の２つのモジュールが定番です。

urllib は標準モジュールのため特別な準備なしに使うことができますが、使い勝手があまり良くありません。ちょっとした処理でもコードが冗長になりがちです。

Requests は使いやすさを重視したモジュールで、冗長になりがちな処理をシンプル・エレガントに実装することができます。標準モジュールではないものの、開発現場・Python関連の本でも Requests を採用する例が多くなっています。

urllib によるサンプル

urllib によりRSSフィード（XML）を読み込んでみましょう。

url = 'https://it-engineer-lab.com/feed'
try:
    with urllib.request.urlopen(url) as f:
        print(f.read().decode('utf-8'))  # print(f.read())  <- binary
except URLError as e:
    # https://docs.python.jp/3/howto/urllib2.html#wrapping-it-up
    if hasattr(e, 'reason'):
        print('We failed to reach a server.')
        print('Reason: ', e.reason)
    elif hasattr(e, 'code'):
        print('The server couldn\'t fulfill the request.')
        print('Error code: ', e.code)

url = 'https://it-engineer-lab.com/feed'

try:

with urllib.request.urlopen(url) as f:

print(f.read().decode('utf-8')) # print(f.read()) <- binary

except URLError as e:

# https://docs.python.jp/3/howto/urllib2.html#wrapping-it-up

if hasattr(e, 'reason'):

print('We failed to reach a server.')

print('Reason: ', e.reason)

elif hasattr(e, 'code'):

print('The server couldn\'t fulfill the request.')

print('Error code: ', e.code)

公式ドキュメントとは思えない程、懇切丁寧かつ具体的なコードで使い方が説明されています。下記を一読すれば、取得からエラー処理まで一通りを身につけることができます。

urllib パッケージを使ってインターネット上のリソースを取得するには（Python3 公式ドキュメント）

Requests によるサンプル

まずは pip で Requests をインストール、１コマンドで準備完了です。

$ pip install requests

1	$ pip install requests

Requests によりRSSフィード（XML）を読み込んでみましょう。モジュール名は Requests （頭文字が大文字）ですが、ソースコードでは requests （すべて小文字）に注意しましょう。

import requests

url = 'https://it-engineer-lab.com/feed'
try:
    r = requests.get(url)
    print(r.text)
except requests.exceptions.RequestException as err:
    print(err)

import requests

url = 'https://it-engineer-lab.com/feed'

try:

r = requests.get(url)

print(r.text)

except requests.exceptions.RequestException as err:

print(err)

Requests も公式ドキュメントが懇切丁寧かつ具体的なコードベースになっています。下記を一読すれば、取得からエラー処理まで一通りを身につけることができます。

クイックスタート（Requests公式ドキュメント）

Requests モジュールは、HTTPステータスコードの取得、タイムアウト設定、POST / PUT / DELETE など GETメソッド以外のHTTPリクエストといった「よくある応用処理」についても、とてもシンプルに記述できます。

ダウンロードするサンプル

Requests モジュールにより、URL を指定してファイルをローカルマシンに保存してみましょう。

# ダウンロード（読み込み + ローカル保存）
# ダウンロードして rss.xml というファイル名で保存する例
import requests

url = 'https://it-engineer-lab.com/feed'
try:
    r = requests.get(url)
    with open('rss.xml', mode='w') as f:
        f.write(r.text)
except requests.exceptions.RequestException as err:
    print(err)

# ダウンロード（読み込み + ローカル保存）

# ダウンロードして rss.xml というファイル名で保存する例

import requests

url = 'https://it-engineer-lab.com/feed'

try:

r = requests.get(url)

with open('rss.xml', mode='w') as f:

f.write(r.text)

except requests.exceptions.RequestException as err:

print(err)

ちなみに PHP で書くと以下のようになるかと思います。

<?php
$url = 'https://it-engineer-lab.com/feed';
if ($r = file_get_contents($url)) {
    file_put_contents('rss.xml', $r);
} else {
    echo "取得できませんでした";
}

<?php

$url = 'https://it-engineer-lab.com/feed';

if ($r = file_get_contents($url)) {

file_put_contents('rss.xml', $r);

} else {

echo "取得できませんでした";

}

以上、URL を指定してファイルの内容を取得・ダウンロードする方法でした。

よく使われる2つの方法

urllib によるサンプル

Requests によるサンプル

ダウンロードするサンプル

コメントを残す コメントをキャンセル

コメントを残すコメントをキャンセル