PythonによるＷebサイトからのExcelファイルの自動ダウンロードとExcelブックの自動更新

〇 Excelファイルの自動ダウンロードとExcelブックの自動更新

• ＷebサイトからExcelデータを定期的にダウンロードしExcelで管理資料を作ることは少なくないですが、Excelデータを所定のExcelブックの所定シートに展開することで自動的にデータ更新するプログラムを作ってみたいと思います。
• 本サイトでは「建設業界のニュース」として、日建連が会員94社を対象に毎月実施し発表している受注実績調査（発注者別調査）から、最新の国内受注実績と民間・官公庁別の内訳を数値やグラフとして提供していますが、その数値やグラフは日建連のサイトからダウンロードしたデータをExcelブックのシートに展開することで更新されます。
• このダウンロードデータをExcelブックの所定のシートに張り付ける作業を、Ｐythonで自動化します。
• プログラムは次のとおりです。主ファイルの「日建連受注実績調査.xlsx」には既存の2つのシート「集計表」と「data」があり、このうち「data」の内容をダウンロードデータで更新するのが目的ですが、プログラムでは、ダウンロードしたものをいったん主ファイルと同じディレクトリ内にローカルファイル「nikkenren_data.xlsx」として保存してからそのデータを利用しています。また、主ファイルでは、既存シート「data」を削除し、新たにダウンロードデータの内容でシート「data」を作成することで更新しています。本プログラムをテストする場合、主ファイルのディレクトリのパスは、実在のものを「パスのコピー」で取得し、プログラム中の r'～' の～部分に貼り付けてください。ＷebサイトからダウンロードするURLは、当該サイト上のダウンロードボタンなどを右クリックして現れる「リンクのコピー」により、取得可能です。

# PythonによるＷebサイトからのExcelファイルの自動ダウンロードとExcelブックの自動更新

# 日建連の「日建連受注実績調査（発注者別調査）」のデータをwebサイトから収集し、主ファイル（日建連受注実績調査.xlsx）を更新する

# 必要なモジュールを呼び出す

import os

import pandas as pd

import xlsxwriter

import openpyxl

import urllib

# 主ファイルがあるディレクトリ「dir」を指定する

dir = r'C:\Users\......\......\......\......\......' 

#　ＷebサイトからダウンロードするファイルのURL「url」を指定する

url = 'https://www.nikkenren.com/publication/xls/order2022_09.xlsx'  # 

# ダウンロードするファイルの拡張子を「ex」として取得する （「.xls」と「.xlsx」を区別するため）

fn,ex = os.path.splitext(url) 

# ダウンロードするファイルをローカルファイルとして保存するときのファイル名「lnam」を指定し、パス「lpath」を生成する

lnam = 'nikkenren_data'+ex 

lpath = os.path.join(dir,lnam) 

# Ｗebサイトからファイルをダウンロードし、ローカルファイルのExcelブックとして保存し、その実行結果を画面表示する

data = urllib.request.urlopen(url).read()

with open(lpath, mode="wb") as f:

    f.write(data)

print('ダウンロードファイルを パス '+lpath+' に保存しました')

# 主ファイルの名称「nam」を指定し、パス「path」を生成する

nam = '日建連受注実績調査.xlsx' 

path = os.path.join(dir,nam)

# ダウンロードデータによって更新する主ファイルの既存のシート名「shi」を指定する

shi = 'data'

# 主ファイルを開き、 既存のシートを削除してその実行結果を画面表示し、上書き保存して、主ファイルを閉じる

wb = openpyxl.load_workbook(path)

del wb[shi]

print('ファイル名「'+nam+'」の既存のシート「'+shi+'」を削除しました')

wb.save(path)

wb.close()

# 保存したローカルファイルのExcelブックからダウンロードデータを読み込み、「df」に格納する

df = pd.read_excel(lpath)

# ダウンロードデータ「df」を、削除したシートと同じ名前「shi」で新規のシートとして書き込み、その実行結果を画面表示する

with pd.ExcelWriter(path, engine="openpyxl", mode="a") as writer:

    df.to_excel(writer, sheet_name=shi,header=True,index=False)

    print('ダウンロードデータから ファイル名「'+nam+'」のシート「'+shi+'」を作成しました')

• 実行結果は次のとおりです。

ダウンロードファイルを パス C:\Users\......\......\......\......\......\nikkenren_data.xlsx に保存しました

ファイル名「日建連受注実績調査.xlsx」の既存のシート「data」を削除しました

ダウンロードデータから ファイル名「日建連受注実績調査.xlsx」のシート「data」を作成しました

〇 Excelファイルの自動ダウンロードとExcelブックの自動更新（ダウンロードが複数の場合）

• ダウンロードするファイルが多い場合は、Pythonでプログラム化することで、より効率性が高まります。
• 本サイトでは「建設業界のニュース」として、経済調査会が毎月発表している「建設資材価格指数」から、そのうち４つの指標をグラフ化して提供していますが、そのグラフは経済調査会のサイトからダウンロードした４つのデータをExcelブックのシートに展開することで更新されます。
• この４つのダウンロードデータをExcelブックの所定のシートに張り付ける作業を、Ｐythonで自動化します。
• プログラムは次のとおりです。主ファイルの「建設資材価格指数.xlsx」には既存の５つのシート（「集計表」と４つのダウンロードデータ用の「建設資材価格指数」、「生コンクリート」、「普通鋼鋼材」、「木材」）があります。上記の「日建連受注実績調査」のプログラムをほぼそのまま使っていますが、ダウンロードするファイルが４つあるので、変数をリスト化し、また同じ作業を変数を変えて４回繰り返す必要があるところ（３ヶ所）で「for～文」を使用している点が主な違いです。

# PythonによるＷebサイトからのExcelファイルの自動ダウンロードとExcelブックの自動更新

# 経済調査会の「建設資材価格指数」のデータをＷｅｂサイトから収集し、主ファイル（建設資材価格指数.xlsx）を更新する

# 必要なモジュールを呼び出す

import os

import pandas as pd

import xlsxwriter

import openpyxl

import urllib

# 主ファイルがあるディレクトリ「dir」を指定する

dir = r'C:\Users\......\......\......\......\......' 

#　Ｗebサイトからダウンロードするファイルの「url」を４つ指定してリスト化する

url = ['https://www.zai-keicho.or.jp/wp-content/uploads/2022/10/12_index_by_cities_building-1.xlsx', # ★ 1建設資材価格指数(建築)

       'https://www.zai-keicho.or.jp/wp-content/uploads/2022/10/15_ready-mixed_concrete_building-1.xlsx', # ★ 2生コンクリート(建築)

       'https://www.zai-keicho.or.jp/wp-content/uploads/2022/10/20_ordinary_steel_products_building-1.xlsx', # ★ 3普通鋼鋼材(建築)

       'https://www.zai-keicho.or.jp/wp-content/uploads/2022/10/23_wood_products_building-1.xlsx' # ★ 4木材(建築)

      ] 

# ダウンロードデータによって更新する主ファイルの既存のシート名「shi」を指定してリスト化する(ダウンロードするファイル名の一部にも使用)

shi = ['建設資材価格指数','生コンクリート','普通鋼鋼材','木材'] 

# ダウンロードしてローカルファイルとして保存するファイルのパスを格納するリスト

lpathlist = []

# 以下の作業を４回繰り返す

for n in range(4):

    # ダウンロードするファイルの拡張子を「ex」として取得する （「.xls」と「.xlsx」を区別するため）

    fn,ex = os.path.splitext(url[n]) 

    # ダウンロードするファイルをローカルファイルとして保存するときのファイル名「lnam」を指定し、パス「lpath」を生成してリスト化する

    lnam = 'sizai_'+str(n+1)+shi[n]+ex 

    lpath = os.path.join(dir,lnam)

    # Ｗebサイトからファイルをダウンロードし、ローカルファイルのExcelブックとして保存し、その実行結果を画面表示する

    data = urllib.request.urlopen(url[n]).read()

    with open(lpath, mode="wb") as f:

        f.write(data)

    print('ダウンロードファイルを パス '+lpath+' に保存しました')

    # パス「lpath」をリスト化する

    lpathlist = lpathlist + [lpath]

# 主ファイルの名称「nam」を指定し、パス「path」を生成する

nam = '建設資材価格指数.xlsx' 

path = os.path.join(dir,nam)

# 主ファイルを開き、 既存のシートを削除（４回繰り返し）してその実行結果を画面表示し、上書き保存して、主ファイルを閉じる

wb = openpyxl.load_workbook(path)

for n in range(4):

    del wb[shi[n]]

    print('ファイル名「'+nam+'」の既存のシート「'+shi[n]+'」を削除しました')

wb.save(path)

wb.close()

# 以下の作業を４回繰り返す

for n in range(4):

    # 保存したローカルファイルのExcelブックからダウンロードデータを読み込み、シート名が「詳細(10都市)」のデータを「df」に格納する

    df = pd.read_excel(lpathlist[n],sheet_name='詳細(10都市)')

    # ダウンロードデータ「df」を、削除したシートと同じ名前「shi」で新規のシートとして書き込み、その実行結果を画面表示する

    with pd.ExcelWriter(path, engine="openpyxl", mode="a") as writer:

        df.to_excel(writer, sheet_name=shi[n],header=True,index=False)

        print('ダウンロードデータから ファイル名「'+nam+'」のシート「'+shi[n]+'」を作成しました')

• 実行結果は次のとおりです。

ダウンロードファイルを パス C:\Users\......\......\......\......\......\sizai_1建設資材価格指数.xlsx に保存しました

ダウンロードファイルを パス C:\Users\......\......\......\......\......\sizai_2生コンクリート.xlsx に保存しました

ダウンロードファイルを パス C:\Users\......\......\......\......\......\sizai_3普通鋼鋼材.xlsx に保存しました

ダウンロードファイルを パス C:\Users\......\......\......\......\......\sizai_4木材.xlsx に保存しました

ファイル名「建設資材価格指数.xlsx」の既存のシート「建設資材価格指数」を削除しました

ファイル名「建設資材価格指数.xlsx」の既存のシート「生コンクリート」を削除しました

ファイル名「建設資材価格指数.xlsx」の既存のシート「普通鋼鋼材」を削除しました

ファイル名「建設資材価格指数.xlsx」の既存のシート「木材」を削除しました

ダウンロードデータから ファイル名「建設資材価格指数.xlsx」のシート「建設資材価格指数」を作成しました

ダウンロードデータから ファイル名「建設資材価格指数.xlsx」のシート「生コンクリート」を作成しました

ダウンロードデータから ファイル名「建設資材価格指数.xlsx」のシート「普通鋼鋼材」を作成しました

ダウンロードデータから ファイル名「建設資材価格指数.xlsx」のシート「木材」を作成しました