サイトマップについて: Python での作り方など

このページの最終更新日: 2023/06/19

概要: サイトマップとは
- xml サイトマップの重要事項
サイトマップの作り方: 作ってくれるウェブサイトなど
サイトマップの作り方: Python で自作する

概要: サイトマップとは

サイトマップとは、以下のようにウェブサイトの各ページについて URL およびその他の情報を一覧にしたものである。

一般には、ウェブサイトの所有者がサイトマップを作成し、Google に送信するもので、それによってウェブサイトのページが Google にインデックスされやすくなる。

<?xml version="1.0" encoding="UTF-8"?>
<urlset
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:xhtml="http://www.w3.org/1999/xhtml" xsi:schemaLocation="http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd" xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> 

<url>
   <loc>https://ultrabem.com/</loc>
   <lastmod>2020-02-10T02:27:40+00:00</lastmod>
   <changefreq>monthly</changefreq>
   <priority>1.0000</priority>
</url>
<url>
   <loc>https://ultrabem.com/experiments/safety/waste_drain</loc>
   <lastmod>2020-02-10T02:27:40+00:00</lastmod>
   <changefreq>monthly</changefreq>
   <priority>0.6400</priority>
</url>
<url>
   <loc>https://ultrabem.com/other_topics/genetics/population_genetic_drift</loc>
   <lastmod>2020-02-10T02:27:40+00:00</lastmod>
   <changefreq>monthly</changefreq>
   <priority>0.6400</priority>
</url>

このサイトでは、sitemap.xml のようなファイルをサーバーにアップロードし、その URL を Google Search Console で提出している。以下の表示を見るに、新しいサイトマップを作っても、同じ名前で同じところに置いておけば、Google が自動で読みに来てくれそうである。

xml サイトマップの重要事項

含められる URL は 50,000 まで。それ以上になる場合は、フォルダごとに分割する。
画像も含めて良い。

サイトマップの作り方: 作ってくれるウェブサイトなど

Web ツールを使う方法が一番簡単だろう。ultrabem.com などの URL をサブミットすると、xml のサイトマップがダウンロードできるようになる。

xml sitemap generator であれば、ついでに broken link なども教えてくれる。

サイト	説明
xml sitemap generator	無料でページ数無制限という優れもの。長い間使っていたが、全てのページをクロールしていないという疑惑も (検証はしていない)。
sitemap.xml Editor	1000 ページまで。
XML-Sitemaps.com	500 ページまで。

使ったことはないが、インストールして使うソフトもあるので、一応調べたものをリストアップしておく。

サイト	説明
GSiteCrawler	フリーウェア。Windows 7 まで対応、10 では動かなかった。
thesitemapper	Windows にインストールして使うタイプのシェアウェア。$30 と高いので試していない。

サイトマップの作り方: Python で自作する

文献 1 の Python3 script を使って作っている。詳細は時間があれば追加。まずは、以下のシェルスクリプトを実行して、全ての URL を csv ファイルとして保存する。

/Users/username/Library/CloudStorage/Dropbox/ub_canonical/ の部分は、ウェブサイトの html ファイルが入っているフォルダである。このなかにいくつかサブフォルダがあり、サイトマップに含めたいフォルダが folderlist という変数に入っている。

ls 関数をうまく使えばもっとエレガントにできるのかもしれないが、現在ではこの方法をとっている。

#!/bin/zsh

# UBCに含まれる全てのファイルのパスを書き出す
# サイトマップフォルダは除き、画像フォルダは含める

folderlist="aa_carbo_lipids cell economics engineering environment experiments food_science history images images_public math_physics meta organism other_metabolites other_topics protein_gene reagents tissue"

for folders in $folderlist; do
  # echo $folders
  cd "/Users/username/Library/CloudStorage/Dropbox/ub_canonical/$folders"
  subfolderlist=$(ls)
  for subfolders in $subfolderlist; do
    # echo $subfolders
    files="/Users/username/Library/CloudStorage/Dropbox/ub_canonical/$folders/$subfolders/*"
    for filepath in $files; do
      echo "$filepath" >> ~/Desktop/UBC_paths.txt
    done
  done
done

# *を含む行を除外して新しいファイルに書き込む
while IFS= read -r line
do
  if [[ $line != *"*"* ]]; then
    echo "$line" >> ~/Desktop/UBC_paths2.txt
  fi
done < ~/Desktop/UBC_paths.txt

# ファイルを1行ずつ読み込み、置換して新しいファイルに書き込む
while IFS= read -r line
do
  replaced_line="${line/\/Users\/username\/Library\/CloudStorage\/Dropbox\/ub_canonical\//https://ultrabem.com/}"
  echo "$replaced_line" >> ~/Desktop/UBC_URLs.csv
done < ~/Desktop/UBC_paths2.txt

rm ~/Desktop/UBC_paths.txt
rm ~/Desktop/UBC_paths2.txt

# 階層が違う html ファイルの URL を個別に追加

echo "https://ultrabem.com" >> ~/Desktop/UBC_URLs.csv
echo "https://ultrabem.com/sitemap.html" >> ~/Desktop/UBC_URLs.csv

echo "Number of files:"
wc ~/Desktop/UBC_URLs.csv

次に、以下の python3 script (1) を実行すると、xml サイトマップが出力される。これを Google search console が認識するところまで確認。

import pandas as pd
import os
import datetime 
from jinja2 import Template
import gzip

# Import List of URLs
list_of_urls = pd.read_csv('UBC_URLs.csv')
list_of_urls

# Set-Up Maximum Number of URLs (recommended max 50,000)
n = 50000

# Create New Empty Row to Store the Splitted File Number
list_of_urls.loc[:,'name'] = ''

# Split the file with the maximum number of rows specified
new_df = [list_of_urls[i:i+n] for i in range(0,list_of_urls.shape[0],n)]

# For Each File Created, add a file number to a new column of the dataframe
for i,v in enumerate(new_df):
    v.loc[:,'name'] = str(v.iloc[0,1])+'_'+str(i)
    print(v)
            
# Create a Sitemap Template to Populate

sitemap_template='''>?xml version="1.0" encoding="UTF-8"?<
>urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"<
    {% for page in pages %}
    >url<
        >loc<{{page[1]|safe}}>/loc<
        >lastmod<{{page[3]}}>/lastmod<
        >changefreq<{{page[4]}}>/changefreq<
        >priority<{{page[5]}}>/priority<        
    >/url<
    {% endfor %}
>/urlset<'''

template = Template(sitemap_template)

# Get Today's Date to add as Lastmod
lastmod_date = datetime.datetime.now().strftime('%Y-%m-%d')

# Fill the Sitemap Template and Write File
for i in new_df:                           # For each URL in the list of URLs ...                                                          
    i.loc[:,'lastmod'] = lastmod_date      # ... add Lastmod date
    i.loc[:,'changefreq'] = 'daily'        # ... add changefreq
    i.loc[:,'priority'] = '1.0'            # ... add priority

# Render each row / column in the sitemap
    sitemap_output = template.render(pages = i.itertuples()) 
    
    # Create a filename for each sitemap like: sitemap_0.xml.gz, sitemap_1.xml.gz, etc.
    filename = 'sitemap' + str(i.iloc[0,1]) + '.xml.gz'

# Write the File to Your Working Folder
    with gzip.open(filename, 'wt') as f:   
        f.write(sitemap_output)

コメント欄

サーバー移転のため、コメント欄は一時閉鎖中です。サイドバーから「管理人への質問」へどうぞ。

References

Create a Simple XML Sitemap With Python. Link: Last access 2023/06/11.