PythonとSeleniumで学ぶWebスクレイピングプロジェクト

python -m venv myenv

myenv\Scripts\activate

python3 -m venv myenv

source myenv/bin/activate

selenium==4.33.0
webdriver-manager==4.0.2

pip install -r requirements.txt

# ライブラリのインポートテスト
try:
    # Seleniumの中核機能をインポート
    from selenium import webdriver
    # WebDriverサービスの管理用
    from selenium.webdriver.chrome.service import Service
    # WebDriverの自動管理用
    from webdriver_manager.chrome import ChromeDriverManager
    print("✓ すべてのライブラリが正常にインポートされました")
except ImportError as e:
    # インポートエラーが発生した場合の処理
    print(f"✗ ライブラリのインポートエラー: {e}")

# WebDriverの動作確認テスト
try:
    # ChromeDriverManagerで自動的にドライバーをインストール
    service = Service(ChromeDriverManager().install())
    print("✓ WebDriverManagerが正常に動作しています")
except Exception as e:
    # WebDriverの初期化でエラーが発生した場合の処理
    print(f"✗ WebDriverManagerエラー: {e}")

python book_scraper.py

# Webスクレイピング用ライブラリのインポート
from selenium import webdriver  # ブラウザ自動制御の中核機能
from selenium.webdriver.chrome.service import Service  # WebDriverサービス管理
from selenium.webdriver.chrome.options import Options  # Chromeブラウザの詳細設定
from selenium.webdriver.common.by import By  # 要素の検索方法を指定
from webdriver_manager.chrome import ChromeDriverManager  # ChromeDriver自動管理
import time  # 処理の待機時間制御

class BookScraper:
    def __init__(self, headless=True):
        """
        BookScraperクラスの初期化メソッド
        headless: Trueの場合、ブラウザウィンドウを表示しない
        """
        # インスタンス変数の初期化
        self.headless = headless  # Headlessモードの設定を保存
        self.driver = None  # WebDriverインスタンスを格納する変数
        # WebDriverの初期設定メソッドを呼び出し
        self.setup_driver()

    def setup_driver(self):
        """Chrome WebDriverの詳細設定を行うメソッド"""
        # Chromeブラウザのオプション設定を初期化
        chrome_options = Options()
        
        # Headlessモードの設定（ブラウザウィンドウを表示しない）
        if self.headless:
            chrome_options.add_argument("--headless")
        
        # パフォーマンス向上のための設定
        chrome_options.add_argument("--disable-dev-shm-usage")  # 共有メモリ使用を無効化
        chrome_options.add_argument("--no-sandbox")  # サンドボックス機能を無効化
        chrome_options.add_argument("--disable-gpu")  # GPU加速を無効化
        chrome_options.add_argument("--disable-extensions")  # 拡張機能を無効化
        chrome_options.add_argument("--disable-plugins")  # プラグインを無効化
        
        # WebDriverサービスの初期化（ChromeDriverManagerで自動管理）
        service = Service(ChromeDriverManager().install())
        # Chrome WebDriverインスタンスを作成
        self.driver = webdriver.Chrome(service=service, options=chrome_options)
        
        # ページ読み込み待機時間の設定（10秒）
        self.driver.implicitly_wait(10)

    def access_website(self, url):
        """
        指定されたURLにアクセスしてページを読み込むメソッド
        url: アクセス対象のWebサイトURL
        戻り値: アクセス成功時True、失敗時False
        """
        try:
            # アクセス開始をコンソールに表示
            print(f"アクセス中: {url}")
            # 指定されたURLにアクセス
            self.driver.get(url)
            
            # ページ読み込み完了まで3秒待機
            time.sleep(3)
            
            # ページタイトルを取得して表示
            page_title = self.driver.title
            print(f"ページタイトル: {page_title}")
            
            # アクセス成功を示すTrueを返す
            return True
            
        except Exception as e:
            # エラーが発生した場合の処理
            print(f"アクセスエラー: {e}")
            # アクセス失敗を示すFalseを返す
            return False

    def close_browser(self):
        """ブラウザを安全に終了するメソッド"""
        # WebDriverインスタンスが存在する場合のみ終了処理を実行
        if self.driver:
            # ブラウザを完全に終了
            self.driver.quit()
            print("ブラウザを終了しました")

def main():
    """メイン実行関数"""
    # スクレイピング対象のURL（練習用サイト）
    target_url = "https://books.toscrape.com/"
    
    # BookScraperインスタンスを作成（Headlessモードで実行）
    scraper = BookScraper(headless=True)
    
    try:
        # Webサイトにアクセスを試行
        if scraper.access_website(target_url):
            print("✓ Webサイトへのアクセスが成功しました")
        else:
            print("✗ Webサイトへのアクセスに失敗しました")
            
    except Exception as e:
        # 予期しないエラーが発生した場合の処理
        print(f"実行エラー: {e}")
        
    finally:
        # 正常終了・異常終了に関わらず必ずブラウザを終了
        scraper.close_browser()

# プログラムのエントリーポイント
if __name__ == "__main__":
    main()

python book_scraper.py

    def get_book_menu(self, blink):
        """
        書籍メニュー情報を取得するメソッド
        blink: 対象WebサイトのURL
        戻り値: カテゴリ別に整理された書籍データの辞書
        """
        # 書籍データを格納する辞書を初期化
        current_book_data = {}
        
        try:
            # 書籍要素を全て取得
            book_elements = self.driver.find_elements(By.CSS_SELECTOR, "article.product_pod")
            print(f"発見した書籍数: {len(book_elements)}")
            
            # カテゴリ別に書籍を分類
            categories = {
                "Travel": [],
                "Mystery": [],
                "Historical Fiction": [],
                "Sequential Art": [],
                "Classics": [],
                "Philosophy": [],
                "Romance": [],
                "Womens Fiction": [],
                "Fiction": [],
                "Childrens": []
            }
            
            # 各書籍要素を処理
            for index, book in enumerate(book_elements):
                try:
                    # 書籍タイトルを取得
                    title_element = book.find_element(By.CSS_SELECTOR, "h3 a")
                    item_name = title_element.get_attribute("title")
                    
                    # 価格を取得
                    price_element = book.find_element(By.CSS_SELECTOR, "div.product_price p.price_color")
                    item_price = price_element.text.replace("£", "")
                    
                    # カテゴリを決定（簡単な分類ロジック）
                    category = self.determine_category(item_name, index)
                    
                    # カテゴリに書籍情報を追加
                    if category in categories:
                        categories[category].append([item_name, item_price])
                        
                except Exception as e:
                    # 個別の書籍取得に失敗した場合はスキップ
                    continue
            
            # カテゴリごとのデータを辞書形式に変換
            for category_name, items in categories.items():
                if items:  # アイテムが存在する場合のみ処理
                    category_name_data = {}
                    for item in items:
                        item_name = item[0]  # 書籍名
                        item_price = item[1]  # 価格
                        category_name_data[item_name] = item_price
                    
                    current_book_data[category_name] = category_name_data
                    
        except Exception as e:
            print(f"データ取得エラー: {e}")
        
        return current_book_data
    
    def determine_category(self, title, index):
        """
        書籍タイトルとインデックスからカテゴリを決定するメソッド
        title: 書籍タイトル
        index: 書籍のインデックス
        戻り値: カテゴリ名
        """
        # タイトルに基づく簡単な分類
        title_lower = title.lower()
        
        if any(word in title_lower for word in ["travel", "journey", "world", "guide"]):
            return "Travel"
        elif any(word in title_lower for word in ["mystery", "murder", "detective", "crime"]):
            return "Mystery"
        elif any(word in title_lower for word in ["history", "historical", "war", "ancient"]):
            return "Historical Fiction"
        elif any(word in title_lower for word in ["art", "comic", "graphic"]):
            return "Sequential Art"
        elif any(word in title_lower for word in ["classic", "shakespeare", "literature"]):
            return "Classics"
        elif any(word in title_lower for word in ["philosophy", "think", "wisdom", "mind"]):
            return "Philosophy"
        elif any(word in title_lower for word in ["love", "romance", "heart", "wedding"]):
            return "Romance"
        elif any(word in title_lower for word in ["woman", "women", "girl", "female"]):
            return "Womens Fiction"
        elif any(word in title_lower for word in ["child", "children", "kid", "young"]):
            return "Childrens"
        else:
            return "Fiction"

def main():
    """メイン実行関数"""
    print("書籍スクレイピングを開始します")
    # ユーザーから対象サイトのURLを入力
    blink = str(input("対象サイトのURL: "))
    
    # BookScraperインスタンスを作成
    scraper = BookScraper(headless=True)
    
    try:
        # Webサイトにアクセスを試行
        if scraper.access_website(blink):
            print("✓ Webサイトへのアクセスが成功しました")
            
            # 書籍データを取得
            data = scraper.get_book_menu(blink)
            
            # 取得したデータをカテゴリごとに表示
            for category in data:
                category_name = category
                print("## ", category_name)
                print()
                
                # カテゴリ内のアイテムを取得
                items = data.get(category)
                # 各アイテムの名前と価格を表示
                for item in items:
                    print(item, "  : ¥", items.get(item))
                print()
            
        else:
            print("✗ Webサイトへのアクセスに失敗しました")
            
    except Exception as e:
        # 予期しないエラーが発生した場合の処理
        print(f"実行エラー: {e}")
        
    finally:
        # 正常終了・異常終了に関わらず必ずブラウザを終了
        scraper.close_browser()

# プログラムのエントリーポイント
if __name__ == "__main__":
    main()

python book_scraper.py

https://books.toscrape.com/

    def analyze_data(self, book_data):
        """
        取得した書籍データを分析するメソッド
        book_data: 書籍データの辞書
        """
        # データが存在しない場合の処理
        if not book_data:
            print("分析対象のデータがありません")
            return
        
        # 統計情報を格納する変数を初期化
        total_categories = len(book_data)  # カテゴリ数
        total_items = 0  # 総商品数
        all_prices = []  # 全価格のリスト
        
        # 各カテゴリを順次処理
        for category in book_data:
            items = book_data[category]  # カテゴリ内のアイテム取得
            category_count = len(items)  # カテゴリ内の商品数
            total_items += category_count  # 総商品数に加算
            
            # カテゴリ内の各アイテムの価格を処理
            for item_name, price in items.items():
                try:
                    # 価格を数値に変換してリストに追加
                    price_value = float(price)
                    all_prices.append(price_value)
                except ValueError:
                    # 価格変換に失敗した場合はスキップ
                    continue
        
        # 基本統計情報を表示
        print(f"カテゴリ数: {total_categories}")
        print(f"総商品数: {total_items}")
        
        # 価格データが存在する場合の統計計算
        if all_prices:
            # 平均価格の計算
            average_price = sum(all_prices) / len(all_prices)
            # 最高価格と最低価格の取得
            max_price = max(all_prices)
            min_price = min(all_prices)
            
            # 統計情報を表示
            print(f"平均価格: ¥{average_price:.2f}")
            print(f"最高価格: ¥{max_price}")
            print(f"最低価格: ¥{min_price}")

    def display_category_details(self, book_data):
        """
        カテゴリ別の詳細情報を表示するメソッド
        book_data: 書籍データの辞書
        """
        print("\n" + "="*60)
        print("カテゴリ別詳細情報")
        print("="*60)
        
        # 各カテゴリを順次処理
        for category_name in book_data:
            items = book_data[category_name]  # カテゴリ内のアイテム
            item_count = len(items)  # アイテム数
            
            # アイテムが存在する場合の処理
            if items:
                prices = []  # 価格リストを初期化
                # カテゴリ内の各価格を数値化してリストに追加
                for price in items.values():
                    try:
                        prices.append(float(price))
                    except ValueError:
                        # 価格変換に失敗した場合はスキップ
                        continue
                
                # 価格データが存在する場合の統計計算
                if prices:
                    # カテゴリ内の統計情報を計算
                    avg_price = sum(prices) / len(prices)
                    max_price = max(prices)
                    min_price = min(prices)
                    
                    # カテゴリ情報を表示
                    print(f"\n【{category_name}】")
                    print(f"商品数: {item_count}点")
                    print(f"価格帯: ¥{min_price} ~ ¥{max_price}")
                    print(f"平均価格: ¥{avg_price:.2f}")
                    
                    # 高額商品TOP3を表示
                    # 価格で降順ソートして上位3件を取得
                    top_items = sorted(items.items(), key=lambda x: float(x[1]), reverse=True)[:3]
                    print("高額商品TOP3")
                    for i, (name, price) in enumerate(top_items, 1):
                        print(f"  {i}. {name} - ¥{price}")

    def classify_by_price_range(self, book_data):
        """
        商品を価格帯別に分類するメソッド
        book_data: 書籍データの辞書
        """
        # 価格帯別の分類用辞書を初期化
        price_ranges = {
            "低価格帯(¥0-30)": [],
            "中価格帯(¥30-50)": [],
            "高価格帯(¥50以上)": []
        }
        
        # 各カテゴリを順次処理
        for category in book_data:
            items = book_data[category]  # カテゴリ内のアイテム
            # カテゴリ内の各アイテムを処理
            for item_name, price in items.items():
                try:
                    # 価格を数値に変換
                    price_value = float(price)
                    
                    # 価格帯による分類
                    if price_value < 30:
                        # 低価格帯に追加
                        price_ranges["低価格帯(¥0-30)"].append((item_name, price_value, category))
                    elif price_value < 50:
                        # 中価格帯に追加
                        price_ranges["中価格帯(¥30-50)"].append((item_name, price_value, category))
                    else:
                        # 高価格帯に追加
                        price_ranges["高価格帯(¥50以上)"].append((item_name, price_value, category))
                        
                except ValueError:
                    # 価格変換に失敗した場合はスキップ
                    continue
        
        # 分類結果を表示
        print("\n" + "="*60)
        print("価格帯別商品分類")
        print("="*60)
        
        # 各価格帯の結果を表示
        for range_name, items in price_ranges.items():
            print(f"\n【{range_name}】 {len(items)}点")
            
            # アイテムが存在する場合の詳細表示
            if items:
                # 価格で降順ソートして上位5件を表示
                sorted_items = sorted(items, key=lambda x: x[1], reverse=True)
                for item_name, price, category in sorted_items[:5]:
                    print(f"  • {item_name[:40]}... (¥{price}) - {category}")
                
                # 5件を超える場合は残り件数を表示
                if len(items) > 5:
                    print(f"  ... その他{len(items) - 5}点")

    def search_items(self, book_data, keyword):
        """
        キーワードで商品を検索するメソッド
        book_data: 書籍データの辞書
        keyword: 検索キーワード
        """
        search_results = []  # 検索結果を格納するリスト
        
        # 各カテゴリを順次処理
        for category in book_data:
            items = book_data[category]  # カテゴリ内のアイテム
            # カテゴリ内の各アイテムをチェック
            for item_name, price in items.items():
                # 商品名に検索キーワードが含まれるかチェック（大文字小文字無視）
                if keyword.lower() in item_name.lower():
                    # 検索結果に追加
                    search_results.append({
                        "name": item_name,
                        "price": price,
                        "category": category
                    })
        
        # 検索結果を表示
        print(f"\n検索キーワード: '{keyword}'")
        print(f"検索結果: {len(search_results)}件")
        print("-" * 40)
        
        # 検索結果が存在する場合の詳細表示
        if search_results:
            for result in search_results:
                print(f"商品名: {result['name']}")
                print(f"価格: ¥{result['price']}")
                print(f"カテゴリ: {result['category']}")
                print("-" * 30)
        else:
            print("該当する商品が見つかりませんでした")

def main():
    """メイン実行関数"""
    print("書籍スクレイピングシステム")
    print("=" * 30)
    
    # ユーザーから対象サイトのURLを入力
    blink = str(input("対象サイトのURL: "))
    
    # BookScraperインスタンスを作成
    scraper = BookScraper(headless=True)
    
    try:
        # Webサイトにアクセスを試行
        if scraper.access_website(blink):
            print("✓ Webサイトへのアクセスが成功しました")
            
            # 書籍データを取得
            data = scraper.get_book_menu(blink)
            
            # データが正常に取得できた場合の処理
            if data:
                # 各種分析・表示機能を実行
                scraper.analyze_data(data)  # データ分析
                scraper.display_category_details(data)  # カテゴリ別詳細
                scraper.classify_by_price_range(data)  # 価格帯別分類
                
                # インタラクティブな検索機能
                while True:
                    print("\n検索機能を使用しますか？ (y/n)")
                    choice = input().lower()
                    
                    if choice == 'y':
                        # 検索キーワードを入力
                        keyword = input("検索キーワードを入力してください: ")
                        scraper.search_items(data, keyword)
                    elif choice == 'n':
                        # 検索を終了
                        break
                    else:
                        print("y または n を入力してください")
            else:
                print("データの取得に失敗しました")
            
        else:
            print("✗ Webサイトへのアクセスに失敗しました")
            
    except Exception as e:
        # 予期しないエラーが発生した場合の処理
        print(f"実行エラー: {e}")
        
    finally:
        # 正常終了・異常終了に関わらず必ずブラウザを終了
        scraper.close_browser()

# プログラムのエントリーポイント
if __name__ == "__main__":
    main()

python book_scraper.py

https://books.toscrape.com/

# Virtual environment
myenv/

# Scraped data files
*.log