requestsとBeautifulSoupで構築するWeb商品情報収集スクレイピングプロジェクト

python -m venv myenv

myenv\Scripts\activate

python3 -m venv myenv

source myenv/bin/activate

requests==2.32.3
beautifulsoup4==4.13.4

pip install -r requirements.txt

# 必要なライブラリをインポート
import requests  # HTTP通信を行うためのライブラリ
from bs4 import BeautifulSoup  # HTML解析用のライブラリ
import os  # ファイルやフォルダ操作用のライブラリ

class WebScraper:
    def __init__(self, output_directory="collected_data"):
        """
        WebScraperクラスの初期化
        output_directory: 収集したデータを保存するフォルダ名
        """
        # データ保存先ディレクトリの設定
        self.output_folder = output_directory
        # ディレクトリが存在しない場合は作成
        os.makedirs(self.output_folder, exist_ok=True)
        
        # HTTP設定の初期化を実行
        self.setup_http_config()
        
        # 初期化完了メッセージを表示
        print(f"WebScraper初期化完了 - 保存先: {self.output_folder}")

    def setup_http_config(self):
        """
        HTTP通信用の設定を初期化
        練習用ページ取得のためのヘッダー情報とタイムアウト設定を行う
        """
        # HTTP通信用ヘッダー設定（ブラウザのふりをするための情報）
        self.headers = {
            # ブラウザの種類とバージョン情報を設定
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
            # 受け取り可能なデータ形式を指定
            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
            # 言語設定（日本語を優先）
            'Accept-Language': 'ja,en-US;q=0.7,en;q=0.3',
            # データ圧縮形式の対応状況を指定
            'Accept-Encoding': 'gzip, deflate, br',
            # 接続を維持する設定
            'Connection': 'keep-alive',
            # セキュアな接続への自動アップグレード設定
            'Upgrade-Insecure-Requests': '1'
        }
        
        # リクエストのタイムアウト時間を10秒に設定
        self.timeout = 10
        
        # 設定完了メッセージを表示
        print("HTTP設定完了")

    def fetch_webpage(self, url):
        """
        指定されたURLから練習用Webページを取得
        url: 取得したい練習ページのURL
        """
        try:
            # 処理開始メッセージを表示
            print(f"練習用ページ取得開始: {url}")
            
            # HTTPリクエストを送信してWebページを取得
            response = requests.get(
                url,                    # 取得するURL
                headers=self.headers,   # HTTPヘッダー情報
                timeout=self.timeout    # タイムアウト時間
            )
            
            # HTTPステータスコードの確認（200なら成功）
            if response.status_code == 200:
                # 成功メッセージとステータスコードを表示
                print(f"✓ ページ取得成功 - ステータスコード: {response.status_code}")
                # HTMLテキストを返す
                return response.text
            else:
                # 失敗メッセージとステータスコードを表示
                print(f"✗ ページ取得失敗 - ステータスコード: {response.status_code}")
                return None
                
        # タイムアウトエラーの処理
        except requests.exceptions.Timeout:
            print(f"✗ タイムアウトエラー: {url}")
            return None
        # 接続エラーの処理
        except requests.exceptions.ConnectionError:
            print(f"✗ 接続エラー: {url}")
            return None
        # その他のHTTPリクエストエラーの処理
        except requests.exceptions.RequestException as error:
            print(f"✗ リクエストエラー: {error}")
            return None
        # 予期しないエラーの処理
        except Exception as error:
            print(f"✗ 予期しないエラー: {error}")
            return None

    def validate_url(self, url):
        """
        URLが正しい形式かを検証
        url: 検証するURL文字列
        """
        # URLの基本チェック（空でない、文字列である）
        if not url or not isinstance(url, str):
            print("✗ URLが入力されていません")
            return False
        
        # httpsまたはhttpで始まっているかチェック
        if not (url.startswith('https://') or url.startswith('http://')):
            print("✗ URLはhttps://またはhttp://で始まる必要があります")
            return False
        
        # 基本的なドメイン形式をチェック（ドットが含まれているか）
        if '.' not in url:
            print("✗ 有効なドメインが含まれていません")
            return False
        
        # 全ての検証をクリアした場合
        print("✓ URLの形式が正しいです")
        return True

    def test_connection(self, url):
        """
        指定されたURLへの接続テスト
        url: テストする練習用URL
        """
        # テスト開始メッセージを表示
        print(f"\n--- 接続テスト実行中 ---")
        
        # URL形式の検証を実行
        if not self.validate_url(url):
            return False
        
        # 練習用Webページ取得テストを実行
        html_content = self.fetch_webpage(url)
        
        # 取得が成功した場合
        if html_content:
            # 取得したHTMLの文字数を計算
            content_length = len(html_content)
            # HTMLサイズを表示（カンマ区切りで見やすく）
            print(f"✓ HTML取得成功 - サイズ: {content_length:,} 文字")
            
            # HTMLの最初の100文字を表示（デバッグ用）
            # 改行文字を空白に置換して1行で表示
            preview = html_content[:100].replace('\n', ' ').replace('\r', ' ')
            print(f"HTMLプレビュー: {preview}...")
            
            return True
        else:
            # 取得が失敗した場合
            print("✗ 接続テスト失敗")
            return False

def main():
    """
    WebScraperの基本動作テスト
    クラスの初期化と接続テストを実行
    """
    # テスト開始メッセージを表示
    print("=== Webスクレイピング練習システム 基本テスト ===")
    
    # WebScraperクラスのインスタンスを作成
    scraper = WebScraper()
    
    # テスト用のURL（スクレイピング練習用サイト）
    test_url = "https://webscraper.io/test-sites/e-commerce/allinone"
    
    # 接続テストを実行
    connection_result = scraper.test_connection(test_url)
    
    # 結果に応じてメッセージを表示
    if connection_result:
        print("\n✓ 練習用サイトへの接続が正常に動作しています")
    else:
        print("\n✗ 基本機能に問題があります")
        print("ネットワーク接続やURL設定を確認してください")

# このファイルが直接実行された場合のみmain関数を呼び出し
if __name__ == "__main__":
    main()

python src/web_scraper.py

    def parse_html_content(self, html_content):
        """
        HTMLコンテンツを解析してBeautifulSoupオブジェクトを作成
        html_content: 解析するHTML文字列
        """
        try:
            # BeautifulSoupを使ってHTMLを解析
            # 'html.parser'は標準的なHTMLパーサーを指定
            soup = BeautifulSoup(html_content, 'html.parser')
            # 解析完了メッセージを表示
            print("✓ HTML解析完了")
            return soup
        # 解析エラーが発生した場合の処理
        except Exception as error:
            print(f"✗ HTML解析エラー: {error}")
            return None

    def extract_product_data(self, soup):
        """
        BeautifulSoupオブジェクトから商品データを抽出
        soup: 解析済みのBeautifulSoupオブジェクト
        """
        try:
            # 処理開始メッセージを表示
            print("商品データ抽出開始...")
            
            # 抽出したデータを格納するリストを初期化
            products_list = []
            
            # 商品情報を含むdivタグを全て取得
            # class属性が'col-md-4 col-xl-4 col-lg-4'の要素を検索
            product_elements = soup.find_all('div', class_='col-md-4 col-xl-4 col-lg-4')
            
            # 発見された商品数を表示
            print(f"発見された商品数: {len(product_elements)}")
            
            # 各商品要素から情報を抽出
            for product_element in product_elements:
                # 商品タイトルの抽出（完全なタイトルを取得）
                title_element = product_element.find('a', class_='title')
                if title_element:
                    # title属性も確認して完全なタイトルを取得
                    product_title = title_element.get('title', '').strip()
                    # title属性が空の場合はテキスト内容を使用
                    if not product_title:
                        product_title = title_element.text.strip()
                else:
                    # タイトル要素が見つからない場合
                    product_title = "タイトル不明"
                
                # 商品価格の抽出
                # class属性が'price float-end card-title pull-right'のh4タグを検索
                price_element = product_element.find('h4', class_='price float-end card-title pull-right')
                # 価格要素が見つかった場合はテキストを取得、見つからない場合はデフォルト値
                product_price = price_element.text.strip() if price_element else "価格不明"
                
                # 商品説明の抽出
                # class属性が'description card-text'のpタグを検索
                description_element = product_element.find('p', class_='description card-text')
                # 説明要素が見つかった場合はテキストを取得、見つからない場合はデフォルト値
                product_description = description_element.text.strip() if description_element else "説明なし"
                
                # 抽出したデータを辞書形式で保存
                product_info = {
                    'title': product_title,
                    'price': product_price,
                    'description': product_description
                }
                
                # 商品情報をリストに追加
                products_list.append(product_info)
            
            # 抽出完了メッセージと件数を表示
            print(f"✓ データ抽出完了 - {len(products_list)}件の商品情報を取得")
            return products_list
            
        # データ抽出エラーが発生した場合の処理
        except Exception as error:
            print(f"✗ データ抽出エラー: {error}")
            return []

    def validate_extracted_data(self, products_data):
        """
        抽出されたデータの検証
        products_data: 抽出された商品データのリスト
        """
        # データが空でないかチェック
        if not products_data:
            print("✗ 抽出されたデータがありません")
            return False
        
        # データの基本統計を計算
        total_products = len(products_data)  # 総商品数
        # 有効なタイトルを持つ商品数をカウント
        valid_titles = sum(1 for product in products_data if product['title'] != "タイトル不明")
        # 有効な価格を持つ商品数をカウント
        valid_prices = sum(1 for product in products_data if product['price'] != "価格不明")
        
        # 検証結果を表示
        print(f"データ検証結果:")
        print(f"  総商品数: {total_products}")
        print(f"  有効なタイトル: {valid_titles}")
        print(f"  有効な価格: {valid_prices}")
        
        # 検証成功の条件（有効なタイトルと価格が1件以上ある）
        if valid_titles > 0 and valid_prices > 0:
            print("✓ データ検証成功")
            return True
        else:
            print("✗ データ検証失敗")
            return False

    def display_extracted_data(self, products_data, max_display=5):
        """
        抽出されたデータを表示
        products_data: 表示する商品データのリスト
        max_display: 表示する最大件数
        """
        # データが空でないかチェック
        if not products_data:
            print("表示可能なデータがありません")
            return
        
        # 表示開始メッセージ
        print(f"\n=== 抽出されたデータ（最大{max_display}件表示） ===")
        
        # 指定された件数まで表示（データ数と表示上限の小さい方を使用）
        display_count = min(len(products_data), max_display)
        
        # 指定件数分のデータを順番に表示
        for i in range(display_count):
            product = products_data[i]  # i番目の商品データを取得
            print(f"\n【商品 {i+1}】")
            print(f"タイトル: {product['title']}")
            print(f"価格: {product['price']}")
            # 説明は100文字まで表示（長い場合は省略）
            print(f"説明: {product['description'][:100]}...")
            print("-" * 50)  # 区切り線を表示
        
        # 表示しきれなかったデータがある場合の注意書き
        if len(products_data) > max_display:
            remaining_count = len(products_data) - max_display
            print(f"\n※ 他に{remaining_count}件のデータがあります")

    def scrape_website_data(self, url):
        """
        指定されたURLからデータを抽出する統合処理
        url: スクレイピング対象のURL
        """
        # 処理開始メッセージを表示
        print(f"\n{'='*60}")
        print(f"Webスクレイピング実行開始")
        print(f"対象URL: {url}")
        print(f"{'='*60}")
        
        # Step1: Webページの取得
        html_content = self.fetch_webpage(url)
        if not html_content:
            print("✗ Webページの取得に失敗しました")
            return None
        
        # Step2: HTML解析
        soup = self.parse_html_content(html_content)
        if not soup:
            print("✗ HTML解析に失敗しました")
            return None
        
        # Step3: データ抽出
        products_data = self.extract_product_data(soup)
        if not products_data:
            print("✗ データ抽出に失敗しました")
            return None
        
        # Step4: データ検証
        if not self.validate_extracted_data(products_data):
            print("✗ データ検証に失敗しました")
            return None
        
        # 全ての処理が正常に完了
        print("✓ 全ての処理が正常に完了しました")
        return products_data

def main():
    """
    WebScraperのデータ抽出機能テスト
    練習用サイトから商品データを抽出してテスト
    """
    # テスト開始メッセージを表示
    print("=== Webスクレイピング データ抽出テスト ===")
    
    # WebScraperクラスのインスタンスを作成
    scraper = WebScraper()
    
    # 練習用サイトのURL
    target_url = "https://webscraper.io/test-sites/e-commerce/allinone"
    
    # データ抽出の実行
    extracted_data = scraper.scrape_website_data(target_url)
    
    # 結果に応じた処理
    if extracted_data:
        # 抽出されたデータを表示
        scraper.display_extracted_data(extracted_data)
        # 成功メッセージとデータ件数を表示
        print(f"\n✓ テスト成功 - {len(extracted_data)}件のデータを抽出しました")
    else:
        # 失敗メッセージを表示
        print(f"\n✗ テスト失敗 - データの抽出ができませんでした")

    # 以前のテスト機能（現在は使用しない）
    # connection_result = scraper.test_connection(test_url)
    # if connection_result:
    #     print("\n✓ 練習用サイトへの接続が正常に動作しています")

# このファイルが直接実行された場合のみmain関数を呼び出し
if __name__ == "__main__":
    main()

python src/web_scraper.py

# ファイルの先頭に新しいimport文を追加
import csv  # CSVファイル操作用のライブラリ
from datetime import datetime  # 日時操作用のライブラリ

    def extract_product_data(self, soup):
        """
        BeautifulSoupオブジェクトから商品データを抽出
        soup: 解析済みのBeautifulSoupオブジェクト
        """
        try:
            # 処理開始メッセージを表示
            print("商品データ抽出開始...")
            
            # 抽出したデータを格納するリストを初期化
            products_list = []
            
            # 商品情報を含むdivタグを全て取得
            # class属性が'col-md-4 col-xl-4 col-lg-4'の要素を検索
            product_elements = soup.find_all('div', class_='col-md-4 col-xl-4 col-lg-4')
            
            # 発見された商品数を表示
            print(f"発見された商品数: {len(product_elements)}")
            
            # 各商品要素から情報を抽出（ループ処理）
            for product_element in product_elements:
                # 商品タイトルの抽出（完全なタイトルを取得）
                title_element = product_element.find('a', class_='title')
                if title_element:
                    # title属性も確認して完全なタイトルを取得
                    product_title = title_element.get('title', '').strip()
                    # title属性が空の場合はテキスト内容を使用
                    if not product_title:
                        product_title = title_element.text.strip()
                else:
                    # タイトル要素が見つからない場合のデフォルト値
                    product_title = "タイトル不明"
                
                # 商品価格の抽出
                # class属性が'price float-end card-title pull-right'のh4タグを検索
                price_element = product_element.find('h4', class_='price float-end card-title pull-right')
                # 価格要素が見つかった場合はテキストを取得、見つからない場合はデフォルト値
                product_price = price_element.text.strip() if price_element else "価格不明"
                
                # 商品説明の抽出
                # class属性が'description card-text'のpタグを検索
                description_element = product_element.find('p', class_='description card-text')
                # 説明要素が見つかった場合はテキストを取得、見つからない場合はデフォルト値
                product_description = description_element.text.strip() if description_element else "説明なし"
                
                # 抽出したデータを辞書形式で保存
                product_info = {
                    'title': product_title,
                    'price': product_price,
                    'description': product_description
                }
                
                # 商品情報をリストに追加
                products_list.append(product_info)
            
            # 抽出完了メッセージと件数を表示
            print(f"✓ データ抽出完了 - {len(products_list)}件の商品情報を取得")
            return products_list
            
        # データ抽出エラーが発生した場合の処理
        except Exception as error:
            print(f"✗ データ抽出エラー: {error}")
            return []

    def save_data_to_file(self, products_data, filename=None):
        """
        抽出されたデータをCSVファイルに保存
        products_data: 保存する商品データのリスト
        filename: 保存ファイル名（指定しない場合は自動生成）
        """
        try:
            # ファイル名が指定されていない場合は自動生成
            if filename is None:
                # 現在の日時を取得してファイル名に使用
                timestamp = datetime.now().strftime("%Y%m%d_%H%M%S")
                filename = f"scraped_data_{timestamp}.csv"
            
            # 保存先のフルパスを作成
            file_path = os.path.join(self.output_folder, filename)
            
            # CSVファイルとして保存
            # newline=''でCSVファイルの改行処理を適切に行う
            # encoding='utf-8'で日本語対応
            with open(file_path, 'w', newline='', encoding='utf-8') as csv_file:
                # CSVライターを作成
                writer = csv.writer(csv_file)
                
                # ヘッダー行を書き込み
                writer.writerow(['タイトル', '価格', '説明'])
                
                # 各商品データを順番に書き込み
                for product in products_data:
                    writer.writerow([
                        product['title'],        # 商品タイトル
                        product['price'],        # 商品価格
                        product['description']   # 商品説明
                    ])
            
            # 保存完了メッセージとファイルパス、件数を表示
            print(f"✓ データ保存完了: {file_path}")
            print(f"  保存件数: {len(products_data)}件")
            return file_path
            
        # ファイル入出力エラーの処理
        except IOError as io_error:
            print(f"✗ ファイル保存エラー: {io_error}")
            return None
        # その他の予期しないエラーの処理
        except Exception as error:
            print(f"✗ データ保存中の予期しないエラー: {error}")
            return None

    def verify_saved_file(self, file_path):
        """
        保存されたCSVファイルの内容を確認
        file_path: 確認するファイルのパス
        """
        try:
            # ファイルの存在確認
            if not os.path.exists(file_path):
                print(f"✗ ファイルが見つかりません: {file_path}")
                return False
            
            # ファイルサイズを取得
            file_size = os.path.getsize(file_path)
            # ファイル情報を表示
            print(f"保存ファイル確認:")
            print(f"  ファイルパス: {file_path}")
            # ファイルサイズをカンマ区切りで見やすく表示
            print(f"  ファイルサイズ: {file_size:,} バイト")
            
            # CSVファイルを読み込んで行数を確認
            with open(file_path, 'r', encoding='utf-8') as csv_file:
                # CSVリーダーを作成
                reader = csv.reader(csv_file)
                # 全ての行をリストに読み込み
                rows = list(reader)
                
                # ヘッダー行を除いたデータ行数を計算
                data_rows = len(rows) - 1 if len(rows) > 0 else 0
                
                # ファイル内容の詳細を表示
                print(f"  データ行数: {data_rows}行")
                # ヘッダー行があれば表示
                header_text = ', '.join(rows[0]) if len(rows) > 0 else 'なし'
                print(f"  ヘッダー: {header_text}")
            
            # 確認完了メッセージを表示
            print("✓ ファイル保存が正常に完了しています")
            return True
            
        # ファイル確認エラーの処理
        except Exception as error:
            print(f"✗ ファイル確認エラー: {error}")
            return False

    def handle_scraping_errors(self, url, max_retries=3):
        """
        スクレイピングエラーの処理と再試行機能
        url: スクレイピング対象のURL
        max_retries: 最大再試行回数
        """
        # 指定回数まで再試行を実行
        for attempt in range(max_retries):
            try:
                # データ抽出を実行
                result = self.scrape_website_data(url)
                
                # 成功した場合は結果を返す
                if result:
                    return result
                else:
                    print(f"✗ データ取得に失敗しました")
                    
            # エラーが発生した場合の処理
            except Exception as error:
                print(f"✗ エラーが発生しました: {error}")
            
            # 最後の試行でない場合は待機
            if attempt < max_retries - 1:
                # 待機時間を段階的に増加（2秒、4秒、6秒）
                wait_time = (attempt + 1) * 2
                print(f"  {wait_time}秒待機してから再試行します...")
                # time.sleepで待機を実行
                import time
                time.sleep(wait_time)
        
        # 全ての試行が失敗した場合
        print(f"✗ {max_retries}回の試行すべてが失敗しました")
        return None

    def display_extracted_data(self, products_data, max_display=5):
        """
        抽出されたデータを表示
        products_data: 表示する商品データのリスト
        max_display: 表示する最大件数
        """
        # データが空でないかチェック
        if not products_data:
            print("表示可能なデータがありません")
            return
        
        # 表示開始メッセージ
        print(f"\n=== 抽出されたデータ（最大{max_display}件表示） ===")
        
        # 指定された件数まで表示（データ数と表示上限の小さい方を使用）
        display_count = min(len(products_data), max_display)
        
        # 指定件数分のデータを順番に表示
        for i in range(display_count):
            product = products_data[i]  # i番目の商品データを取得
            print(f"\n【商品 {i+1}】")
            print(f"タイトル: {product['title']}")
            print(f"価格: {product['price']}")
            # 説明は100文字まで表示（長い場合は省略）
            print(f"説明: {product['description'][:100]}...")
            print("-" * 50)  # 区切り線を表示
        
        # 表示しきれなかったデータがある場合の注意書き
        if len(products_data) > max_display:
            remaining_count = len(products_data) - max_display
            print(f"\n※ 他に{remaining_count}件のデータがあります")

    def run_interactive_scraping(self):
        """
        対話式スクレイピングモード
        ユーザーからの入力を受け付けてスクレイピングを実行
        """
        # 対話モードの開始メッセージを表示
        print("\n" + "="*60)
        print("Webスクレイピング 対話モード")
        print("="*60)
        print("使い方:")
        print("1. スクレイピング対象のURLを入力してください")
        print("2. 'exit'と入力すると終了します")
        print("3. 練習用URL: https://webscraper.io/test-sites/e-commerce/allinone")
        print("-"*60)
        print("※ 今後このコードを元に他のURLに合わせて改良してみてください")
        
        # スクレイピング実行回数のカウンターを初期化
        scraping_count = 0
        
        # 無限ループで対話を継続
        while True:
            try:
                # ユーザー入力を取得（前後の空白を除去）
                user_input = input("\nスクレイピング対象URL >>> ").strip()
                
                # 終了コマンドの確認
                if user_input.lower() == 'exit':
                    print(f"\nスクレイピングを終了します")
                    print(f"総実行回数: {scraping_count}回")
                    break
                
                # 空の入力をスキップ
                if not user_input:
                    print("URLを入力してください")
                    continue
                
                # エラー復旧機能付きスクレイピング実行
                extracted_data = self.handle_scraping_errors(user_input)
                
                # スクレイピングが成功した場合
                if extracted_data:
                    # データ表示
                    self.display_extracted_data(extracted_data)
                    
                    # データ保存
                    saved_file = self.save_data_to_file(extracted_data)
                    # 保存に成功した場合はファイル確認を実行
                    if saved_file:
                        self.verify_saved_file(saved_file)
                    
                    # 成功回数をカウント
                    scraping_count += 1
                else:
                    # スクレイピングが失敗した場合
                    print("スクレイピングに失敗しました")
                
            # Ctrl+Cによる中断の処理
            except KeyboardInterrupt:
                print(f"\n\nプログラムが中断されました")
                print(f"総実行回数: {scraping_count}回")
                break
            # その他のエラーの処理
            except Exception as interface_error:
                print(f"エラーが発生しました: {interface_error}")

def main():
    """
    WebScraperの完全版テスト
    対話式モードでユーザー操作を受け付け
    """
    # テスト開始メッセージを表示
    print("=== Webスクレイピング 完全版システム ===")
    
    # WebScraperクラスのインスタンスを作成
    scraper = WebScraper()
    
    # 対話式スクレイピングモードを開始
    scraper.run_interactive_scraping()

    # 以前のテスト機能（現在は使用しない）
    # target_url = "https://webscraper.io/test-sites/e-commerce/allinone"
    # extracted_data = scraper.scrape_website_data(target_url)
    # if extracted_data:
    #     scraper.display_extracted_data(extracted_data)
    #     print(f"\n✓ テスト成功 - {len(extracted_data)}件のデータを抽出しました")

# このファイルが直接実行された場合のみmain関数を呼び出し
if __name__ == "__main__":
    main()

python src/web_scraper.py

# Virtual environment
myenv/

# Collected data files
collected_data/
*.csv

# Cache files
__pycache__/
*.pyc
*.pyo

# Webスクレイピングデータ収集システム

## プロジェクト内容

requestsとBeautifulSoupを使用したWebスクレイピングツールです。練習用サイトから商品情報を自動的に収集し、CSVファイルに保存する機能を実装しています。Pythonによる HTTP通信、HTML解析、データ抽出技術を学習することを目的として開発しました。

## プロジェクト構成

```
web_data_collector/
├── src/
│   └── web_scraper.py          # メインプログラム
├── collected_data/             # 収集データ保存フォルダ
├── requirements.txt            # 依存関係管理
├── README.md                   # プロジェクト説明書
└── .gitignore                  # Git除外ファイル設定
```

## 必要要件/開発環境

- **Python 3.7以上**
- **VSCode** (開発環境)
- **Git** (バージョン管理)
- **インターネット接続** (Webスクレイピング用)

### 使用ライブラリ

- **requests** HTTP通信とWebページ取得処理
- **beautifulsoup4** HTML解析とデータ抽出処理
- **csv** CSVファイル形式での保存処理
- **os** ファイルシステム操作

## 機能

- **URL検証** 入力されたURLの形式確認と妥当性チェック
- **Webページ取得** HTTP通信によるWebページの自動取得
- **HTML解析** BeautifulSoupを使用したHTML構造の解析
- **データ抽出** 商品タイトル、価格、説明の自動抽出
- **CSV保存** 抽出データのCSVファイル形式での保存
- **エラーハンドリング** 通信エラーや解析エラーの適切な処理
- **再試行機能** 失敗時の自動再試行機能
- **対話式インターフェース** ユーザーフレンドリーなコマンドライン操作

## 実行方法

### 1. リポジトリのクローン

```bash
git clone https://github.com/yourusername/web_data_collector.git
cd web_data_collector
```

### 2. 仮想環境の作成・アクティベート

**Windows**

```bash
python -m venv myenv
myenv\Scripts\activate
```

**macOS**

```bash
python3 -m venv myenv
source myenv/bin/activate
```

### 3. 依存関係のインストール

```bash
pip install -r requirements.txt
```

### 4. プログラムの実行

```bash
python src/web_scraper.py
```

実行後、対話式インターフェースが起動し、URLを入力するとcollected_dataフォルダに収集したデータがCSVファイルとして保存されます。

## 使用方法

1. プログラムを実行すると対話式モードが開始されます
2. スクレイピング対象のURLを入力してください
3. 練習用URL: https://webscraper.io/test-sites/e-commerce/allinone
4. 'exit'と入力するとプログラムが終了します

## データ形式について

* **対象URL** 練習用スクレイピングサイト
* **出力データ** CSV形式の商品情報ファイル
* **保存場所** collected_dataフォルダ内

## 注意事項

- このツールは教育目的で作成されています
- 練習用サイト以外をスクレイピングする際は利用規約を確認してください
- 今後このコードを元に他のURLに合わせて改良してみてください

## 開発者

YuYu