如何使用 Python 從網站抓取圖片：一份全面的指南

圖片是網路數據的基本組成部分，為電子商務分析、先進機器學習模型訓練等領域提供了豐富的洞見。對於開發者來說，通過編程使用 Python 從網站抓取圖片不僅是一項技術能力，更是高效解鎖海量資訊的重要途徑。手動保存圖片既繁瑣又不適用於大型專案，因此，構建一個 Python 圖片採集程式就顯得尤為珍貴。

這份深度指南旨在引導您從入門到精通，全面掌握 Python 圖片採集技術。我們將從使用 Requests 和 Beautiful Soup 這兩個流行庫處理簡單的靜態網站開始，然後進階到使用 Selenium 這一核心工具來應對依賴 JavaScript 的現代動態網站。最後，我們將探討規模化操作的關鍵環節，演示如何通過集成像 LunaProxy 這樣強大的住宅代理服務來應對IP訪問頻率等挑戰。讀完本教程，您將掌握構建一個功能強大且負責任的圖片採集程式所需的知識與代碼。

為什麼要從網站採集圖片？

在深入代碼之前，瞭解圖片採集的實際應用場景會很有幫助。這項技術被廣泛應用於各個領域：

市場研究：電子商務企業可以從競爭對手的網站收集產品圖片，用於分析定價、產品多樣性和行銷策略。

人工智慧與機器學習：訓練電腦視覺模型需要大量的圖片數據集。Python 圖片採集程式可以為物體檢測、圖像分類和人臉識別等任務構建這些數據集。

數字存檔：記者、研究人員和檔案管理員可能會使用 Python 從網站採集圖片，以保存數字內容用於歷史記錄或分析。

內容聚合：新聞門戶、博客和其他平臺可以自動化地收集相關圖片，以豐富其文章和帖子內容。

品牌觀察：公司可以掃描網路，尋找其品牌標誌或產品圖片，以瞭解它們在網上的使用情況。

如何安全合法地抓取圖片？

在網路採集中，遵循道德規範至關重要。一個過於激進的採集程式可能會給網站伺服器帶來過大壓力，從而影響其他用戶的正常訪問。負責任的採集不僅是一種良好的網路禮儀，也能確保您專案的長期可行性。

查閱 robots.txt：在採集任何網站之前，首先應該查看其 robots.txt 檔（例如 website.com/robots.txt）。該檔列出了網站所有者為自動化程式設定的規則，指明了哪些目錄可以訪問。請務必遵守這些指令。

閱讀服務條款：網站的服務條款（ToS）通常包含有關數據收集的條款。閱讀這些條款有助於您瞭解訪問網站數據的合規性框架。

保持合理的請求節奏：避免在短時間內向伺服器發送大量請求。在請求之間引入延遲（例如 time.sleep()），以模仿人類的流覽行為，減輕伺服器的負擔。

表明您的身份：在請求頭中設置一個描述性的用戶代理（User-Agent），例如 User-Agent: 'MyCoolImageScraper/1.0'。這是一種透明且專業的做法，能讓網站管理員瞭解誰在訪問他們的網站。

第一部分：配置您的 Python 採集環境

要開始我們的 Python 圖片採集之旅，首先需要準備好開發環境，包括安裝 Python 和專案所需的必要庫。

先決條件：

確保您的電腦上安裝了較新版本的 Python。您可以從 Python 官方網站下載。

安裝必要的庫：

打開您的終端或命令提示符，使用 Python 的包安裝工具 pip 來安裝本項目的核心庫：

downloadcontent_copyexpand_less

    pip install requests beautifulsoup4 selenium

Requests：這是 Python 中進行 HTTP 請求的首選庫。它允許您的腳本像流覽器一樣連接到網站並下載其 HTML 源代碼。

Beautiful Soup：一個功能強大且直觀的庫，用於解析 HTML 和 XML 文檔。在 requests 獲取頁面內容後，Beautiful Soup 會創建一個可導航的樹形結構，讓查找和提取特定數據（如圖片URL）變得輕而易舉。

Selenium：當網站使用 JavaScript 動態加載內容時，僅靠 requests 是不夠的。Selenium 可以自動化一個真實的流覽器，讓您的腳本能夠與頁面交互、執行 JavaScript，並採集完全渲染後的內容，包括那些在頁面初次加載後才出現的圖片。

第二部分：從靜態網站採集圖片

靜態網站是網路採集中最直接的目標。它們的內容（包括圖片 URL）在初始 HTML 文檔中就已經完全嵌入。對於這類任務，requests 和 BeautifulSoup 的組合是完美的選擇。

步驟 1：分析目標頁面

在編寫任何代碼之前，您需要瞭解網站的結構。在流覽器中打開目標網頁，在您想下載的圖片上右鍵單擊，然後選擇“檢查”。這會打開開發者工具，您可以在其中看到 <img> 標籤。請密切關注包含圖片 URL 的 src 屬性。

步驟 2：使用 requests 獲取頁面內容

我們腳本的第一步是下載網頁的 HTML。我們將使用 requests.get() 來完成此操作，並加入錯誤處理來應對潛在的網路問題。

downloadcontent_copyexpand_less

IGNORE_WHEN_COPYING_START

IGNORE_WHEN_COPYING_END

    import requests

TARGET_URL = 'your_static_website_url_here'try:

    response = requests.get(TARGET_URL)

    response.raise_for_status()  # 如果回應狀態碼是4xx或5xx，則拋出HTTPError

    html_content = response.textexcept requests.exceptions.RequestException as e:

    print(f"獲取URL時出錯: {e}")

步驟 3：使用 BeautifulSoup 解析 HTML

獲取到 HTML 內容後，我們創建一個 BeautifulSoup 對象。這將原始的 HTML 文本轉換成一個我們可以輕鬆搜索的結構化對象。

downloadcontent_copyexpand_less

IGNORE_WHEN_COPYING_START

IGNORE_WHEN_COPYING_END

    from bs4 import BeautifulSoup

soup = BeautifulSoup(html_content, 'html.parser')

步驟 4：查找所有圖片標籤並提取 URL

現在，我們可以使用 Beautiful Soup 的 find_all('img') 方法獲取頁面上所有 <img> 標籤的列表。然後，我們遍曆這個列表，從 src 屬性中提取 URL。處理絕對 URL（如 http://...）和相對 URL（如 /images/pic.jpg）至關重要。urllib.parse.urljoin 函數非常適合將相對 URL 轉換為絕對 URL。

downloadcontent_copyexpand_less

IGNORE_WHEN_COPYING_START

IGNORE_WHEN_COPYING_END

    import osfrom urllib.parse import urljoin

image_urls = []for img_tag in soup.find_all('img'):

    src = img_tag.get('src')

    if src:

        # 將相對 URL 解析為絕對 URL

        full_url = urljoin(TARGET_URL, src)

        image_urls.append(full_url)

步驟 5：下載並保存圖片

最後，我們遍曆整理好的圖片 URL 列表，再次使用 requests 下載圖片數據，並將其保存到本地目錄。

downloadcontent_copyexpand_less

IGNORE_WHEN_COPYING_START

IGNORE_WHEN_COPYING_END

    # 如果目錄不存在，則創建它if not os.path.exists('scraped_images'):

    os.makedirs('scraped_images')

for img_url in image_urls:

    try:

        # 獲取圖片內容

        img_data = requests.get(img_url).content

        # 從 URL 創建一個有效的檔案名

        filename = os.path.join('scraped_images', os.path.basename(img_url))

        # 將圖片保存到檔

        with open(filename, 'wb') as handler:

            handler.write(img_data)

        print(f"已下載: {filename}")

    except Exception as e:

        print(f"無法下載 {img_url}. 錯誤: {e}")

這樣，一個功能性的靜態網站圖片採集程式就完成了。

第三部分：處理重度依賴 JavaScript 的網站

許多現代網站使用 JavaScript 框架（如 React 或 Vue）在頁面初次加載後才加載內容，包括圖片。這在擁有“無限滾動”或圖片庫的頁面上很常見。對於這些動態網站，requests 只能看到最初的、通常是空的 HTML 骨架。

這時 Selenium 的優勢就體現出來了。通過自動化一個真實的流覽器，Selenium 確保所有 JavaScript 都得到執行，使我們能夠像用戶一樣看到並採集網站上的圖片。

downloadcontent_copyexpand_less

IGNORE_WHEN_COPYING_START

IGNORE_WHEN_COPYING_END

    from selenium import webdriverfrom selenium.webdriver.common.by import Byimport time

# 您必須安裝一個 WebDriver (例如 chromedriver)

driver = webdriver.Chrome()

driver.get('your_dynamic_website_url_here')

# 留出時間讓頁面加載並執行 JavaScript# 對於無限滾動，您可能需要模擬滾動操作

last_height = driver.execute_script("return document.body.scrollHeight")while True:

    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

    time.sleep(3)  # 等待新圖片加載

    new_height = driver.execute_script("return document.body.scrollHeight")

    if new_height == last_height:

        break

    last_height = new_height

# 頁面完全加載後，查找圖片元素

image_elements = driver.find_elements(By.TAG_NAME, 'img')

image_urls = [el.get_attribute('src') for el in image_elements if el.get_attribute('src')]

driver.quit()

# 您現在可以使用第二部分中的下載邏輯來處理這個 URL 列表

print(f"使用 Selenium 找到 {len(image_urls)} 張圖片。")

這種使用 Selenium 獲取圖片的方法對於現代 Web 應用非常有效。

第四部分：使用住宅代理進行規模化採集

當您的專案從採集幾十張圖片擴展到成千上萬張時，您會遇到新的挑戰。網站會主動監測來自單一 IP 地址的高頻請求，並可能通過顯示驗證碼或暫時阻止您的訪問來應對。此外，一些網站會根據用戶的地理位置顯示不同的圖片。

代理伺服器是解決這些規模化問題的方案。它充當您和目標網站之間的仲介，通過不同的 IP 地址路由您的請求。在網路採集中，住宅代理是黃金標準。這些是由互聯網服務提供商（ISP）分配給真實家庭用戶的 IP 地址，使其幾乎無法與真實用戶流量區分開來。

像 LunaProxy 這樣的服務商提供了覆蓋 195 多個國家/地區的2億+住宅 IP 網路。將此類服務集成到您的 Python 圖片採集中，可以帶來顯著優勢：

IP 輪換：LunaProxy 可以為您的每個請求自動分配一個新的 IP。這種分佈使您的採集活動看起來像是來自成千上萬的不同用戶，從而大大降低被識別的可能性。

地理位置定位：您可以將流量路由到特定國家或城市的代理。這對於採集具有地理特性的內容至關重要，例如本地化的產品圖片或區域性促銷活動。

提高成功率：高質量的住宅代理可以幫助您繞過常見的反採集措施，從而減少失敗的請求，並獲得更可靠的數據提取流程，我們提供的住宅代理的成功率高達99.9%。

以下是如何配置 requests 以使用 LunaProxy 端點的方法：

downloadcontent_copyexpand_less

IGNORE_WHEN_COPYING_START

IGNORE_WHEN_COPYING_END

    # ... (所有之前的導入) ...

def scrape_with_proxy(url, proxy_address):

    proxies = {

        'http': proxy_address,

        'https': proxy_address,

    }

    headers = {

        'User-Agent': 'MyAdvancedImageScraper/2.0'

    }

    try:

        response = requests.get(url, headers=headers, proxies=proxies, timeout=15)

        response.raise_for_status()

        # ... 繼續進行 BeautifulSoup 解析和下載 ...

        print("已成功使用代理獲取 URL。")

    except requests.exceptions.RequestException as e:

        print(f"使用代理請求失敗。錯誤: {e}")

# --- 主執行程式 ---if __name__ == "__main__":

    target_url = 'your_target_website_url_here'

    # 這是一個示例格式，請替換為您自己的 LunaProxy 詳細資訊。

    lunaproxy_endpoint = 'http://user-lunaproxy:[email protected]:1234'

    scrape_with_proxy(target_url, lunaproxy_endpoint)

通過利用像 LunaProxy 這樣的服務，您簡單的圖片採集程式將轉變為一個強大的工具，能夠更穩定、更有效地處理企業級的數據提取任務。

結論：掌握 Python 圖片採集技術

在本指南中，我們完整地介紹了如何使用 Python 從網站採集圖片的全過程。我們從基礎工具 Requests 和 Beautiful Soup 開始，用於處理靜態網站；然後轉向更強大的 Selenium，以處理 JavaScript 渲染的內容；最後，我們討論了通過使用像 LunaProxy 這樣的住宅代理服務來可靠地擴展我們操作的關鍵需求。

有效的圖片採集是編碼技巧和負責任心態的結合。通過尊重網站政策、保持合理的請求節奏並為任務選擇合適的工具，您可以構建出功能強大的採集程式來收集有價值的視覺數據。