一、核心邏輯：Python賦能SEO優(yōu)化的底層邏輯

二、Python網(wǎng)站信息爬?。篠EO數(shù)據(jù)的采集核心（實操落地）

2.1 爬取前準(zhǔn)備：環(huán)境搭建與核心庫介紹

• 基礎(chǔ)必備庫：requests（發(fā)送網(wǎng)絡(luò)請求，獲取網(wǎng)頁HTML代碼）、BeautifulSoup4（解析HTML內(nèi)容，提取目標(biāo)數(shù)據(jù)），安裝命令：pip install requests beautifulsoup4 -i https://pypi.tuna.tsinghua.edu.cn/simple；
• 進(jìn)階工具庫：Selenium（處理動態(tài)網(wǎng)頁，模擬瀏覽器點擊、滾動等操作，應(yīng)對JavaScript加載的數(shù)據(jù)）、Scrapy（大規(guī)模爬蟲框架，支持異步爬取，適合整站數(shù)據(jù)采集），安裝命令分別為：pip install selenium -i https://pypi.tuna.tsinghua.edu.cn/simple、pip install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple；
• 輔助工具庫：pandas（臨時存儲爬取數(shù)據(jù)，方便后續(xù)分析）、time（設(shè)置訪問延遲，規(guī)避反爬）、re（正則表達(dá)式，提取復(fù)雜格式數(shù)據(jù)），安裝命令：pip install pandas re time -i https://pypi.tuna.tsinghua.edu.cn/simple。

2.2 三類核心SEO數(shù)據(jù)爬取實操

2.2.1 自身網(wǎng)站診斷數(shù)據(jù)爬?。ɑA(chǔ)場景）

import requests
from bs4 import BeautifulSoup
import time

# 1. 模擬瀏覽器請求頭，規(guī)避基礎(chǔ)反爬
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
}

# 2. 定義目標(biāo)網(wǎng)站地址（可替換為自身網(wǎng)站）
target_url = 'https://www.example.com'

# 3. 發(fā)送請求并獲取網(wǎng)頁內(nèi)容
try:
    # 設(shè)置2秒訪問延遲，避免頻繁請求
    time.sleep(2)
    response = requests.get(target_url, headers=headers)
    # 驗證請求是否成功（狀態(tài)碼200表示成功）
    if response.status_code == 200:
        # 解析HTML內(nèi)容
        soup = BeautifulSoup(response.text, 'html.parser')
        # 提取核心SEO信息
        page_title = soup.title.text if soup.title else '無標(biāo)題'  # 頁面標(biāo)題
        page_keywords = soup.meta.get('content') if soup.meta.get('name') == 'keywords' else '無關(guān)鍵詞'  # 關(guān)鍵詞
        page_description = soup.meta.get('content') if soup.meta.get('name') == 'description' else '無描述'  # 描述
        # 提取內(nèi)鏈數(shù)量（所有a標(biāo)簽，排除外鏈）
        internal_links = [link.get('href') for link in soup.find_all('a') if link.get('href') and target_url in link.get('href')]
        internal_link_count = len(internal_links)
        
        # 打印爬取結(jié)果
        print(f'頁面標(biāo)題：{page_title}')
        print(f'頁面關(guān)鍵詞：{page_keywords}')
        print(f'頁面描述：{page_description}')
        print(f'內(nèi)鏈數(shù)量：{internal_link_count}')
    else:
        print(f'請求失敗，狀態(tài)碼：{response.status_code}')
except Exception as e:
    print(f'爬取異常：{str(e)}')

2.2.2 競品網(wǎng)站數(shù)據(jù)爬?。ㄟM(jìn)階場景）

from selenium import webdriver
import time

# 1. 啟動Chrome瀏覽器（需提前安裝Chrome驅(qū)動）
driver = webdriver.Chrome()
# 2. 目標(biāo)競品網(wǎng)站地址（可替換為實際競品地址）
competitor_url = 'https://www.competitor.com/keywords-ranking'

try:
    # 打開競品網(wǎng)站
    driver.get(competitor_url)
    # 模擬滾動頁面（動態(tài)網(wǎng)頁需滾動才能加載全部數(shù)據(jù)）
    for i in range(3):
        driver.execute_script('window.scrollTo(0, document.body.scrollHeight)')
        time.sleep(3)  # 等待3秒，確保數(shù)據(jù)加載完成
    
    # 提取關(guān)鍵詞排名數(shù)據(jù)（根據(jù)競品頁面HTML結(jié)構(gòu)調(diào)整標(biāo)簽）
    keywords = driver.find_elements_by_xpath('//div[@class="keyword-item"]/span[1]')  # 關(guān)鍵詞
    rankings = driver.find_elements_by_xpath('//div[@class="keyword-item"]/span[2]')  # 排名
    traffic = driver.find_elements_by_xpath('//div[@class="keyword-item"]/span[3]')  # 預(yù)估流量
    
    # 循環(huán)打印并保存數(shù)據(jù)
    for keyword, ranking, traffic in zip(keywords, rankings, traffic):
        print(f'關(guān)鍵詞：{keyword.text} | 排名：{ranking.text} | 預(yù)估流量：{traffic.text}')
    
except Exception as e:
    print(f'爬取異常：{str(e)}')
finally:
    # 關(guān)閉瀏覽器，釋放資源
    driver.quit()

2.2.3 行業(yè)關(guān)鍵詞數(shù)據(jù)爬?。ê诵膱鼍埃?/h3>

關(guān)鍵詞是SEO的核心，需爬取行業(yè)內(nèi)高搜索量、低競爭度、高轉(zhuǎn)化的關(guān)鍵詞，用于網(wǎng)站內(nèi)容布局。可爬取搜索引擎相關(guān)搜索、下拉框推薦、行業(yè)關(guān)鍵詞工具（如5118、愛站）的關(guān)鍵詞數(shù)據(jù)，示例如下（爬取搜索引擎相關(guān)搜索關(guān)鍵詞）：

import requests
from bs4 import BeautifulSoup
import time

# 1. 模擬瀏覽器請求頭
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
}

# 2. 定義核心行業(yè)詞（可替換為自身行業(yè)核心詞）
core_keyword = 'Python SEO優(yōu)化'
# 3. 搜索引擎搜索地址（以百度為例）
search_url = f'https://www.baidu.com/s?wd={core_keyword}'

try:
    time.sleep(2)
    response = requests.get(search_url, headers=headers)
    if response.status_code == 200:
        soup = BeautifulSoup(response.text, 'html.parser')
        # 提取相關(guān)搜索關(guān)鍵詞（百度相關(guān)搜索位于頁面底部）
        related_keywords = soup.find_all('div', class_='related-keywords-item')
        # 打印相關(guān)關(guān)鍵詞
        print(f'核心詞：{core_keyword} 的相關(guān)搜索關(guān)鍵詞：')
        for idx, keyword in enumerate(related_keywords, 1):
            print(f'{idx}. {keyword.text}')
    else:
        print(f'請求失敗，狀態(tài)碼：{response.status_code}')
except Exception as e:
    print(f'爬取異常：{str(e)}')

2.3 爬取注意事項：反爬應(yīng)對與合法性

• 反爬應(yīng)對技巧：除了設(shè)置請求頭、訪問延遲，還可使用代理IP更換訪問地址，突破IP封鎖；對于需要登錄的網(wǎng)站，可通過Selenium模擬登錄，或攜帶Cookie發(fā)送請求；避免爬取頻率過高，建議單IP訪問間隔不低于1秒。
• 合法性原則：嚴(yán)格遵守robots協(xié)議，不爬取網(wǎng)站禁止爬取的內(nèi)容（如后臺數(shù)據(jù)、用戶隱私）；不用于商業(yè)侵權(quán)，爬取的競品數(shù)據(jù)僅用于自身SEO分析；避免大規(guī)模爬取給目標(biāo)服務(wù)器造成壓力，否則可能面臨法律風(fēng)險。

三、Python數(shù)據(jù)分析：從數(shù)據(jù)中挖掘SEO優(yōu)化痛點

3.1 數(shù)據(jù)清洗：處理無效數(shù)據(jù)，提升分析準(zhǔn)確性

import pandas as pd

# 1. 讀取爬取保存的自身網(wǎng)站數(shù)據(jù)（CSV格式，可通過pandas.to_csv()保存）
df = pd.read_csv('自身網(wǎng)站SEO數(shù)據(jù).csv')

# 2. 查看數(shù)據(jù)基本信息（缺失值、數(shù)據(jù)類型）
print("數(shù)據(jù)基本信息：")
print(df.info())

# 3. 數(shù)據(jù)清洗操作
# 3.1 刪除重復(fù)數(shù)據(jù)（避免重復(fù)分析）
df = df.drop_duplicates(subset=['頁面URL'], keep='first')
# 3.2 處理缺失值（填充或刪除，根據(jù)實際情況選擇）
df['頁面標(biāo)題'] = df['頁面標(biāo)題'].fillna('無標(biāo)題')
df['頁面關(guān)鍵詞'] = df['頁面關(guān)鍵詞'].fillna('無關(guān)鍵詞')
# 3.3 刪除無效數(shù)據(jù)（如頁面URL為空、狀態(tài)碼非200的頁面）
df = df.dropna(subset=['頁面URL'])
df = df[df['請求狀態(tài)碼'] == 200]

# 4. 保存清洗后的數(shù)據(jù)
df.to_csv('自身網(wǎng)站SEO清洗后數(shù)據(jù).csv', index=False, encoding='utf-8')
print("數(shù)據(jù)清洗完成，清洗后數(shù)據(jù)量：", len(df))

3.2 核心分析場景：4類SEO關(guān)鍵數(shù)據(jù)分析實操

3.2.1 自身網(wǎng)站診斷分析：找到優(yōu)化短板

import pandas as pd
import matplotlib.pyplot as plt

# 設(shè)置中文字體（避免圖表中文亂碼）
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False

# 1. 讀取清洗后的數(shù)據(jù)
df = pd.read_csv('自身網(wǎng)站SEO清洗后數(shù)據(jù).csv')

# 2. 分析頁面標(biāo)題與關(guān)鍵詞相關(guān)性（核心優(yōu)化點：標(biāo)題需包含核心關(guān)鍵詞）
# 定義相關(guān)性判斷函數(shù)（標(biāo)題包含關(guān)鍵詞則為相關(guān)）
def judge_relevance(title, keyword):
    if pd.isna(keyword) or keyword == '無關(guān)鍵詞':
        return '無關(guān)鍵詞'
    return '相關(guān)' if keyword in title else '不相關(guān)'

# 新增相關(guān)性列
df['標(biāo)題-關(guān)鍵詞相關(guān)性'] = df.apply(lambda x: judge_relevance(x['頁面標(biāo)題'], x['頁面關(guān)鍵詞']), axis=1)

# 統(tǒng)計相關(guān)性分布
relevance_count = df['標(biāo)題-關(guān)鍵詞相關(guān)性'].value_counts()
print("標(biāo)題-關(guān)鍵詞相關(guān)性分布：")
print(relevance_count)

# 3. 分析內(nèi)鏈分布情況（內(nèi)鏈過少會影響頁面權(quán)重傳遞）
# 統(tǒng)計不同內(nèi)鏈數(shù)量區(qū)間的頁面分布
df['內(nèi)鏈數(shù)量區(qū)間'] = pd.cut(df['內(nèi)鏈數(shù)量'], bins=[0, 5, 10, 20, float('inf')], labels=['0-5個', '6-10個', '11-20個', '20個以上'])
link_count = df['內(nèi)鏈數(shù)量區(qū)間'].value_counts().sort_index()
print("\n內(nèi)鏈數(shù)量分布：")
print(link_count)

# 4. 可視化分析結(jié)果（便于直觀查看）
fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(12, 5))

# 相關(guān)性分布餅圖
ax1.pie(relevance_count.values, labels=relevance_count.index, autopct='%1.1f%%', startangle=90)
ax1.set_title('頁面標(biāo)題與關(guān)鍵詞相關(guān)性分布')

# 內(nèi)鏈數(shù)量分布柱狀圖
ax2.bar(link_count.index, link_count.values, color='skyblue')
ax2.set_title('頁面內(nèi)鏈數(shù)量分布')
ax2.set_ylabel('頁面數(shù)量')

# 保存圖表
plt.tight_layout()
plt.savefig('自身網(wǎng)站SEO診斷分析圖.png', dpi=300)
plt.show()

# 5. 輸出優(yōu)化建議
print("\n自身網(wǎng)站SEO優(yōu)化建議：")
irrelevant_count = relevance_count.get('不相關(guān)', 0)
if irrelevant_count > 0:
    print(f"- 有{irrelevant_count}個頁面標(biāo)題與關(guān)鍵詞不相關(guān)，需優(yōu)化標(biāo)題，確保包含核心關(guān)鍵詞")
few_link_count = df[df['內(nèi)鏈數(shù)量'] <= 5].shape[0]
if few_link_count > 0:
    print(f"- 有{few_link_count}個頁面內(nèi)鏈數(shù)量少于5個，需增加內(nèi)鏈布局，提升頁面權(quán)重")

3.2.2 競品網(wǎng)站對比分析：找到差異化優(yōu)勢

import pandas as pd

# 1. 讀取自身與競品的關(guān)鍵詞數(shù)據(jù)
self_keywords = pd.read_csv('自身網(wǎng)站關(guān)鍵詞數(shù)據(jù).csv')['關(guān)鍵詞'].tolist()
competitor_keywords = pd.read_csv('競品網(wǎng)站關(guān)鍵詞數(shù)據(jù).csv')['關(guān)鍵詞'].tolist()

# 2. 對比分析關(guān)鍵詞覆蓋情況
# 競品有、自身沒有的關(guān)鍵詞（可重點布局）
missing_keywords = [kw for kw in competitor_keywords if kw not in self_keywords]
# 自身與競品共有的關(guān)鍵詞（可競爭排名）
common_keywords = [kw for kw in self_keywords if kw in competitor_keywords]

# 3. 統(tǒng)計分析結(jié)果
print(f"自身網(wǎng)站關(guān)鍵詞數(shù)量：{len(self_keywords)}")
print(f"競品網(wǎng)站關(guān)鍵詞數(shù)量：{len(competitor_keywords)}")
print(f"\n自身未覆蓋、競品已覆蓋的關(guān)鍵詞數(shù)量：{len(missing_keywords)}")
print("重點布局關(guān)鍵詞（前20個）：")
print(missing_keywords[:20] if len(missing_keywords) >= 20 else missing_keywords)
print(f"\n自身與競品共有關(guān)鍵詞數(shù)量：{len(common_keywords)}")
print("需競爭排名的關(guān)鍵詞（前20個）：")
print(common_keywords[:20] if len(common_keywords) >= 20 else common_keywords)

3.2.3 行業(yè)關(guān)鍵詞數(shù)據(jù)分析：篩選高價值關(guān)鍵詞

import pandas as pd

# 1. 讀取行業(yè)關(guān)鍵詞數(shù)據(jù)（包含關(guān)鍵詞、搜索量、競爭度、轉(zhuǎn)化指數(shù)）
df = pd.read_csv('行業(yè)關(guān)鍵詞數(shù)據(jù).csv')

# 2. 數(shù)據(jù)清洗（剔除無效數(shù)據(jù)）
df = df.dropna(subset=['搜索量', '競爭度'])
df = df[df['搜索量'] > 0]  # 剔除無搜索量的關(guān)鍵詞

# 3. 篩選高價值關(guān)鍵詞（自定義篩選條件，可根據(jù)行業(yè)調(diào)整）
# 條件：搜索量>=100（高搜索量）、競爭度<=0.5（低競爭度）、轉(zhuǎn)化指數(shù)>=0.6（高轉(zhuǎn)化）
high_value_keywords = df[(df['搜索量'] >= 100) & (df['競爭度'] <= 0.5) & (df['轉(zhuǎn)化指數(shù)'] >= 0.6)]

# 4. 按搜索量降序排序，便于優(yōu)先布局
high_value_keywords = high_value_keywords.sort_values(by='搜索量', ascending=False)

# 5. 保存高價值關(guān)鍵詞，用于后續(xù)內(nèi)容布局
high_value_keywords.to_csv('高價值行業(yè)關(guān)鍵詞.csv', index=False, encoding='utf-8')

print(f"篩選出高價值關(guān)鍵詞數(shù)量：{len(high_value_keywords)}")
print("\n高價值關(guān)鍵詞TOP30：")
print(high_value_keywords[['關(guān)鍵詞', '搜索量', '競爭度', '轉(zhuǎn)化指數(shù)']].head(30))

3.2.4 數(shù)據(jù)分析總結(jié)：輸出可落地的優(yōu)化方案

1. 關(guān)鍵詞優(yōu)化：補充競品優(yōu)勢關(guān)鍵詞及行業(yè)高價值關(guān)鍵詞，優(yōu)化頁面標(biāo)題與關(guān)鍵詞的相關(guān)性，避免關(guān)鍵詞堆砌；
2. 鏈接優(yōu)化：修復(fù)404無效鏈接，為內(nèi)鏈數(shù)量過少的頁面增加內(nèi)鏈，優(yōu)化內(nèi)鏈分布，提升頁面權(quán)重傳遞；
3. 內(nèi)容優(yōu)化：結(jié)合高價值關(guān)鍵詞布局內(nèi)容，參考競品內(nèi)容更新頻率，提升內(nèi)容質(zhì)量與原創(chuàng)度；
4. 排名優(yōu)化：針對與競品共有的關(guān)鍵詞，優(yōu)化頁面質(zhì)量、增加外鏈，提升搜索引擎排名。

四、Python落地SEO優(yōu)化：自動化提升優(yōu)化效率

4.1 自動化監(jiān)測網(wǎng)站狀態(tài)

import requests
import pandas as pd
import time

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
}

# 讀取網(wǎng)站所有頁面URL
df = pd.read_csv('自身網(wǎng)站SEO清洗后數(shù)據(jù).csv')
urls = df['頁面URL'].tolist()

# 定義監(jiān)測函數(shù)
def monitor_url_status(url):
    try:
        time.sleep(1)
        response = requests.get(url, headers=headers, timeout=10)
        return response.status_code
    except Exception as e:
        return f'異常：{str(e)}'

# 批量監(jiān)測所有URL狀態(tài)
df['當(dāng)前狀態(tài)碼'] = df['頁面URL'].apply(monitor_url_status)

# 篩選異常狀態(tài)URL（非200）
abnormal_urls = df[df['當(dāng)前狀態(tài)碼'] != 200]

# 保存監(jiān)測結(jié)果
df.to_csv('網(wǎng)站頁面狀態(tài)監(jiān)測報告.csv', index=False, encoding='utf-8')

print(f"監(jiān)測完成，共監(jiān)測{len(urls)}個頁面")
print(f"異常狀態(tài)頁面數(shù)量：{len(abnormal_urls)}")
if len(abnormal_urls) > 0:
    print("\n異常頁面詳情：")
    print(abnormal_urls[['頁面URL', '當(dāng)前狀態(tài)碼']])

4.2 自動化生成SEO優(yōu)化報告

import pandas as pd
from openpyxl import Workbook
from openpyxl.styles import Font, PatternFill

# 1. 讀取各類分析數(shù)據(jù)
self_data = pd.read_csv('自身網(wǎng)站SEO清洗后數(shù)據(jù).csv')
competitor_data = pd.read_csv('競品網(wǎng)站關(guān)鍵詞數(shù)據(jù).csv')
high_value_kw = pd.read_csv('高價值行業(yè)關(guān)鍵詞.csv')
monitor_data = pd.read_csv('網(wǎng)站頁面狀態(tài)監(jiān)測報告.csv')

# 2. 創(chuàng)建工作簿
wb = Workbook()

# 3. 創(chuàng)建工作表并寫入數(shù)據(jù)
# 3.1 自身網(wǎng)站核心數(shù)據(jù)
ws1 = wb.active
ws1.title = '自身網(wǎng)站核心數(shù)據(jù)'
ws1.append(['頁面URL', '頁面標(biāo)題', '關(guān)鍵詞', '內(nèi)鏈數(shù)量', '狀態(tài)碼'])
for _, row in self_data.head(50).iterrows():
    ws1.append([row['頁面URL'], row['頁面標(biāo)題'], row['頁面關(guān)鍵詞'], row['內(nèi)鏈數(shù)量'], row['當(dāng)前狀態(tài)碼']])

# 3.2 高價值關(guān)鍵詞
ws2 = wb.create_sheet(title='高價值關(guān)鍵詞')
ws2.append(['關(guān)鍵詞', '搜索量', '競爭度', '轉(zhuǎn)化指數(shù)'])
for _, row in high_value_kw.head(30).iterrows():
    ws2.append([row['關(guān)鍵詞'], row['搜索量'], row['競爭度'], row['轉(zhuǎn)化指數(shù)']])

# 3.3 異常頁面監(jiān)測
ws3 = wb.create_sheet(title='異常頁面監(jiān)測')
ws3.append(['頁面URL', '當(dāng)前狀態(tài)碼'])
abnormal = monitor_data[monitor_data['當(dāng)前狀態(tài)碼'] != 200]
for _, row in abnormal.iterrows():
    ws3.append([row['頁面URL'], row['當(dāng)前狀態(tài)碼']])

# 3.4 優(yōu)化建議
ws4 = wb.create_sheet(title='SEO優(yōu)化建議')
suggestions = [
    '一、關(guān)鍵詞優(yōu)化',
    '1. 補充競品優(yōu)勢關(guān)鍵詞及行業(yè)高價值關(guān)鍵詞，優(yōu)先布局搜索量高、競爭度低的關(guān)鍵詞',
    '2. 優(yōu)化頁面標(biāo)題與關(guān)鍵詞相關(guān)性，確保每個頁面標(biāo)題包含核心關(guān)鍵詞，避免堆砌',
    '',
    '二、鏈接優(yōu)化',
    '1. 及時修復(fù)異常狀態(tài)頁面（如404、500），對無效鏈接進(jìn)行重定向',
    '2. 為內(nèi)鏈數(shù)量少于5個的頁面增加內(nèi)鏈，優(yōu)化內(nèi)鏈分布，提升頁面權(quán)重',
    '',
    '三、內(nèi)容優(yōu)化',
    '1. 結(jié)合高價值關(guān)鍵詞布局原創(chuàng)內(nèi)容，提升內(nèi)容質(zhì)量與可讀性',
    '2. 參考競品內(nèi)容更新頻率，定期更新網(wǎng)站內(nèi)容，保持網(wǎng)站活躍度',
    '',
    '四、監(jiān)測優(yōu)化',
    '1. 每周運行監(jiān)測腳本，及時發(fā)現(xiàn)頁面狀態(tài)異常',
    '2. 每月進(jìn)行一次競品對比分析，調(diào)整優(yōu)化策略'
]
for idx, suggestion in enumerate(suggestions, 1):
    ws4.cell(row=idx, column=1, value=suggestion)

# 4. 保存報告
wb.save('網(wǎng)站SEO優(yōu)化報告.xlsx')
print("SEO優(yōu)化報告生成完成！")

五、總結(jié)與進(jìn)階方向

• 爬蟲進(jìn)階：學(xué)習(xí)Scrapy框架的高級用法，實現(xiàn)分布式爬取，提升大規(guī)模數(shù)據(jù)采集效率；學(xué)習(xí)Playwright工具，應(yīng)對更復(fù)雜的動態(tài)網(wǎng)頁反爬；
• 數(shù)據(jù)分析進(jìn)階：結(jié)合機器學(xué)習(xí)算法（如聚類分析），實現(xiàn)關(guān)鍵詞自動分類、用戶需求挖掘，進(jìn)一步提升優(yōu)化精準(zhǔn)度；
• 優(yōu)化進(jìn)階：通過Python調(diào)用搜索引擎API（如百度搜索資源平臺API），獲取更精準(zhǔn)的關(guān)鍵詞排名、抓取數(shù)據(jù)，實現(xiàn)更精細(xì)化的SEO優(yōu)化。