3. [웹 크롤링] 페이지 이동하며 크롤링

1) 페이지를 이동하면 page= 라는 파라미터에 숫자가 변경된다.

페이지 파라미터

2)  for문 돌리기

import requests
from bs4 import BeautifulSoup

for i in range(1, 5):
    response = requests.get(f'https://mroh1226.tistory.com/?page={i}')
    html = response.text
    soup = BeautifulSoup(html, 'lxml')

    titles = soup.select("strong.tit_post")
    print(f"Page {i}")
    for t in titles:
        print(t.get_text(strip=True))

 

결과