匿名掲示板のスレッドの書き込みが例えば，１～９９９まであった場合，表示できるのはそのうち数十件だけ。全ての書き込みを見たい場合には，いちいち画面を切り替えて表示しなければなりません。これが手間でしょうがなかったので，Ｐｙｔｈｏｎにてコードを書きました。ご利用頂けますと幸いです。
import requests
from bs4 import BeautifulSoup
#↓ＵＲＬの最後の/数字を除いて入力
Start_URL=’https://************’
for EndURL in range(100):
EndURL= EndURL+1
EndURL= str(EndURL)
URL=Start_URL+ EndURL
res = requests.get(URL)
soup = BeautifulSoup(res.content, ‘html.parser’)
for div_tag in soup.find_all(‘div’, class_=’res’):
text = div_tag.text.replace(‘\n’, ”) #改行削除
#フォルダ内にmyfile.txtを作成しておいてください。
f = open(‘myfile.txt’, ‘a’, encoding=’UTF-8′)
f.write(‘\n————————————\n’)
f.write(text)
f.close()
なお，５ちゃんねるのようにウェブスクレイピングが禁止されているサイトもありますので，利用にあたっては規約を確認して頂けますようお願い致します。
