파이썬 크롤링 - 디시인사이드(dcinside.com)

파이썬 크롤링 - 디시인사이드(dcinside.com)

 

소스

import requests
from urllib import request
from bs4 import BeautifulSoup

# URL
BASE_URL = "https://gall.dcinside.com/board/lists/?id=dcbest&page=1"
Domain_URL = "https://gall.dcinside.com"
# 헤더 설정
headers = [
{'User-Agent' : ''},
]

# html
response = requests.get(BASE_URL, headers=headers[0])
soup = BeautifulSoup(response.content, 'html.parser')
html_list = soup.find('tbody').find_all('tr')


for i in html_list:
    title_list = i.find('a', href=True).text # 제목
    URL_list = Domain_URL + i.find('a', href=True)['href'] # URL 주소
    # gall_list = i.find('strong').text # 갤이름
    # print(title_list , URL_list)

 

출력

print(title_list , URL_list)

[브갤] 설마 이거 보고 불-편한사람 읎제? ㅋㅋㅋ https://gall.dcinside.com/board/view/?id=dcbest&no=2305&page=1
[야갤] 슬슬 윤여정으로 7절 시작.jpg https://gall.dcinside.com/board/view/?id=dcbest&no=2304&page=1
[싱갤] 싱글벙글 몰카 레전드.....jpg https://gall.dcinside.com/board/view/?id=dcbest&no=2303&page=1
[카연] 작았던 여친이 커져서 돌아온 manhwa https://gall.dcinside.com/board/view/?id=dcbest&no=2302&page=1
[디갤] 디지코레 디오라마 완성 https://gall.dcinside.com/board/view/?id=dcbest&no=2301&page=1
[주갤] 경상북도 모식당에 붙어있다는 https://gall.dcinside.com/board/view/?id=dcbest&no=2300&page=1
[야갤] 계속해서 나오는 k-군대 사진..ㄹㅇ.jpg https://gall.dcinside.com/board/view/?id=dcbest&no=2299&page=1       
[몸갤] [ㅇㅎ]내 취향 https://gall.dcinside.com/board/view/?id=dcbest&no=2298&page=1
[야갤] 깜딱... 내가 남자인데 femi 지지하는이유 .jpg https://gall.dcinside.com/board/view/?id=dcbest&no=2297&page=1
[해갤] 라도 ㅈㅅㅂ 수비 ㅋㅋㅋㅋ.....gif https://gall.dcinside.com/board/view/?id=dcbest&no=2296&page=1
[야갤] ㅅㅂ... 이루다 개발자 범죄자라고 못 박았네 이게 나라냐 https://gall.dcinside.com/board/view/?id=dcbest&no=2295&page=1
[등갤] 우리나라도 이런거 설치해주라 https://gall.dcinside.com/board/view/?id=dcbest&no=2294&page=1
[포갤] 여태까지 그린 포켓몬 그림들(스압) https://gall.dcinside.com/board/view/?id=dcbest&no=2293&page=1
[겨갤] 최석화 치어리더 https://gall.dcinside.com/board/view/?id=dcbest&no=2292&page=1
[미갤] 5천명 참가한 스페인 실험 콘서트…코로나19 확산 징후 없었다 https://gall.dcinside.com/board/view/?id=dcbest&no=2291&page=1
[야갤] 장난전화 레전드 ㄹㅇ.....jpg https://gall.dcinside.com/board/view/?id=dcbest&no=2290&page=1
[야갤] [속보] 여성가족부..'아빠 성' 대신 부모 협의로...JPG https://gall.dcinside.com/board/view/?id=dcbest&no=2289&page=1
[싱갤] 싱글벙글 성폭행범도 힘들다고욧 https://gall.dcinside.com/board/view/?id=dcbest&no=2288&page=1
[중갤] 중붕이 vr 하다가 다쳤다.gif https://gall.dcinside.com/board/view/?id=dcbest&no=2287&page=1
[치갤] 우수한 치어리더 201227 원주DB GIF https://gall.dcinside.com/board/view/?id=dcbest&no=2286&page=1
[자갤] 정부'문재인이 술 마신 건 방역위반 아니다' https://gall.dcinside.com/board/view/?id=dcbest&no=2285&page=1
[군갤] 미국 군함, 중국 항모전단 진형 깨고 들어가…신경전 고조 https://gall.dcinside.com/board/view/?id=dcbest&no=2284&page=1
[야갤] 넥슨, 비트코인 1000억치 매수.jpg https://gall.dcinside.com/board/view/?id=dcbest&no=2283&page=1
[몸갤] [ㅇㅎ]치파오 + 검은 팬티 + 엉덩이 https://gall.dcinside.com/board/view/?id=dcbest&no=2281&page=1
[야갤] 요즘 핫하다는 북한군 짬밥...jpg https://gall.dcinside.com/board/view/?id=dcbest&no=2280&page=1
[자갤] 진짜 ㅈ됐다 ㅅㅂ 바지에 설사함 https://gall.dcinside.com/board/view/?id=dcbest&no=2279&page=1
[야갤] 이와중에...삼성 근황...jpg https://gall.dcinside.com/board/view/?id=dcbest&no=2278&page=1
[카연] 코로나 백신맞은 만와 https://gall.dcinside.com/board/view/?id=dcbest&no=2277&page=1
[싱갤] 싱글벙글 일본이 보는 한국관광객 이미지.jpg https://gall.dcinside.com/board/view/?id=dcbest&no=2276&page=1
[중갤] 한미일 게임계에 끼친 영향.jpg https://gall.dcinside.com/board/view/?id=dcbest&no=2275&page=1
[판갤] 그와중에 탑툰은 조작논란 터졌는데요???? https://gall.dcinside.com/board/view/?id=dcbest&no=2274&page=1
[바갤] 딸배커브 2화 -바이크를 사자!!- https://gall.dcinside.com/board/view/?id=dcbest&no=2273&page=1
[해갤] 레알 벤제마 동점골.....gif https://gall.dcinside.com/board/view/?id=dcbest&no=2272&page=1
[자갤] 무면허 문신 시술자 대참사,,, https://gall.dcinside.com/board/view/?id=dcbest&no=2271&page=1
[부갤] 한국과 중국이 하나인 이유 https://gall.dcinside.com/board/view/?id=dcbest&no=2270&page=1
[해갤] 눈물주의) 다시보는 첼램덩크..jpg https://gall.dcinside.com/board/view/?id=dcbest&no=2269&page=1
[웹갤] 탑툰 사태에 여초 웹툰작가들 반응.jpg https://gall.dcinside.com/board/view/?id=dcbest&no=2268&page=1
[야갤] 요즘 군인...수준...jpg https://gall.dcinside.com/board/view/?id=dcbest&no=2267&page=1
[야갤] 싱글벙글 과학 5호...jpg https://gall.dcinside.com/board/view/?id=dcbest&no=2266&page=1
[뷰갤] 옳게 된 뷰티풀 군바리 https://gall.dcinside.com/board/view/?id=dcbest&no=2265&page=1
[몸갤] [ㅇㅎ]다리의 정석(feat.여친룩) https://gall.dcinside.com/board/view/?id=dcbest&no=2264&page=1
[브갤] 삼계탕집에서 생긴일 https://gall.dcinside.com/board/view/?id=dcbest&no=2263&page=1
[레갤] k-동네 노약자 몇명 등 https://gall.dcinside.com/board/view/?id=dcbest&no=2262&page=1
[싱갤] 싱글벙글 윤식당3 대본유출 https://gall.dcinside.com/board/view/?id=dcbest&no=2260&page=1
[야갤] 오늘자 노벨피아 페‍‍미논란 총정리....JPG https://gall.dcinside.com/board/view/?id=dcbest&no=2259&page=1
[K갤] 정우영 17년 10월 2일 인스타 https://gall.dcinside.com/board/view/?id=dcbest&no=2258&page=1
[싱갤] 당황당황 이시언 https://gall.dcinside.com/board/view/?id=dcbest&no=2257&page=1
[싱갤] 훌쩍훌쩍 문과촌.univ https://gall.dcinside.com/board/view/?id=dcbest&no=2256&page=1
[S갤] [쏵갤문학] 정진기의 최후.jpg https://gall.dcinside.com/board/view/?id=dcbest&no=2255&page=1
[해갤] 정용진 "야구 안 좋아하는 동빈이형, 내 도발에 등판" https://gall.dcinside.com/board/view/?id=dcbest&no=2254&page=1