728x90

파이썬 크롤링 - 디시인사이드(dcinside.com) 이미지 저장

 

소스

import requests
from urllib import request
from bs4 import BeautifulSoup

# URL 설정
BASE_URL = "https://gall.dcinside.com/board/view/?id=dcbest&no=2479&page=1"
DOMAIN_URL = "https://gall.dcinside.com"

# 헤더 설정
headers = [
{'User-Agent' : ''},
]

html_list = requests.get(BASE_URL, headers=headers[0])
soup = BeautifulSoup(html_list.content, 'html.parser')

file_box = soup.find('div', class_='appending_file_box').find_all('li')

num = 0
for i in file_box:
    num += 1 # 넘버링
    img_URL = i.find('a',href=True)['href'] # 이미지 주소
    file_ext = i.find('a',href=True)['href'].split('.')[-1] # 확장자 추출

    opener = request.build_opener()
    opener.addheaders = [('User-agent', ''), ('Referer', html_list.url)]
    request.install_opener(opener)
    request.urlretrieve(img_URL, "TEST" + str(num) + "." + file_ext)

출력

2021.04.27 - [파이썬 - Python] - 파이썬 크롤링 - 와이고수(ygosu.com)

 

파이썬 크롤링 - 와이고수(ygosu.com)

파이썬 크롤링 - 와이고수(Ygosu.com) 소스 import requests from urllib import request from bs4 import BeautifulSoup BASE_URL = "https://www.ygosu.com/community/real_article" # 헤더 설정 headers = [ {'..

clanguage.tistory.com

2021.04.28 - [파이썬 - Python] - 파이썬 크롤링 - 디시인사이드(dcinside.com)

 

파이썬 크롤링 - 디시인사이드(dcinside.com)

파이썬 크롤링 - 디시인사이드(dcinside.com) 소스 import requests from urllib import request from bs4 import BeautifulSoup # URL BASE_URL = "https://gall.dcinside.com/board/lists/?id=dcbest&page=1" Do..

clanguage.tistory.com

 

728x90

파이썬 크롤링 - 디시인사이드(dcinside.com)

 

소스

import requests
from urllib import request
from bs4 import BeautifulSoup

# URL
BASE_URL = "https://gall.dcinside.com/board/lists/?id=dcbest&page=1"
Domain_URL = "https://gall.dcinside.com"
# 헤더 설정
headers = [
{'User-Agent' : ''},
]

# html
response = requests.get(BASE_URL, headers=headers[0])
soup = BeautifulSoup(response.content, 'html.parser')
html_list = soup.find('tbody').find_all('tr')


for i in html_list:
    title_list = i.find('a', href=True).text # 제목
    URL_list = Domain_URL + i.find('a', href=True)['href'] # URL 주소
    # gall_list = i.find('strong').text # 갤이름
    # print(title_list , URL_list)

 

출력

print(title_list , URL_list)

[브갤] 설마 이거 보고 불-편한사람 읎제? ㅋㅋㅋ https://gall.dcinside.com/board/view/?id=dcbest&no=2305&page=1
[야갤] 슬슬 윤여정으로 7절 시작.jpg https://gall.dcinside.com/board/view/?id=dcbest&no=2304&page=1
[싱갤] 싱글벙글 몰카 레전드.....jpg https://gall.dcinside.com/board/view/?id=dcbest&no=2303&page=1
[카연] 작았던 여친이 커져서 돌아온 manhwa https://gall.dcinside.com/board/view/?id=dcbest&no=2302&page=1
[디갤] 디지코레 디오라마 완성 https://gall.dcinside.com/board/view/?id=dcbest&no=2301&page=1
[주갤] 경상북도 모식당에 붙어있다는 https://gall.dcinside.com/board/view/?id=dcbest&no=2300&page=1
[야갤] 계속해서 나오는 k-군대 사진..ㄹㅇ.jpg https://gall.dcinside.com/board/view/?id=dcbest&no=2299&page=1       
[몸갤] [ㅇㅎ]내 취향 https://gall.dcinside.com/board/view/?id=dcbest&no=2298&page=1
[야갤] 깜딱... 내가 남자인데 femi 지지하는이유 .jpg https://gall.dcinside.com/board/view/?id=dcbest&no=2297&page=1
[해갤] 라도 ㅈㅅㅂ 수비 ㅋㅋㅋㅋ.....gif https://gall.dcinside.com/board/view/?id=dcbest&no=2296&page=1
[야갤] ㅅㅂ... 이루다 개발자 범죄자라고 못 박았네 이게 나라냐 https://gall.dcinside.com/board/view/?id=dcbest&no=2295&page=1
[등갤] 우리나라도 이런거 설치해주라 https://gall.dcinside.com/board/view/?id=dcbest&no=2294&page=1
[포갤] 여태까지 그린 포켓몬 그림들(스압) https://gall.dcinside.com/board/view/?id=dcbest&no=2293&page=1
[겨갤] 최석화 치어리더 https://gall.dcinside.com/board/view/?id=dcbest&no=2292&page=1
[미갤] 5천명 참가한 스페인 실험 콘서트…코로나19 확산 징후 없었다 https://gall.dcinside.com/board/view/?id=dcbest&no=2291&page=1
[야갤] 장난전화 레전드 ㄹㅇ.....jpg https://gall.dcinside.com/board/view/?id=dcbest&no=2290&page=1
[야갤] [속보] 여성가족부..'아빠 성' 대신 부모 협의로...JPG https://gall.dcinside.com/board/view/?id=dcbest&no=2289&page=1
[싱갤] 싱글벙글 성폭행범도 힘들다고욧 https://gall.dcinside.com/board/view/?id=dcbest&no=2288&page=1
[중갤] 중붕이 vr 하다가 다쳤다.gif https://gall.dcinside.com/board/view/?id=dcbest&no=2287&page=1
[치갤] 우수한 치어리더 201227 원주DB GIF https://gall.dcinside.com/board/view/?id=dcbest&no=2286&page=1
[자갤] 정부'문재인이 술 마신 건 방역위반 아니다' https://gall.dcinside.com/board/view/?id=dcbest&no=2285&page=1
[군갤] 미국 군함, 중국 항모전단 진형 깨고 들어가…신경전 고조 https://gall.dcinside.com/board/view/?id=dcbest&no=2284&page=1
[야갤] 넥슨, 비트코인 1000억치 매수.jpg https://gall.dcinside.com/board/view/?id=dcbest&no=2283&page=1
[몸갤] [ㅇㅎ]치파오 + 검은 팬티 + 엉덩이 https://gall.dcinside.com/board/view/?id=dcbest&no=2281&page=1
[야갤] 요즘 핫하다는 북한군 짬밥...jpg https://gall.dcinside.com/board/view/?id=dcbest&no=2280&page=1
[자갤] 진짜 ㅈ됐다 ㅅㅂ 바지에 설사함 https://gall.dcinside.com/board/view/?id=dcbest&no=2279&page=1
[야갤] 이와중에...삼성 근황...jpg https://gall.dcinside.com/board/view/?id=dcbest&no=2278&page=1
[카연] 코로나 백신맞은 만와 https://gall.dcinside.com/board/view/?id=dcbest&no=2277&page=1
[싱갤] 싱글벙글 일본이 보는 한국관광객 이미지.jpg https://gall.dcinside.com/board/view/?id=dcbest&no=2276&page=1
[중갤] 한미일 게임계에 끼친 영향.jpg https://gall.dcinside.com/board/view/?id=dcbest&no=2275&page=1
[판갤] 그와중에 탑툰은 조작논란 터졌는데요???? https://gall.dcinside.com/board/view/?id=dcbest&no=2274&page=1
[바갤] 딸배커브 2화 -바이크를 사자!!- https://gall.dcinside.com/board/view/?id=dcbest&no=2273&page=1
[해갤] 레알 벤제마 동점골.....gif https://gall.dcinside.com/board/view/?id=dcbest&no=2272&page=1
[자갤] 무면허 문신 시술자 대참사,,, https://gall.dcinside.com/board/view/?id=dcbest&no=2271&page=1
[부갤] 한국과 중국이 하나인 이유 https://gall.dcinside.com/board/view/?id=dcbest&no=2270&page=1
[해갤] 눈물주의) 다시보는 첼램덩크..jpg https://gall.dcinside.com/board/view/?id=dcbest&no=2269&page=1
[웹갤] 탑툰 사태에 여초 웹툰작가들 반응.jpg https://gall.dcinside.com/board/view/?id=dcbest&no=2268&page=1
[야갤] 요즘 군인...수준...jpg https://gall.dcinside.com/board/view/?id=dcbest&no=2267&page=1
[야갤] 싱글벙글 과학 5호...jpg https://gall.dcinside.com/board/view/?id=dcbest&no=2266&page=1
[뷰갤] 옳게 된 뷰티풀 군바리 https://gall.dcinside.com/board/view/?id=dcbest&no=2265&page=1
[몸갤] [ㅇㅎ]다리의 정석(feat.여친룩) https://gall.dcinside.com/board/view/?id=dcbest&no=2264&page=1
[브갤] 삼계탕집에서 생긴일 https://gall.dcinside.com/board/view/?id=dcbest&no=2263&page=1
[레갤] k-동네 노약자 몇명 등 https://gall.dcinside.com/board/view/?id=dcbest&no=2262&page=1
[싱갤] 싱글벙글 윤식당3 대본유출 https://gall.dcinside.com/board/view/?id=dcbest&no=2260&page=1
[야갤] 오늘자 노벨피아 페‍‍미논란 총정리....JPG https://gall.dcinside.com/board/view/?id=dcbest&no=2259&page=1
[K갤] 정우영 17년 10월 2일 인스타 https://gall.dcinside.com/board/view/?id=dcbest&no=2258&page=1
[싱갤] 당황당황 이시언 https://gall.dcinside.com/board/view/?id=dcbest&no=2257&page=1
[싱갤] 훌쩍훌쩍 문과촌.univ https://gall.dcinside.com/board/view/?id=dcbest&no=2256&page=1
[S갤] [쏵갤문학] 정진기의 최후.jpg https://gall.dcinside.com/board/view/?id=dcbest&no=2255&page=1
[해갤] 정용진 "야구 안 좋아하는 동빈이형, 내 도발에 등판" https://gall.dcinside.com/board/view/?id=dcbest&no=2254&page=1

 

728x90

파이썬 크롤링 - 와이고수(Ygosu.com)

 

소스

import requests
from urllib import request
from bs4 import BeautifulSoup

BASE_URL = "https://www.ygosu.com/community/real_article"

# 헤더 설정
headers = [
{'User-Agent' : ''},
]

response = requests.get(BASE_URL, headers=headers[0])
soup = BeautifulSoup(response.content, 'html.parser')

html_list = soup.find('tbody').find_all('tr')

for img in html_list:
	category_list = img.find('td', class_='bdname').find('img')['title'] # 카테고리
	link_list = img.find('td', class_='tit').find('a', href=True)['href'] # 링크
	tile_list = img.find('td', class_='tit').find('a').text # 제목

	# print(category_list, tile_list+link_list)

출력 

print(category_list, tile_list + link_list)

엽게 남성연대 시위장면 https://www.ygosu.com/community/real_article/yeobgi/1819034/?page=0&frombest=Y
엽게 뭐 싸발아 눈깔아 ㅋㅋㅋㅋ https://www.ygosu.com/community/real_article/yeobgi/1819023/?page=0&frombest=Y
연예인 여름 https://www.ygosu.com/community/real_article/stars/149553/?page=0&frombest=Y
음식 안동가서 먹은것들 https://www.ygosu.com/community/real_article/food/75012/?page=0&frombest=Y
음식 구미 일품 칼국수 https://www.ygosu.com/community/real_article/food/75018/?page=0&frombest=Y
엽게 [ㅇㅎ] 포켓몬스터 - 알로라 디그다랑 스왑하기 https://www.ygosu.com/community/real_article/yeobgi/1819018/?page=0&frombest=Y
엽게 좆소회사 특징ㅋㅋhttps://www.ygosu.com/community/real_article/yeobgi/1819032/?page=0&frombest=Y
엽게 형;;  왼쪽 귀에서 피나요… https://www.ygosu.com/community/real_article/yeobgi/1819035/?page=0&frombest=Y
음식 연탄 고추장구이 https://www.ygosu.com/community/real_article/food/75011/?page=0&frombest=Y
엽게 군대 케이크 논란 반응 판 vs 여시  https://www.ygosu.com/community/real_article/yeobgi/1819029/?page=0&frombest=Y
농구 모란트 더블클러치 https://www.ygosu.com/community/real_article/basketball/28200/?page=0&frombest=Y
엽게 자기 와이프 난잡하게 먹어달라고해서 먹어준 썰.txt https://www.ygosu.com/community/real_article/yeobgi/1819001/?page=0&frombest=Y
엽게 식물갤 유저도 패드립하게 만든 상황.jpg https://www.ygosu.com/community/real_article/yeobgi/1818794/?page=0&frombest=Y
엽게 우주에서 가장 황당한 임신 https://www.ygosu.com/community/real_article/yeobgi/1818852/?page=0&frombest=Y
엽게 00년생 캐나다 누나 https://www.ygosu.com/community/real_article/yeobgi/1818913/?page=0&frombest=Y
엽게 그레이몬 https://www.ygosu.com/community/real_article/yeobgi/1819009/?page=0&frombest=Y
엽게 워그레이몬 https://www.ygosu.com/community/real_article/yeobgi/1819019/?page=0&frombest=Y
음식 막국수  https://www.ygosu.com/community/real_article/food/74931/?page=0&frombest=Y
음식 귀멸의 칼날 우동 만들어봤습니당 https://www.ygosu.com/community/real_article/food/74935/?page=0&frombest=Y
음식 개밥 https://www.ygosu.com/community/real_article/food/74952/?page=0&frombest=Y
음식 와붕이 저녁 https://www.ygosu.com/community/real_article/food/74956/?page=0&frombest=Y
음식 냠냠3 https://www.ygosu.com/community/real_article/food/74964/?page=0&frombest=Y
음식 쌀국수 https://www.ygosu.com/community/real_article/food/74977/?page=0&frombest=Y
엽게 에타 역지사지 레전드..jpg https://www.ygosu.com/community/real_article/yeobgi/1819013/?page=0&frombest=Y
엽게 취객 부축 레전드 https://www.ygosu.com/community/real_article/yeobgi/1819021/?page=0&frombest=Y

 

+ Recent posts