Crawling
-
[Python] 네이버 부동산 매물 크롤링Programming 2022. 11. 5. 15:08
오랜만에 포스팅한다. 친구들과 마이너스 피에 대해 이야기를 나누다가, 네이버 부동산에서 매물을 크롤링해 투자 물건지를 찾을 수는 없을까 하는 생각이 들었다. 그래서 오늘은 초반에 매물을 크롤링해오는 부분을 먼저 다루려한다. 진행 과정은 아래와 같다. 1. 지역 선택 2. 해당 지역의 위치 정보(좌표) 찾기 3. 해당 위치의 매물 크롤링(20개씩 크롤링 가능) 4. 크롤링한 정보에서 필요한 정보 추출 및 정리 * 크롤링에는 네이버 부동산 모바일 페이지를 사용 (http://m.land.naver.com) 하나씩 차근차근 살펴보자. 1. 지역 선택 네이버 부동산 모바일 페이지에서는 아래와 같은 화면으로 지역을 세분화해서, 매물을 관리하고 있다. 경상북도 구미시를 예시로 코드를 작성했으니 참고 2. 선택한 지..
-
[데이터 공유] KB부동산 데이터 (22.10.03)Data Sharing 2022. 10. 3. 16:22
지난 포스팅에서 KB부동산 데이터 허브를 크롤링하는 방법을 다뤘었다. KB부동산 데이터 허브는 다양한 데이터를 제공하고 있는데, 대표적으로 매매/전세가격지수가 있다. 그 외에도 소득을 연계해서 볼 수 있는 PIR, J-PIR 정보 등이 제공되고 있다. * PIR = 소득대비 주택(매매) 가격 * J-PIR = 소득대비 전세 가격 지난 번에 크롤링하는 방법과 코드를 공유하긴 했지만, 코딩이 익숙하지 않은 사용자들을 위해 수집한 데이터를 공유하려 한다. (사실 친구가 방법말고 데이터도 공유해주면 좋겠다고 피드백을 줬다!!😆😆😆 완전 피드백 수용 잘하는 편) 우선은 아래 항목에 대한 데이터를 제공하며, 추가 데이터 요청이 있으면 업데이트할 예정이다. (공유가 필요한 데이터가 있으면 댓글에 남겨주세요~🙋🏻♀️..
-
[Python] naver finance 에서 원하는 정보 긁어오기 Part 1. (한국편)Programming 2022. 9. 9. 19:39
이번 포스팅에서는 naver finance 에서 데이터를 긁어오는 걸 할 텐데, naver finance 에서 제공하는 API 를 이용하려 한다. 먼저 데이터를 긁어오기 전에 한국 주식 거래소에서 거래되는 종목들의 ticker 를 먼저 알아야한다. https://seibro.or.kr/websquare/control.jsp?w2xPath=/IPORTAL/user/stock/BIP_CNTS02004V.xml&menuNo=40 SEIBro seibro.or.kr 위의 링크로 이동해, 아래와 같은 화면에서 종목 전체 검색 후 목록 전체를 .xls 파일로 다운받을 수 있다. 다운받은 파일에 대한 처리가 일부 필요하여 첨부로 KOSPI, KOSDAQ 종목들을 .xlsx 파일로 올려두니, 시간 절약 겸 첨부 파일을..