크롤링
-
[데이터 공유] KB부동산 데이터 (22.10.03)Data Sharing 2022. 10. 3. 16:22
지난 포스팅에서 KB부동산 데이터 허브를 크롤링하는 방법을 다뤘었다. KB부동산 데이터 허브는 다양한 데이터를 제공하고 있는데, 대표적으로 매매/전세가격지수가 있다. 그 외에도 소득을 연계해서 볼 수 있는 PIR, J-PIR 정보 등이 제공되고 있다. * PIR = 소득대비 주택(매매) 가격 * J-PIR = 소득대비 전세 가격 지난 번에 크롤링하는 방법과 코드를 공유하긴 했지만, 코딩이 익숙하지 않은 사용자들을 위해 수집한 데이터를 공유하려 한다. (사실 친구가 방법말고 데이터도 공유해주면 좋겠다고 피드백을 줬다!!😆😆😆 완전 피드백 수용 잘하는 편) 우선은 아래 항목에 대한 데이터를 제공하며, 추가 데이터 요청이 있으면 업데이트할 예정이다. (공유가 필요한 데이터가 있으면 댓글에 남겨주세요~🙋🏻♀️..
-
[Python] KB 부동산 데이터 수집하기Programming 2022. 10. 3. 00:42
하락장에는 공부하는 것이 진리!! 선배가 추천해준 '파이썬을 활용한 부동산 데이터 분석' 책을 사두고 꽤 오래 방치했었는데 다시 시작해보려한다. (하고 싶은 것과 해야할 것들... 너어어어무 많다~ 시간이 부족해 🫠🫠🫠) 책을 살펴보면 앞장에는 파이썬을 활용하는 방법들을 주로 설명해두었고, 2장에서는 KB부동산에서 제공하는 데이터를 시각화하는 방법들을 설명해두었다. 2019년에 출판된 책인데 현재는 절판되었고, 그래서 그런지 책에서 설명하는 데이터 수집 루트가 변경되어 사용할 수 없었다. 그래서 업데이트된 루트를 통해, 필요한 데이터를 먼저 수집하는 작업이 필요했다. API 가 따로 지원되지 않는 것 같아 크롤링으로 데이터를 수집하는 코드를 작성했고, 전부는 아니지만 하나의 예제를 통해 수집 방식을 공유..
-
[Python] naver finance 에서 원하는 정보 긁어오기 Part 1. (한국편)Programming 2022. 9. 9. 19:39
이번 포스팅에서는 naver finance 에서 데이터를 긁어오는 걸 할 텐데, naver finance 에서 제공하는 API 를 이용하려 한다. 먼저 데이터를 긁어오기 전에 한국 주식 거래소에서 거래되는 종목들의 ticker 를 먼저 알아야한다. https://seibro.or.kr/websquare/control.jsp?w2xPath=/IPORTAL/user/stock/BIP_CNTS02004V.xml&menuNo=40 SEIBro seibro.or.kr 위의 링크로 이동해, 아래와 같은 화면에서 종목 전체 검색 후 목록 전체를 .xls 파일로 다운받을 수 있다. 다운받은 파일에 대한 처리가 일부 필요하여 첨부로 KOSPI, KOSDAQ 종목들을 .xlsx 파일로 올려두니, 시간 절약 겸 첨부 파일을..