Taramaya Hazırlık

Python ile Web Scraping

Thomas Laetsch

Data Scientist, NYU

Yanıtla Çalışalım

Selector vs Response:

  • Response, Selector’larla öğrendiğimiz tüm araçlara sahiptir:
    • xpath ve css metodları, ardından extract ve extract_first metodları.
  • Response ayrıca HTML’in yüklendiği URL’yi tutar.
  • Response, siteler arasında geçiş yapmamıza yardımcı olur, böylece kazırken web’de "crawl" edebiliriz.
Python ile Web Scraping

Bildiklerimiz

  • xpath metodu Selector gibi çalışır
response.xpath( '//div/span[@class="bio"]' )
  • css metodu Selector gibi çalışır
response.css( 'div > span.bio' )
  • Zincirleme Selector gibi çalışır
response.xpath('//div').css('span.bio')
  • Veri çıkarma Selector gibi çalışır
response.xpath('//div').css('span.bio').extract()
response.xpath('//div').css('span.bio').extract_first()
Python ile Web Scraping

Bilmediklerimiz

  • response, URL’yi response.url değişkeninde tutar.
response.url
>>> 'http://www.DataCamp.com/courses/all'
  • response, follow() metodu ile yeni bir bağlantıyı "takip etmemizi" sağlar
# next_url, kazımak istediğimiz bir sonraki URL’nin dizge yoludur
response.follow( next_url )
  • follow hakkında daha sonra daha fazlasını öğreneceğiz.
Python ile Web Scraping

Response Üzerine

Python ile Web Scraping

Preparing Video For Download...