แนะนำ scrapy Selector

Web Scraping ด้วย Python

Thomas Laetsch

Data Scientist, NYU

ตั้งค่า Selector

from scrapy import Selector

html = '''
<html>
  <body>
    <div class="hello datacamp">
      <p>Hello World!</p>
    </div>
    <p>Enjoy DataCamp!</p>
  </body>
</html>
'''

sel = Selector( text = html )

สร้างออบเจกต์ scrapy Selector จากสตริงที่มีโค้ด html
Selector sel ได้เลือกทั้งหมดของเอกสาร html

การเลือก Selector

ใช้คำสั่ง xpath ภายใน Selector เพื่อสร้าง Selector ใหม่สำหรับส่วนที่ต้องการในโค้ด html
ผลลัพธ์ที่ได้คือ SelectorList ของออบเจกต์ Selector

sel.xpath("//p")

# outputs the SelectorList:
[<Selector xpath='//p' data='<p>Hello World!</p>'>, 
 <Selector xpath='//p' data='<p>Enjoy DataCamp!</p>'>]

ดึงข้อมูลจาก SelectorList

ใช้เมธอด extract()

>>> sel.xpath("//p")

out: [<Selector xpath='//p' data='<p>Hello World!</p>'>,
      <Selector xpath='//p' data='<p>Enjoy DataCamp!</p>'>]

>>> sel.xpath("//p").extract()

out: [ '<p>Hello World!</p>', 
       '<p>Enjoy DataCamp!</p>' ]

ใช้ extract_first() เพื่อดึงข้อมูลองค์ประกอบแรกของลิสต์

>>> sel.xpath("//p").extract_first()

out: '<p>Hello World!</p>'

ดึงข้อมูลจาก Selector

ps = sel.xpath('//p')

second_p = ps[1]

second_p.extract()

out: '<p>Enjoy DataCamp!</p>'

มาฝึกกันเถอะ!

Web Scraping ด้วย Python