CSS-локаторы

Веб-скрапинг на Python

Thomas Laetsch

Data Scientist, NYU

Rosetta CSStone

/ заменяется на > (кроме первого символа)
- XPath: /html/body/div
- CSS-локатор: html > body > div
// заменяется пробелом (кроме первого символа)
- XPath: //div/span//p
- CSS-локатор: div > span p
[N] заменяется на :nth-of-type(N)
- XPath: //div/p[2]
- CSS-локатор: div > p:nth-of-type(2)

Rosetta CSStone

XPATH

xpath = '/html/body//div/p[2]'

CSS

css = 'html > body div > p:nth-of-type(2)'

Атрибуты в CSS

Для поиска элемента по классу используйте точку .
- Пример: p.class-1 выбирает все элементы p, принадлежащие class-1

Для поиска элемента по идентификатору используйте символ #
- Пример: div#uid выбирает элемент div с id, равным uid

Атрибуты в CSS

Выбрать элементы p внутри класса class1:

css_locator = 'div#uid > p.class1'

Выбрать все элементы с атрибутом класса class1:

css_locator = '.class1'

Статус класса

css = '.class1'

Выбор по классу — только класс

Статус класса

xpath = '//*[@class="class1"]'

Выбор по классу — точное совпадение

Статус класса

xpath = '//*[contains(@class,"class1")]'

Выбор по классу — contains

Селекторы CSS

from scrapy import Selector 

html = '''
<html>
  <body>
    <div class="hello datacamp">
      <p>Hello World!</p>
    </div>
    <p>Enjoy DataCamp!</p>
  </body>
</html>
''' 
sel = Selector( text = html )

>>> sel.css("div > p")
out: [<Selector xpath='...' data='<p>Hello World!</p>'>] 

>>> sel.css("div > p").extract()
out: [ '<p>Hello World!</p>' ]

Давайте потренируемся!

Веб-скрапинг на Python