Xpath in html in php

Парсинг HTML на PHP с использованием нативных классов

Как вы, возможно, знаете, PHP является популярным внутренним языком, который поддерживает многие популярные CMS, включая WordPress. Если вы вступаете в WordPress или PHP-разработку, вы найдете эту статью полезной.

Если мы хотим обработать данные HTML на сервере? В этой статье мы рассмотрим некоторые полезные классы PHP, которые позволяют нам обрабатывать HTML на стороне сервера.

Что такое синтаксический анализ и как его использовать?

Синтаксический анализ (в данном случае) — это процесс извлечения или изменения полезной информации из строки HTML или XML. Парсер дает нам простые способы запрашивать необработанные данные вместо использования регулярных выражений.

Предположим, вы хотите получить все ссылки на веб-странице. Классы синтаксического анализа PHP DOM могут вам помочь.

Важные DOM классы в PHP

В PHP около девятнадцати классов, связанных с DOM . Некоторые из важных:

DOMDocument, узлы и элементы

Это DOMDocument первый, чтобы упомянуть здесь. Он принимает HTML в качестве входных данных и возвращает объект, который предоставляет доступ к элементам DOM. Он может загружать HTML или XML из строки или файла. Класс определяет несколько методов, getElementById которые похожи на функции в Javascript.

$dom = new DOMDocument(); //examples //methods to load HTML $dom->loadHTML($html_string); $dom->loadHTMLFile('path/to/htmlfile.html'); //methods to load XML $dom->load('path/to/xmlfile.xml'); $dom->loadXML($xml_string); $documentElement = $dom->documentElement; //object of DOMElement Class which gives access to the document element

В этом посте мы в основном будем думать о манипулировании HTML поверх XML.

Узлы (Nodes)

DOM из HTML представляет собой древовидную структуру, состоящую из отдельных узлов. Эти узлы могут быть любого типа, например, элемент, текст, комментарий, атрибут и т. д. DOMNode Является базовым классом, от которого наследуются все типы классов узлов.

Элементы (Elements)

DOMElement Класс расширяет DOMNode класс , который может представлять элементы в HTML — разметке. Объектом DOMElement может быть любой элемент, такой как изображение, div, span, table и т. д.

Практические примеры

Не углубляясь в теории, давайте углубимся в некоторые практические примеры. Прежде всего, нам нужны некоторые данные HTML.

Мы будем выполнять следующие работы с нашим примером HTML:

• Выбрать элемент по идентификатору
• Получить элементы по имени тега
• Найти элементы по классу
• Найти все ссылки на странице
• Вставка HTML-элемента
• Удаление элемента
• Работа с атрибутами

header('Content-Type:application/json'); $url = "https://www.coralnodes.com/best-wordpress-image-optimization-plugins/"; $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); $res = curl_exec($ch); curl_close($ch);

Переменная $res содержит весь HTML-код с веб-страницы.

Выбор по ID

Если вы посмотрите на наш образец страницы, вы увидите, что она содержит две таблицы. Предположим, я хочу найти количество строк в первой таблице. Используя chrome dev-tools, я обнаружил, что в требуемой таблице есть Id — #tablepress-3 .

$dom = new DomDocument(); @ $dom->loadHTML($res); $table = $dom->getElementById('tablepress-3'); //DOMElement $child_elements = $table->getElementsByTagName('tr'); //DOMNodeList $row_count = $child_elements->length - 1; echo "No. of rows in the table is " . $row_count;

Приведенный выше код дает вывод:

No. of rows in the table is 10

Выбор тега по его имени

И классы, DOMDocument и DOMElement классы имеют метод, getElementsByTagName() который позволяет нам выбирать элементы, используя имя тега. Например, если нам нужно получить все h2 заголовки со страницы, мы можем использовать эту функцию.

$dom = new DomDocument(); @ $dom->loadHTML($res); $h2s = $dom->getElementsByTagName('h2'); foreach( $h2s as $h2 ) < echo $h2->textContent . "\n"; >

Test Images Results after Compression ShortPixel reSmush.it Imagify TinyPNG Compress JPEG & PNG Images Kraken.IO EWWW Image Optimizer WP Smush Do you actually need a Plugin to Optimize Images? Consclusion

Найти элементы с определенным классом

В Javascript querySelectorAll() метод позволяет легко выбирать любые элементы с помощью селектора CSS. В PHP это не так просто. Вместо этого мы должны использовать DOMXpath класс для запроса и обхода дерева DOM.

Пример: выберите все таблицы с помощью класса tablepress.

$dom = new DomDocument(); @ $dom->loadHTML($res); $xpath = new DOMXpath($dom); $tables = $xpath->query("//table[contains(@class,'tablepress')]"); $count = $tables->length; echo "No. of tables " . $count;

Также как getElementByTagName() и query() метод DOMXpath возвращает DOMNodeList . Это принимает выражение в качестве аргумента. Это выражение XPath настолько универсально, что мы можем выполнять практически любые типы запросов.

Если вы новичок в XPath, это шпаргалка из Devhints.io содержит широкий перечень CSS и JS селекторов и их соответствующего XPath выражений. Это поможет вам найти подходящее выражение для запроса, который вы хотите выполнить.

Извлечь ссылки со страницы

Разбор открывает ряд возможностей. Извлечение ссылок с веб-страницы является одним из таких применений. Вот как сканеры сканируют всемирную паутину.

Предположим, я хочу найти все внешние ссылки на определенный веб-сайт на веб-странице. На нашем примере страницы я хотел бы найти все исходящие ссылки на сайт wordpress.org из поста в блоге. Итак, вот как я это сделал.

$dom = new DomDocument(); @ $dom->loadHTML($res); $links = $dom->getElementsByTagName('a'); $urls = []; foreach($links as $link) < $url = $link->getAttribute('href'); $parsed_url = parse_url($url); if( isset($parsed_url['host']) && $parsed_url['host'] === 'wordpress.org' ) < $urls[] = $url; >> var_dump($urls);

Модификация и сохранение HTML

До сих пор мы видели, как извлечь или выбрать необходимые данные из HTML. Теперь давайте посмотрим, как мы можем изменить его, добавив или удалив элементы и атрибуты.

Вставка нового HTML-элемента в документ

В этом примере мы увидим, как добавить изображение со ссылкой после первого абзаца. Так вы вставляете рекламные баннеры между постами.

$dom = new DomDocument(); @ $dom->loadHTML($html); $ps = $dom->getElementsByTagName('p'); $first_para = $ps->item(0); $html_to_add = ' '; $dom_to_add = new DOMDocument(); @ $dom_to_add->loadHTML($html_to_add); $new_element = $dom_to_add->documentElement; $imported_element = $dom->importNode($new_element, true); $first_para->parentNode->insertBefore($imported_element, $first_para->nextSibling); $output = @ $dom->saveHTML(); echo $output;

Обратите внимание, что saveHTML() метод возвращает измененную строку html.

Удаление элемента из документа

Чтобы удалить элемент из нашего HTML, мы можем использовать removeChild() метод из DOMElement класса.

$html = '
This is our first paragraph
 
Delete this
 
This is our second paragraph
 
This is our third paragraph
 
Delete this too
'; $dom = new DomDocument(); @ $dom->loadHTML($html); $documentElement = $dom->documentElement; echo $dom->saveHTML(); $xpath = new DOMXpath($dom); $elems = $xpath->query("//div[@class='del']"); foreach( $elems as $elem ) < $elem->parentNode->removeChild($elem); > echo '

-------after deletion--------

'; echo $dom->saveHTML();

Здесь мы выполнили запрос XPath, чтобы найти все элементы класса del . Затем мы удаляем каждый узел из документа, перебирая DOMNodeList объект с помощью foreach цикла.

This is our first paragraph Delete this This is our second paragraph This is our third paragraph Delete this too -------after deletion-------- This is our first paragraph This is our second paragraph This is our third paragraph

Манипулирующие атрибуты

Классы и идентификаторы — не единственные атрибуты, к которым мы можем получить доступ в PHP DOM. Класс DOMElement имеет несколько функций, которые могут получать, устанавливать или удалять атрибуты элемента. Эти методы выглядят аналогично Javascript. Так что вам будет легко понять.

• getAttribute($attribute_name) — получить значение атрибута
• setAttribute($attribute_name, $attribute_value) — установить значение атрибута
• hasAttribute($attribute_name) — проверяет, имеет ли элемент определенный атрибут и возвращает истину или ложь

$html = 'Content'; $dom = new DomDocument(); @ $dom->loadHTML($html); $elem = $dom->getElementsByTagName('span')->item(0); if( $elem->hasAttribute('data-action') ) < echo 'attribute value is "' . $elem->getAttribute('data-action') . '"'; $elem->setAttribute('data-action', 'hide'); echo '
updated attribute value is "' . $elem->getAttribute('data-action') . '"'; >

Вывод

До сих пор мы рассматривали некоторые важные API DOM в PHP. Я надеюсь, что это поможет вам начать разбирать данные HTML и XML с легкостью.

Источник

The DOMXPath class

When set to true , namespaces in the node are registered.

Changelog

Table of Contents

• DOMXPath::__construct — Creates a new DOMXPath object
• DOMXPath::evaluate — Evaluates the given XPath expression and returns a typed result if possible
• DOMXPath::query — Evaluates the given XPath expression
• DOMXPath::registerNamespace — Registers the namespace with the DOMXPath object
• DOMXPath::registerPhpFunctions — Register PHP functions as XPath functions

User Contributed Notes 6 notes

// to retrieve selected html data, try these DomXPath examples:

$file = $DOCUMENT_ROOT . «test.html» ;
$doc = new DOMDocument ();
$doc -> loadHTMLFile ( $file );

// example 1: for everything with an id
//$elements = $xpath->query(«//*[@id]»);

// example 2: for node data in a selected id
//$elements = $xpath->query(«/html/body/div[@id=’yourTagIdHere’]»);

// example 3: same as above with wildcard
$elements = $xpath -> query ( «*/div[@id=’yourTagIdHere’]» );

if (! is_null ( $elements )) foreach ( $elements as $element ) echo «
[» . $element -> nodeName . «]» ;

$nodes = $element -> childNodes ;
foreach ( $nodes as $node ) echo $node -> nodeValue . «\n» ;
>
>
>
?>

When working with XML (as a strict format) might be very important to give a namespace to XPath object in order to make it work properly.

I was experiencing «query» always returning empty node lists, it could not find anything. Only a broad «//*» was able to show off only the root element.

Then found out that registering the namespace reported in the «xmlns» attribute of the root element in the XPath object, and writing the namespace near the elements name, made it work properly.

So for an XML like this (from a sitemap):

I needed the following XPath configuration:

$doc = new DOMDocument ;
$doc -> load ( «sitemap.xml» );
$xpath = new DOMXPath ( $doc );
$xpath -> registerNamespace ( ‘ns’ , ‘http://www.sitemaps.org/schemas/sitemap/0.9’ );
$nodes = $xpath -> query ( ‘//ns:urlset/ns:url’ );

?>

Then again, that «xmlns» could be provided dynamically from the root element attribute of course.

You may not always know at runtime whether your file has
a namespace or not. This can make it difficult to create
XPath queries. Use the seriously underdocumented
«namespaceURI» property of the documentElement of a
DOMDocument to determine if there is a namespace.
Use code such as the following:

$doc = new DOMDocument();
$doc->load($file);
$xpath = new DOMXPath($doc);
$ns = $doc->documentElement->namespaceURI;
if($ns) $xpath->registerNamespace(«ns», $ns);
$nodes = $xpath->query(«//ns:em[@class=’glossterm’]»);
> else $nodes = $xpath->query(«//em[@class=’glossterm’]»);
>
//look at nodes here

Using XPath expressions can save a lot of programming
and allow you to home in on only the nodes you want.
Suppose you want to delete all empty

tags.
If you create a query using the following XPath expression,
you can find

tags that do not have any text
(other than spaces), any attributes,
any children or comments:

This expression will only find para tags that look like:

Imagine the code you would have to add if you used
DOMDocument::getElementsByTagName(«p») instead.

Note that evaluate() will use the same encoding as the XML document.

So if you have a UTF-16 XML, you will have to query using UTF-16 strings.

You can use iconv() to convert from your code’s encoding to the target encoding for better legibility.

I just spent far too much time chasing this one.

I had a DOMNode with a structure like this:

Upon which I was trying to do a relative query (ie: query ( ‘my/x/path’ , $relative_node ); ?> ).

But because of the lone outer tags, the inner tags were being invalidated, while the nodes were still recognized. Meaning that the following query would work:

query ( ‘*[2]/*[*[2]]’ , $relative_node ); ?>

But when replacing any of the «*» tokens with the corresponding (and valid) «table», «tr», or «td» tokens the query would inexplicably break.

• DOM
  • Introduction
  • Installing/Configuring
  • Predefined Constants
  • Examples
  • DOMAttr
  • DOMCdataSection
  • DOMCharacterData
  • DOMChildNode
  • DOMComment
  • DOMDocument
  • DOMDocumentFragment
  • DOMDocumentType
  • DOMElement
  • DOMEntity
  • DOMEntityReference
  • DOMException
  • DOMImplementation
  • DOMNamedNodeMap
  • DOMNode
  • DOMNodeList
  • DOMNotation
  • DOMParentNode
  • DOMProcessingInstruction
  • DOMText
  • DOMXPath
  • DOM Functions

  Источник