Тег TITLE

Извлечение ссылок из HTML-документов

При написании ботов на PHP часто требуется функция для извлечения всех ссылок на странице. Я для этого использую следующую функцию:

function extract_links($html, $from_url) < mb_internal_encoding('utf-8'); mb_regex_encoding('utf-8'); $from_url = get_host($from_url); $arr = []; $out = []; $html = str_replace(' ', ' ', $html); $html = mb_ereg_replace('\s+', ' ', $html, 'is'); $html = preg_replace('##Uuis', '', $html); $html = preg_replace('#]*>.*]*>#Uuis', '', $html); $html = preg_replace('#]*>.*]*>#Uuis', '', $html); $html = preg_replace_callback('#]*>(.*)]*>#Uuis', 'extract_links_callback', $html); if (preg_match_all('#<(a|area)(\s+?[^>]*?\s+?|\s+?)href\s*=\s*(["\'`]*)\s*?([^>\s]+)\s*\3[^>]*?(/>|>(.*?)|>)#is', $html, $arr, PREG_SET_ORDER)) < foreach($arr as $one) < $this_href = trim(mb_strtolower($one[4]), ' "\''); if ($this_href == '') $this_href = '/'; if (substr($this_href, 0, 11) == 'javascript:') continue; if (substr($this_href, 0, 7) == 'mailto:') continue; $this_text = ''; if (count($one)>6) $this_text = strip_tags(str_replace('`]+#uis', ' ', $this_text)); $this_text = trim((str_replace('•', ' ', (strip_tags(trim($this_text)))))); $this_text = str_replace('=', ' ', $this_text); $this_text = preg_replace('#\s+#uis', ' ', $this_text); if ($this_text=='') $this_text = 'n/t'; $this_nofollow = (preg_match('#rel\s*=[\s"\']*nofollow#uis', $one[0])); $this_noindex = (preg_match('#rel\s*=[\s"\']*noindex#uis', $one[0])); $this_type = (!preg_match('#^http://#is', $this_href)||preg_match('#^http://'.preg_quote($from_url, '#').'#is', $this_href)||preg_match('#^http://'.preg_quote(fix_www($from_url), '#').'#is', $this_href)) ? 'int' : 'ext'; $out[] = array('href'=>$this_href, 'text'=>$this_text, 'nofollow'=>$this_nofollow, 'noindex'=>$this_noindex, 'type'=>$this_type); > > return $out; > function extract_links_callback($matches) < return preg_replace('# href\s*=#Uuis', ' rel="noindex" href=', $matches[1]); >function fix_www($host) < if (substr($host, 0, 4)==='www.') < $host = preg_replace('#^www.#Uis', '', $host); >else < $host = 'www.' . $host; >return $host; > function get_host($s) < $s = preg_replace('#^http://#Uis', '', trim($s)); $s = explode('/', trim($s)); $s = trim($s[0]); $s = explode(':', $s); $s = trim($s[0]); return $s; >

Источник

Как найти все ссылки на странице через PHP

Иногда перед программистом стоит не самая простая задача: найти все ссылки на странице с помощью PHP. Где это может быть нужно? Да, много где, например, при выводе одного сайта на другом. Для этого требуется вытащить из него все ссылки и заменить на другие. Также поиск ссылок используется при создании ЧПУ-ссылок, ведь нужно вытащить все старые ссылки и поставить заместо них новые. В общем, задач можно придумать много, но ключевой вопрос всего один: «Как найти все ссылки на странице через PHP?«. Об этом я и написал данную статью.

Кто имеет хотя бы маленький опыт, тут же скажет, что надо написать регулярное выражение и будет абсолютно прав. Действительно, простыми строковыми функциями данную задачу будет крайне трудно решить. Ведь каждый пишет по-разному, кто-то прописными бувами, кто-то строчными, кто-то ставит пробел после, например, знака «=«, а кто-то нет. У кого-то двойные кавычки, а у кого-то одинарные. В общем, разновидностей очень много. И единственная возможность предусмотреть максимум всего — это регулярное выражение.

Самая сложная часть — это регулярное выражение, ради его публикации данная статья и создавалась, чтобы новичкам не пришлось писать нечто подобное. Хотя это и является очень полезным, но сразу новичок такое никогда не напишет, а для решения задачи это требуется. Конечно, данное регулярное выражение по поиску ссылок неидеальное (едва ли можно написать идеальное), но, думаю, что 99% ссылок будут найдены. А если код писал адекватный верстальщик, то все 100%. А как работать с найденными ссылками дальше, это уже отдельная история.

Создано 26.09.2012 10:08:17

Михаил Русаков

Копирование материалов разрешается только с указанием автора (Михаил Русаков) и индексируемой прямой ссылкой на сайт (http://myrusakov.ru)!

Добавляйтесь ко мне в друзья ВКонтакте: http://vk.com/myrusakov.
Если Вы хотите дать оценку мне и моей работе, то напишите её в моей группе: http://vk.com/rusakovmy.

Если Вы не хотите пропустить новые материалы на сайте,
то Вы можете подписаться на обновления: Подписаться на обновления

Если у Вас остались какие-либо вопросы, либо у Вас есть желание высказаться по поводу этой статьи, то Вы можете оставить свой комментарий внизу страницы.

Порекомендуйте эту статью друзьям:

Если Вам понравился сайт, то разместите ссылку на него (у себя на сайте, на форуме, в контакте):

1. Кнопка:
   Она выглядит вот так:
2. Текстовая ссылка:
   Она выглядит вот так: Как создать свой сайт
3. BB-код ссылки для форумов (например, можете поставить её в подписи):

Комментарии ( 7 ):

а почему бы просто не воспользоваться функцией getElementsByTagNam(‘a’) ?

SoffRick http://php.net/manual/ru/class.domdocument.php почитайте, а потом умничайте

А DOM в таком случае не целесообразнее использовать? Вроде и проще, и, к тому же, есть достаточно библиотек для этого.

Источник

Извлечение данных с помощью регулярных выражений PHP

Получение данных с помощью функций preg_match() и preg_match_all() .

Текст из скобок

Извлечение содержимого из круглых, квадратных и фигурных скобок:

$text = ' Телеобъектив: диафрагма [ƒ/2.8] Широкоугольный объектив: (диафрагма ƒ/1.8) По беспроводной сети: Поддержка диапазона: '; /* [. ] */ preg_match_all("/\[(.+?)\]/", $text, $matches); print_r($matches[1]); /* (. ) */ preg_match_all("/\((.+?)\)/", $text, $matches); print_r($matches[1]); /* */ preg_match_all("/\<(.+?)\>/", $text, $matches); print_r($matches[1]); /* */ preg_match_all("/\<(.+?)\>/", $text, $matches); print_r($matches[1]);

Результат:

Array ( [0] => ƒ/2.8 ) Array ( [0] => диафрагма ƒ/1.8 ) Array ( [0] => до 13 часов ) Array ( [0] => Dolby Vision и HDR10 )

Текст из HTML тегов

$text = '  
Тег H1
 
Текст 1
 
Текст 2
 '; /*  
Тег H1
 
Текст 1
 
Текст 2
 '; /*