Как использовать символы Юникода в PHP строках
Этот вопрос выглядит до безобразия простым, но я не смог найти на него ответ. Какой PHP-эквивалент следующей строки кода C#?
string str = «\u1000»;
Этот пример создает строку с одним символом Unicode, «числовое значение Unicode» которого равно 1000 в шестнадцатеричной системе (4096 в десятичной). То есть как в PHP создать строку с одним символом Unicode, «числовое значение Unicode» которого известно заранее?
Ответ 1
В PHP 7.0.0 появился синтаксис « Unicode codepoint escape » . Теперь можно легко писать символы Unicode, используя строку с двойными кавычками или heredoc б ез вызова какой-либо функции.
$unicodeChar = «\u»;
Ответ 2
Поскольку JSON напрямую поддерживает синтаксис \uxxxx, первое, что приходит мне в голову, — это:
$unicodeChar = ‘\u1000’;
echo json_decode(‘»‘.$unicodeChar.'»‘);
Другим вариантом может быть использование mb_convert_encoding():
echo mb_convert_encoding(‘က’, ‘UTF-8’, ‘HTML-ENTITIES’);
или использовать прямое сопоставление между UTF-16BE (big endian) и кодовой точкой Unicode:
echo mb_convert_encoding(«\x10\x00», ‘UTF-8’, ‘UTF-16BE’);
Ответ 3
Интересно, почему никто еще не упомянул об этом, но вы можете сделать почти эквивалентную версию, используя экранирующие последовательности в строках с двойными кавычками:
\x[0-9A-Fa-f]
Последовательность символов, соответствующая регулярному выражению, является символом в шестнадцатеричной системе счисления. Пример ASCII:
echo(«\x48\x65\x6C\x6C\x6F\x20\x57\x6F\x72\x6C\x64\x21»);
?>
Вывод:
Hello World!
Поэтому для вашего случая все, что вам нужно сделать, — это $str = «\x30\xA2»;. Но это байты, а не символы. Байтовое представление кодовой точки Unicode совпадает с UTF-16 big endian, поэтому мы могли бы вывести их непосредственно в таком виде:
header(‘content-type:text/html;charset=utf-16be’);
echo(«\x30\xA2»);
?>
Вывод:
ア
Если вы используете другую кодировку, вам нужно соответствующим образом изменить байты (в основном это делается с помощью библиотеки, но возможно и вручную). Пример UTF-16 little endian:
header(‘content-type:text/html;charset=utf-16le’);
echo(«\xA2\x30»);
?>
Пример в формате UTF-8:
header(‘content-type:text/html;charset=utf-8’);
echo(«\xE3\x82\xA2»);
?>
Есть также функция упаковки, но вы можете ожидать, что она будет медленной.
Ответ 4
PHP не знает этих управляющих последовательностей Unicode. Но поскольку неизвестные управляющие последовательности остаются незатронутыми, вы можете написать собственную функцию, которая преобразует такие управляющие последовательности Unicode:
function unicodeString($str, $encoding=null)
if (is_null($encoding)) $encoding = ini_get(‘mbstring.internal_encoding’);
return preg_replace_callback(‘/\\\\u([0-9a-fA-F])/u’, create_function(‘$match’, ‘return mb_convert_encoding(pack(«H*», $match[1]), ‘.var_export($encoding, true).’, «UTF-16BE»);’), $str);
>
Или с помощью выражения анонимной функции вместо create_function:
function unicodeString($str, $encoding=null)
if (is_null($encoding)) $encoding = ini_get(‘mbstring.internal_encoding’);
return preg_replace_callback(‘/\\\\u([0-9a-fA-F])/u’, function($match) use ($encoding)
return mb_convert_encoding(pack(‘H*’, $match[1]), $encoding, ‘UTF-16BE’);
>, $str);
>
Его использование:
$str = unicodeString(«\u1000»);
Ответ 5
Как уже упоминалось другими, PHP 7 вводит поддержку синтаксиса \u Unicode напрямую.
Как также упоминалось другими, единственный способ получить строковое значение из любого разумного описания символов Unicode в PHP — это преобразовать его из чего-то другого (например, парсинг JSON, парсинг HTML или какой-то другой формы). Но это сопряжено с затратами производительности во время выполнения. Однако есть еще один вариант. Вы можете закодировать символ непосредственно в PHP с помощью \x двоичной экранировки. Синтаксис экранирования \x поддерживается и в PHP 5.
Это особенно полезно, если вы предпочитаете не вводить символ непосредственно в строку в его естественной форме. Например, если это невидимый управляющий символ или другой трудно обнаруживаемый пробельный символ.
Сначала пример доказательства:
// Unicode Character ‘HAIR SPACE’ (U+200A)
$htmlEntityChar = « »;
$realChar = html_entity_decode($htmlEntityChar);
$phpChar = «\xE2\x80\x8A»;
echo ‘Proof: ‘;
var_dump($realChar === $phpChar); // bool(true)
Обратите внимание, что, как упоминалось в другом ответе, этот двоичный код уникален для конкретной кодировки символов. В приведенном выше примере \xE2\x80\x8A — это двоичный код для U+200A в UTF-8. Следующий вопрос: как перейти от U+200A к \xE2\x80\x8A?
Ниже приведен PHP-скрипт для генерации escape-последовательности для любого символа на основе JSON-строки, HTML-сущности или любого другого метода после того, как вы получите его в виде собственно строки.
function str_encode_utf8binary($str)
/** @author Krinkle 2018 */
$output = »;
foreach (str_split($str) as $octet)
$ordInt = ord($octet);
// Convert from int (base 10) to hex (base 16), for PHP \x syntax
$ordHex = base_convert($ordInt, 10, 16);
$output .= ‘\x’ . $ordHex;
>
return $output;
>
function str_convert_html_to_utf8binary($str)
return str_encode_utf8binary(html_entity_decode($str));
>
function str_convert_json_to_utf8binary($str)
return str_encode_utf8binary(json_decode($str));
>
// Пример для необработанной строки: Символ Юникода ‘INFINITY’ (U+221E)
echo str_encode_utf8binary(‘∞’) . «\n»;
// \xe2\x88\x9e
// Пример для HTML: Символ Юникода ‘HAIR SPACE’ (U+200A)
echo str_convert_html_to_utf8binary(‘ ’) . «\n»;
// \xe2\x80\x8a
// Пример для JSON: символ Юникода ‘HAIR SPACE’ (U+200A)
echo str_convert_json_to_utf8binary(‘»\u200a»‘) . «\n»;
// \xe2\x80\x8a
Мы будем очень благодарны
если под понравившемся материалом Вы нажмёте одну из кнопок социальных сетей и поделитесь с друзьями.
Php вставить код символ
ord — Convert the first byte of a string to a value between 0 and 255
Description
Interprets the binary value of the first byte of character as an unsigned integer between 0 and 255.
If the string is in a single-byte encoding, such as ASCII, ISO-8859, or Windows 1252, this is equivalent to returning the position of a character in the character set’s mapping table. However, note that this function is not aware of any string encoding, and in particular will never identify a Unicode code point in a multi-byte encoding such as UTF-8 or UTF-16.
This function complements chr() .
Parameters
Return Values
An integer between 0 and 255.
Examples
Example #1 ord() example
Example #2 Examining the individual bytes of a UTF-8 string
declare( encoding = ‘UTF-8’ );
$str = «🐘» ;
for ( $pos = 0 ; $pos < strlen ( $str ); $pos ++ ) $byte = substr ( $str , $pos );
echo ‘Byte ‘ . $pos . ‘ of $str has value ‘ . ord ( $byte ) . PHP_EOL ;
>
?>
The above example will output:
Byte 0 of $str has value 240
Byte 1 of $str has value 159
Byte 2 of $str has value 144
Byte 3 of $str has value 152
See Also
- chr() — Generate a single-byte string from a number
- An » ASCII-table
- mb_ord() — Get Unicode code point of character
- IntlChar::ord() — Return Unicode code point value of character
User Contributed Notes 6 notes
As ord() doesn’t work with utf-8, and if you do not have access to mb_* functions, the following function will work well:
function ordutf8 ( $string , & $offset ) $code = ord ( substr ( $string , $offset , 1 ));
if ( $code >= 128 ) < //otherwise 0xxxxxxx
if ( $code < 224 ) $bytesnumber = 2 ; //110xxxxx
else if ( $code < 240 ) $bytesnumber = 3 ; //1110xxxx
else if ( $code < 248 ) $bytesnumber = 4 ; //11110xxx
$codetemp = $code — 192 — ( $bytesnumber > 2 ? 32 : 0 ) — ( $bytesnumber > 3 ? 16 : 0 );
for ( $i = 2 ; $i <= $bytesnumber ; $i ++) $offset ++;
$code2 = ord ( substr ( $string , $offset , 1 )) — 128 ; //10xxxxxx
$codetemp = $codetemp * 64 + $code2 ;
>
$code = $codetemp ;
>
$offset += 1 ;
if ( $offset >= strlen ( $string )) $offset = — 1 ;
return $code ;
>
?>
$offset is a reference, as it is not easy to split a utf-8 char-by-char. Useful to iterate on a string:
$text = «abcàê߀abc» ;
$offset = 0 ;
while ( $offset >= 0 ) echo $offset . «: » . ordutf8 ( $text , $offset ). «\n» ;
>
/* returns:
0: 97
1: 98
2: 99
3: 224
5: 234
7: 223
9: 8364
12: 97
13: 98
14: 99
*/
?>
Feel free to adapt my code to fit your needs.
Regarding character sets, and whether or not this is «ASCII». Firstly, there is no such thing as «8-bit ASCII», so if it were ASCII it would only ever return integers up to 127. 8-bit ASCII-compatible encodings include the ISO 8859 family of encodings, which map various common characters to the values from 128 to 255. UTF-8 is also designed so that characters representable in 7-bit ASCII are coded the same; byte values higher than 127 in a UTF-8 string represent the beginning of a multi-byte character.
In fact, like most of PHP’s string functions, this function isn’t doing anything to do with character encoding at all — it is just interpreting a binary byte from a string as an unsigned integer. That is, ord(chr(200)) will always return 200, but what character chr(200) *means* will vary depending on what character encoding it is *interpreted* as part of (e.g. during display).
A technically correct description would be «Returns an integer representation of the first byte of a string, from 0 to 255. For single-byte encodings such as (7-bit) ASCII and the ISO 8859 family, this will correspond to the first character, and will be the position of that character in the encoding’s mapping table. For multi-byte encodings, such as UTF-8 or UTF-16, the byte may not represent a complete character.»
The link to asciitable.com should also be replaced by one which explains what character encoding it is displaying, as «Extended ASCII» is an ambiguous and misleading name.
Немного из личного опыта.
Не самая сложная задачка для программистов, однако у новичков, таких как я, она может отнять намного больше времени, чем кажется на первый взгляд. Хотя у меня время отняла не столько задача вставить символ в строку на PHP, сколько прикручивание ее к своему маленькому скрипту (если его можно так назвать). Ну, обо всем по порядку, сначала о вставке и замене, а затем о моему скриптику, который подойдет для тех, кто автоматизирует заработок на рекламе в Твиттере.
$newTxt = 'Здесь необходимая строка, которая может состоять из очень большого количества символов'; substr_replace($newTxt, '!', 10, 0); //После 10-о символа (параметр) вставляем !, который не замещает ни одного символа (параметр 0)
Плюсовое значение второго параметра означает какое количество символов нужно заменить. Минусовое ведет отсчет от конца строки, в результате замещается все в середине между 10 символом и, например, 10 с конца. Первый параметр (там, где 10) тоже может быть минусовым, тогда отсчет тоже ведется от конца строки.
В принципе обо всем этом можно узнать с оф сайта PHP, но я написал для того, чтобы рассказать о своем маленьком скриптике, который стал для меня в некотором роде достижением.
В общем, в Твиттере я уже давно пишу твиты автоматом, насобирал целую кучу цитат и высказываний, но все они не делают для поисковиков мои площадки уникальными, поэтому в один момент пришла мысль брать тексты из каких-то книг. Вот тут-то и возникла небольшая проблема. Тексты в книгах написаны длинными абзацами, который в текстовых документах занимают 1 строку. То есть, 5-10 и больше предложений в одну строку, а как известно программы для автоматизации берут лишь 140 символов из одной строки, а все остальное удаляют, и это все не прикольно. Поэтому появилась задачка, разбивать длинные тексты на твиты длинной 140 символов, а что это сделает лучше за легкий скрипт на PHP, правильно ничего, подумал я и принялся за работу.
$newTxt = $_POST['txt']; $symbol = strlen($newTxt); //Подсчет количества символов $count = $symbol / 140; // Количество итераций для определения количества твитов $b = 139; while ($i
Для примера взял текст из новости, на скрине ниже видно, что в текстовом редакторе весь текст в одну строку:
Вот такие дела, конечно, не прикольно, что некоторые слова оборвались и новые предложения начинаются с непонятных слов, но это все можно исправить, позже я этим займусь (может на выходных время появиться), но это в несколько раз ускорило работу с созданием новых твитов. Да, кто-то скажет, зачем в Твиттере писать такую ересь? Отвечу так, для меня главное определенное количество твитов в день, возможность быстро прикрыть рекламу и приступить к написанию новой, и уникальность. В общем мне нравиться, и возможно это еще кому-то пригодится.
Все таки решение моей задачки оказалось намного проще, сегодня заглянул в мануал PHP и нашел необходимую функцию, которая делает все тоже, что я делал с помощью цикла и вычислений. При чем, делает это не обрывая слов, то есть при подсчете количества символов, если последний приходится не на пробел, то строка обрывается на ближайшем пробеле, который попадает в заданное количество символов. Функция эта wordwrap(). И теперь мой код PHP выглядит вот так:
$newTxt = $_POST['txt']; $b = 139; $newTxt = wordwrap(strip_tags($newTxt), $b, "
\n"); // strip_tags() удаляет html и php теги, а также все NULL-байты echo $newTxt; // Вывод результатаТо, что доктор прописал! Теперь думаю попробовать сделать из него, что более серьезное, чем просто разделение строки, которое как оказалось так просто делается.
