DOKRY
  1. DOKRY
  3. Python y normalización de caracteres
Intereting Posts
Trabajando con puntos de código Unicode en Swift Cómo dibujar un rectángulo redondeado en la interfaz de usuario de Android? Cómo devolver un archivo (FileContentResult) en ASP.NET WebAPI ¿Cómo establecer el ancho y alto de DialogFragment? ¿Por qué otras rutas de carpeta también se agregan a la RUTA del sistema con SetX y no solo a la ruta de la carpeta especificada? Navegador Webkit en una aplicación Java Cómo agregar y eliminar dinámicamente campos de formulario en Angular 2 ¿Por qué getText () en JPasswordField estaba en desuso? CSS Auto esconde elementos después de 5 segundos Un objeto de diccionario que usa rangos de valores para claves UITableView – cambia el color del encabezado de la sección ¿Por qué printf no descarga después de la llamada a menos que una nueva línea esté en la cadena de formato? La serialización XML más elegante de la estructura Color ¿Cómo funciona una statement externa “C”? Android Manifiesto Restringir a las tabletas

Python y normalización de caracteres

Hola, recupero datos basados ​​en texto utf8 de una fuente extranjera que contiene caracteres especiales como u"ıöüç" mientras quiero normalizarlos en inglés, como "ıöüç" -> "iouc" . ¿Cuál sería la mejor manera de lograr esto?

Recomiendo usar el módulo Unidecode : 

 >>> from unidecode import unidecode >>> unidecode(u'ıöüç') 'iouc'

Observe cómo lo alimenta una cadena Unicode y emite una cadena de bytes. La salida está garantizada para ser ASCII.

Todo depende de lo lejos que quieras llegar transliterando el resultado. Si desea convertir todo en ASCII ( αβγ a abg ), entonces unidecode es el camino a seguir.

Si solo quieres eliminar los acentos de las letras acentuadas, puedes intentar descomponer tu cadena usando la forma de normalización NFKD (esto convierte la letra a a a una letra simple a seguida de U+0301 COMBINING ACUTE ACCENT ) y luego descartar los acentos (que pertenecen a la clase de caracteres Unicode Mn – “Marcar, no espaciar”). 

 import unicodedata def remove_nonspacing_marks(s): "Decompose the unicode string s and remove non-spacing marks." return ''.join(c for c in unicodedata.normalize('NFKD', s) if unicodedata.category(c) != 'Mn')

La forma más sencilla que encontré:

unicodedata.normalize('NFKD', s).encode("ascii", "ignore") 

 import unicodedata unicodedata.normalize()

http://docs.python.org/library/unicodedata.html