Pygments¶

Librería que permite exportar código de python con formato (Syntax Highlighter) a HTML o latex

from pygments import highlight
from pygments.lexers import PythonLexer
from pygments.formatters import HtmlFormatter

Generar código python en un documento html

ejemplo_codigo = 'print "Corre lola, corre"'

# Argumentos (código, lexer, formato)
code_html = highlight(ejemplo_codigo, PythonLexer(), HtmlFormatter())

Resultado en el explorador:

print "Corre lola, corre"

Modificar el estilo del código¶

from pygments.lexers import get_lexer_by_name

ejemplo_codigo = 'print "Corre lola, corre"'

lexer = get_lexer_by_name("python", stripall=True)
formatter = HtmlFormatter(linenos=True, cssclass="source")
result = highlight(ejemplo_codigo, lexer, formatter)

Código generado:

<table class="sourcetable">
<tr>
    <td class="linenos">
        <div class="linenodiv">
            <pre>1</pre>
        </div>    
    </td>
    <td class="code">
        <div class="source">
            <pre>
            <span class="k">print</span> <span class="s">&quot;Corre lola, corre&quot;</span>
            </pre>
        </div>
    </td>
</tr>
</table>

1	print "Corre lola, corre"

Lexer¶

Los lexer dividen el código en fragmentos de tipos determinados como: comentarios, palabras clave, números, etc. A cada uno de estos grupos (tokens) se le puede dar un formato en específico y dependen directamente del tipo de lenguaje usado.

import pygments.lexers as pl

# Se obtiene el lexer para código Python
pl.get_lexer_by_name('python')

<pygments.lexers.PythonLexer>

Nombres de los lexers disponibles relacionados con python

python, py, sage
python3, py3
numpy
cython, pyx, pyrex (extensiones .pyx, .pxd, .pxi)
pycon (formato de salida de consola de python)

También se puede obtener un lexer a partir de un archivo:

# Se obtiene un lexer para código ruby
pl.get_lexer_for_filename('spam.rb')

<pygments.lexers.RubyLexer>

Crear estilo¶

Se debe crear una clase que hereda la clase Style del módulo pygments.style y se define en este un diccionario con las carácterísticas que se quieren editar como clave.

from pygments.style import Style
import pygments.token as pt

class MyStyle(Style):
    default_style = ""
    styles = {
        pt.Comment: 'italic #727272',
        pt.Keyword: 'bold #191966',
        pt.Name: '#f00',
        pt.Name.Function: '#0f0',
        pt.Name.Class: 'bold #0f0',
        pt.String: '#007F00'
    }

Algunos parámetros para modificar el estilo del código en el documento HTML

bold Negrita
nobold Sin negrita
italic Itálica o cursiva
noitalic No itálica o cursiva
underline Subrayado
nounderline No subrayado
bg: Fondo transparente
bg:#000000 Fondo color #000000 (negro)
border: Borde transparente
border:#ffffff Borde color #ffffff (blanco)
#ff0000 Color de texto #ff0000 (rojo)
noinherit No heredar estilo por defecto

Generar código con el nuevo estilo¶

# Código a agregar
ejemplo_codigo = '# Se imprime el nombre \nprint "Corre lola, corre"'

# Se agrega la clase MyStyle como el nuevo estilo a HtmlFormatter
formatter = HtmlFormatter(style=MyStyle)

# Se desactiva el uso del CSS por defecto
formatter.noclasses = True

code_html = highlight(ejemplo_codigo, PythonLexer(), formatter)

# Se imprime el nombre 
print "Corre lola, corre"

Exportar un archivo completo de python a HTML¶

Se crea el archivo de ejemplo sample.py con el siguiente código:

# Se generan datos de ejemplo, un dataframe de 4 columnas y 1000 filas
rnd_1 = [random.randrange(1,20) for x in xrange(1000)]
rnd_2 = [random.randrange(1,20) for x in xrange(1000)]
rnd_3 = [random.randrange(1,20) for x in xrange(1000)]
fecha = pd.date_range('2012-4-10', '2015-1-4')

data = pd.DataFrame({'fecha':fecha, 'rnd_1': rnd_1, 'rnd_2': rnd_2, 'rnd_3': rnd_3})

Desde consola, en el mismo directorio del archivo creado se ejecuta:

pygmentize -f html -O full -o sample.html sample.py

-f html es para crear un archivo html de nombre sample.html a partir del archivo sample.py
-O full crea un archivo html completo (estructura head, body) y estilo (código css). Sin esta opción solo transcribe el texto contenido en sample.py

Expresiones regulares¶

La librería de expresiones regulares de Python (RE), contiene operaciones de comparación de texto, puede encontrar fragmentos o patrones de tipo string o unicode. Generalmente se usa el símbolo " \ " (backslash) para indicar caracteres especiales. Un ejemplo de estos caracteres es "\n" que representa una nueva línea en un texto:

print "Este caracter \nparte la línea en 2"

Este caracter 
parte la línea en 2

# Importación de la librería de expresiones regulares en Python
import re

search¶

Para buscar determinado fragmento de texto dadas ciertas condiciones se usa el método search contenido en la librería re. Este método requiere de dos argumentos un patrón y el texto en el que se realiza la búsqueda. Al imprimir el resultado se ve que es un objeto tipo '_sre.SRE_Match'. Si no encuentra el patrón el resultado de la búsqueda es None

result = re.search('ins', 'Vasili Kadinsky')
print result
print type(result)

<_sre.SRE_Match object at 0x7f32ee686578>
<type '_sre.SRE_Match'>

result = re.search('arac', 'Caravaggio')
print result

None

Para ver el valor contenido en este objeto, en caso de encontrado el patrón, se usa el método group, que arroja el valor del patrón buscado.

result = re.search('ins', 'Vasili Kadinsky')
print result.group()

ins

Es posible hacer búsquedas con un patrón que dependa del texto alrededor de este, por ejemplo, se busca el patrón 'ins' nuevamente pero esta vez debe estar seguido de dos letras minúsculas. Para indicar cada letra siguiente se usa la expresión regular " \w ". Si se requiere una bśuqueda en al que las letras continuas sean mayúsculas se usa " \W ".

result = re.search('ins\w\w', 'Vasili Kadinsky')
print result.group()

insky

findall¶

Permite realizar búsquedas de un patrón en un string al igual que la función search, la diferencia es que search devuelve la primera coincidencia y findall encuentra todas las coincidencias

texto = u"Ella, ansiosa, Vuela y posa, En su palma sonrosada, Y allí mismo, ya saciada, Y de gozo temblorosa"
# El patrón describe un caracter con letras o números que terminen en rosa
# Uso del '+' en la siguiente sección *Repetición de patrones*
result = re.search('\w+rosa', texto)
print result.group()

sonrosa

result = re.findall('\w+rosa', texto)
print result

[u'sonrosa', u'temblorosa']

Expresiones regulares¶

Estas expresiones regulares hacen parte de un grupo de patrones básicos y su significado dentro de estos:

\w : abecedario en letras minúsculas, los números naturales y el guión bajo [a-z, 0-9, _]. Para las letras mayúsculas se usa \W.
. Cualquier carácter diferente a \n
\s Carácter de espacio: \n nueva línea, \t tabulación.
\d Números naturales.
^ reconoce el comienzo de un string
$ reconoce el final de un string
? reconoce el fragmento de string con o sin el carácter a su izquierda
{a} reconoce un fragmento con a repeticiones del carácter a su izquierda
[abc] Indica un conjunto de posibles coincidencias, en este caso puede concidir con 'a', 'b' o 'c'

texto = u'En la memoria tendré presente el horrible día'

# El punto reconoce cualquier carácter excepto \n (nueva línea)
result = re.findall('.en', texto)
print result

[u'ten', u'sen']

# Cada punto agrega un nuevo caracter al segmento de string encontrado
result = re.findall('..en', texto)

# Note que en el primer segmento el nuevo carácter es un espacio
print result

[u' ten', u'esen']

# \s reconoce todo tipo de carácteres de espacio
result = re.findall('\shorrible', texto)
print result

[u' horrible']

# No se reconoce el fragmento 'ente' porque, a pesar de que esta presente 
# en el texto, no está precedido por un espacio
result = re.findall('\sente', texto)
print result

[]

texto = 'Ima Sumac'

# ^ Reconoce el inicio de un string
result = re.findall('^I..', texto)
print result

['Ima']

# $ reconoce el final de un string
result = re.findall('..c$', texto)
print result

['mac']

Puede indicarse el fin del string sin decir exactamente algunos carácteres

result = re.findall('m..$', texto)
print result

['mac']

texto = 'despiert o despierto'

# Encuentra el segmento de string con o sin la *o* que tiene el símbolo
result = re.findall('despierto?', texto)
print result

['despiert', 'despierto']

texto = "ABBDDDEAEEABDCCBDDC"
# Se busca un fragmento en el que la D se repita 3 veces y sea precedida de la letra B
result = re.findall('BD{3}', texto)
print result

['BDDD']

También es posible dar un rango para el número de repeticiones

# Se busca un fragmento en el que la D se repita de 1 a 3 veces y sea precedida de la letra B
result = re.findall('BD{1,3}', texto)
print result

['BDDD', 'BD', 'BDD']

texto = 'Me gusta la pera pero como muchas manzanas'

# Encuentra fragmentos que comiencen en *per* y terminen en *a* o *o*
result = re.findall('per[ao]', texto)
print result

['pera', 'pero']

Repetición en los patrones¶

' + '¶

Reconoce 1 ó más repeticiones del caracter que se encuentre a la izquierda de este símbolo.

Si el patrón es 'm\w+', este busca la palabra que contenga una m y que seguida de esta hayan caracteres de tipo \w (a-z, 0-9, _). En este caso devuelve el string desde la m hasta un caracter que no sea de tipo \w

texto = "Hermann Melville"
# Se busca un string que comience por "He" y que le sigan caracteres de tipo \w
result = re.search('^He\w+', texto)
print result.group()
Hermann

# Se busca un string que termine en "lle" y que le antecedan caracteres de tipo \w
result = re.search('\w+lle$', texto)
print result.group()
Melville

' * '¶

Reconoce 0 ó más repeticiones del caracter que se encuentre a la izquierda

Si el patrón es 'AB', este reconoce 'A' y 'AB' con la cantidad de B* consecutivas que hayan en el string

texto = "ABBABDDDEAEECCC"
# Se busca un fragmento de string que sea A o que comience por A y sea seguido por B
result = re.findall('AB*', texto)
print result
['ABB', 'AB', 'A']

Combinaciones y generación de otros patrones¶

texto = 'La vida interior de Martin Frost'

result = re.findall('in*', texto)
print result

['i', 'in', 'i', 'in']

Pero al agregar ' ? ' al patrón el resultado será fragmentos de string que cumplan la condición pero con la menor longitud posible. En este caso el patrón ' in* ' encuentra ' i ' e ' i ' seguido de cuantos ' n ' haya en el string, por lo que al buscar con el patrón ' in*? ' el fragmento con menor longitud es ' i '. Se puede aplicar la misma lógica a comibaciones como ' +? ', '{a, b}? ' y ' ?? '.

result = re.findall('in*?', texto)
print result

['i', 'i', 'i', 'i']

texto = 'La vida interior de Martin Frost'

Encuentra un segmento de texto solo si es seguido por lo indicado en el paréntesis en este caso ' Frost'

result = re.findall('.+Martin(?= Frost)', texto)
print result

['La vida interior de Martin']

Lo contrario a lo anteriror es con el símbolo ' ! '. Encuentra en texto solo si no es seguido por lo indicado en el paréntesis

result = re.findall('.+Martin(?!Rogelio)', texto)
print result

['La vida interior de Martin']

También es posible encontrar fragmentos de un string indicando lo que le precede con esta sintaxis. En el paréntesis se indica que caracteres debe ir antes.

# Encuentra un string solo si es precedido por 'La '
result = re.findall('(?<=La )vida interior.+', texto)
print result

['vida interior de Martin Frost']

La negación es igualmente con el signo ' ! '

# Encuentra un string solo si no es precedido por 'La '
result = re.findall('(?<!La )vida interior.+', texto)
print result

[]

Búsqueda de caracteres usados como patrón¶

Caracteres que no pueden ser usados como patrón, puesto que son reservados para describirlos:

. ^ $ * + ? { [ ] \ | ( )

Para utilizar estos símbolos como parte de un patrón de búsqueda deben ser precedidos por el backslash " \ "

texto = "Qué es esto?"
print texto

Qué es esto?

Al buscar el caractér si el backslash la salida no corresponde al patrón buscado, puesto que este realiza la operación dada por ser una expresión regular.

result = re.search('o\?', texto)
print result.group()

o?

sub¶

Este método permite sustituir fragmentos de un string mediante un patrón y una función. Por ejemplo en la frase "We die in proportion to the words we fling around us" Se reemplazarán las palabras que comiencen por la letra ' w ' o ' W ' por la misma palabra en mayúscula.

Se importa la librería locale y se especifica la región para que se reconoczca dentro de los patrones los caracteres especiales del español, como la ñ y las letras tildadas, como letras.

frase = "We die in proportion to the words we fling around us"

# se revisa primero con el método re.findall que el patrón seleccionado sea el correcto
re.findall('[wW]\w+', frase)

['We', 'words', 'we']

re.sub('[wW]\w+', lambda x: x.group().upper(), frase)

'WE die in proportion to the WORDS WE fling around us'

Organizar datos con pandas I¶

import pandas as pd
import numpy as np

Multi-índice en dataframe¶

Crear un dataframe con multi-índice¶

Los dataframes pueden tener varios índices y varios nombres de columna, para esto se usa la clase de pandas MultiIndex. Estos se pueden crear a partir de una lista de tuplas, con el método drom_tuples, donde cada tupla contiene los nombres de cada columna o a partir de una combinación entre varias tuplas con el método from_product

columns = pd.MultiIndex.from_tuples([('A', 'positivo'), ('B', 'positivo'), 
                                     ('A', 'negativo'), ('B', 'negativo'), 
                                     ('O', 'positivo')], 
                                     names=['tipo', 'Rh'])
index = pd.MultiIndex.from_product([('menor', 'adulto'),('hombre', 'mujer')], 
                                   names=['edad', 'sexo'])
df = pd.DataFrame(np.random.randn(4,5), columns=columns, index=index)
df

Obtener información de un dataframe multi-índex¶

Columnas¶

Para obtener la información de una columna se usa el formato corriente, dataframe[nombre_col], siempre y cuando el nombre de la columna pertenezca a una columna de primer nivel, es decir, la primera fila de nombres de columnas.

df['A']

Para obtener información de las columnas de otros niveles, se debe referir primero la columna de primer nivel y luego a las de los niveles siguientes, en órden jerárquico.

df['B', 'positivo']

edad    sexo  
menor   hombre   -1.048591
        mujer    -0.541011
adulto  hombre    0.346534
        mujer     0.254588
Name: (B, positivo), dtype: float64

Filas¶

Las filas se obtienen usando los métodos loc, iloc y ix. De igual forma que las columnas, se acata el orden jerárquico hasta llegar a los datos deseados.

df.loc['adulto']

df.loc['adulto', 'mujer']

tipo  Rh      
A     positivo   -1.183561
B     positivo    0.254588
A     negativo    0.546878
B     negativo    1.816080
O     positivo    1.309236
Name: (adulto, mujer), dtype: float64

Por posición:

df.iloc[0]

tipo  Rh      
A     positivo   -1.807191
B     positivo   -1.048591
A     negativo    0.458959
B     negativo    0.349050
O     positivo    0.682837
Name: (menor, hombre), dtype: float64

df.iloc[0, 1]

-1.0485906955417377

Slice (seleccionar secciones del dataframe)¶

df

df.iloc[1:3]

General¶

Para obtener información sea de filas o columnas de cualquier nivel se usa el método xs. Se especifica el nombre de la columna y el nombre del nivel al que pertenece, para buscar por columna se agrega axis=1.

df.xs('mujer', level='sexo')

df.xs('negativo', level='Rh', axis=1)

Si se quiere mantener la información de los otros niveles a los que pertenece esta información se usa el argumento drop_level=False

df.xs('negativo', level='Rh', axis=1 , drop_level=False)

Stack¶

El método stack permite reordenar los datos que tienen iguales atributos con igual nombre de columna en el dataframe. Por ejemplo si se tienen algún tipo de resultados para varios tipos de sangre, los tipos pueden ser diferentes pero pueden compartir el Rh, ese sería un atributo en común. También es uno de los métodos para manipular dataframe con varios nombres de columna.

# Si no se le indica los nombres de columna que convertirá en índice este 
# toma el último nivel de columna en este caso "tipo" es el primer nivel 
# y "Rh" el segundo.
df.stack()

df.stack('tipo')

# Se convierten los dos nombres de columna a índice tomando como principal a "tipo" y 
# "Rh" como una clasificación interna de este.
df_st = df.stack(level=['tipo','Rh'])
df_st

edad    sexo    tipo  Rh      
menor   hombre  A     negativo    0.458959
                      positivo   -1.807191
                B     negativo    0.349050
                      positivo   -1.048591
                O     positivo    0.682837
        mujer   A     negativo   -0.628476
                      positivo   -0.769500
                B     negativo   -0.847258
                      positivo   -0.541011
                O     positivo   -0.576029
adulto  hombre  A     negativo    1.641367
                      positivo    0.083071
                B     negativo    0.563324
                      positivo    0.346534
                O     positivo    0.806927
        mujer   A     negativo    0.546878
                      positivo   -1.183561
                B     negativo    1.816080
                      positivo    0.254588
                O     positivo    1.309236
dtype: float64

# Ahora "tipo" como una clasificación interna de "Rh"
df.stack(level=['Rh','tipo'])

edad    sexo    Rh        tipo
menor   hombre  negativo  A       0.458959
                          B       0.349050
                positivo  A      -1.807191
                          B      -1.048591
                          O       0.682837
        mujer   negativo  A      -0.628476
                          B      -0.847258
                positivo  A      -0.769500
                          B      -0.541011
                          O      -0.576029
adulto  hombre  negativo  A       1.641367
                          B       0.563324
                positivo  A       0.083071
                          B       0.346534
                          O       0.806927
        mujer   negativo  A       0.546878
                          B       1.816080
                positivo  A      -1.183561
                          B       0.254588
                          O       1.309236
dtype: float64

pygments

Pygments¶

Modificar el estilo del código¶

Lexer¶

Crear estilo¶

Generar código con el nuevo estilo¶

Exportar un archivo completo de python a HTML¶

Expresiones regulares

Expresiones regulares¶

search¶

findall¶

Expresiones regulares¶

Repetición en los patrones¶

' + '¶

' * '¶

Combinaciones y generación de otros patrones¶

Búsqueda de caracteres usados como patrón¶

sub¶

Organizar datos con pandas I

Organizar datos con pandas I¶

Multi-índice en dataframe¶

Crear un dataframe con multi-índice¶

Obtener información de un dataframe multi-índex¶

Columnas¶

Filas¶

Slice (seleccionar secciones del dataframe)¶

General¶

Stack¶

Sobre Pyciencia

Entradas populares

Labels

Datos personales

Blog Archive

Seguidores

DELTA LAB

	tipo	A	B	A	B	O
	Rh	positivo	positivo	negativo	negativo	positivo
edad	sexo
menor	hombre	-1.807191	-1.048591	0.458959	0.349050	0.682837
menor	mujer	-0.769500	-0.541011	-0.628476	-0.847258	-0.576029
adulto	hombre	0.083071	0.346534	1.641367	0.563324	0.806927
adulto	mujer	-1.183561	0.254588	0.546878	1.816080	1.309236

		Rh	negativo	positivo
edad	sexo	tipo
menor	hombre	A	0.458959	-1.807191
		B	0.349050	-1.048591
		O	NaN	0.682837
	mujer	A	-0.628476	-0.769500
		B	-0.847258	-0.541011
		O	NaN	-0.576029
adulto	hombre	A	1.641367	0.083071
		B	0.563324	0.346534
		O	NaN	0.806927
	mujer	A	0.546878	-1.183561
		B	1.816080	0.254588
		O	NaN	1.309236