Pandas cuenta con métodos que permiten unir dataframes usando columnas, índices o la posición de los datos como referencia. Se presentan los métodos concat, join y merge.

Creado: Julio 10 de 2019
Modificado: Julio 10 de 2019
Testeado en:

- Python 3.6.4
- pandas 0.24.2

Descargar código: https://github.com/vilmauricio/pyciencia/tree/master/pandas

import pandas as pd
from IPython.display import display_html

def display_inline(*dataframes):
    df_html = [df.to_html() for df in dataframes]
    html = ''.join(df_html)
    html = html.replace('table','table style="display:inline; padding:10px"')
    display_html(html, raw=True)

pd.concat( )¶

Función de pandas que permite unir DataFrames o Series contenidos en una lista en un solo Dataframe o Serie.

df_1 = pd.DataFrame([[1, 2, 3], [2, 5, 4],[4, 2, 3]], columns=['a', 'b', 'c'])
df_2 = pd.DataFrame([[3, 5, 1], [1, 1, 4],[2, 6, 3]], columns=['a', 'd', 'e'])
df_3 = pd.DataFrame([[6, 5, 3], [3, 4, 3],[1, 7, 5]], columns=['a', 'd', 'e'])

dataframes = [df_1, df_2, df_3]
result = pd.concat(dataframes, sort='False', ignore_index='True')
result

La función concat genera una copia de los DataFrame de origen, por lo que cualquier modificación sobre result no afecta a df_1, df_2, df_3.

Los NaN del nuevo Dataframe se deben a que estas columnas no existen en el dataframe del cual proviene la fila, por ejemplo el elemento result.loc[0, d] es NaN porque en el DataFrame df_1 no existe la columna d.

El argumento ignore_index=True genera un índice nuevo para el DataFrame resultante en lugar de conservar los índices de los DataFrames de origen df_1, df_2, df_3.

dataframes = [df_1, df_2, df_3]
result = pd.concat(dataframes, sort='False', keys=['A', 'B', 'C'])
result

Al usar el argumento keys el DataFrame resultante genera como índice las claves dadas a cada grupo de datos y otro para cada file (multi index), lo que permite acceder rápidamente a la información proveniente de cada DataFrame de origen

result.loc['A']

Dataframe.join( )¶

Método de un DataFrame que permite combinar las columnas de dos dataframe usando una columna y el índice del dataframe a unir.

df_1 = pd.DataFrame([[1, 2, 3], [2, 5, 4],[4, 2, 3]], columns=['a', 'b', 'c'])
df_2 = pd.DataFrame([[1, 5, 1], [7, 1, 4],[2, 6, 3]], columns=['m', 'd', 'e'])

En el siguiente ejemplo se mezclará el dataframe df_2, por su índice, en el dataframe df_1, tomando como referencia la columna a. la columna a tiene en común con el índice de df_2 los números 1 y 2, por tanto los elementos que estén en la misma fila que estos números estarán en el dataframe resultante.

df_join = df_1.join(df_2, on='a')

display_inline(df_1, df_2)
print('Join:')
df_join

Join:

El mismo resultado puede lograrse usando la función merge con las siguientes especificaciones:

pd.merge(df_1, df_2, left_on='a', right_index=True, how='left', sort=False)

pd.merge( )¶

Método que permite seleccionar una columna de forma independiente para cada dataframe, el índice o un conjunto de columnas de referencia para unir dos dataframes.

df_1 = pd.DataFrame([[1, 2, 3], [2, 5, 4],[4, 2, 3]], columns=['a', 'b', 'c'])
df_2 = pd.DataFrame([[1, 5, 1], [7, 1, 4],[2, 6, 3]], columns=['a', 'd', 'e'])

Combinación de los dataframe df_1y df_2 tomando como referencia la columna 'a'

df_merge = pd.merge(df_1, df_2, on='a')

display_inline(df_1, df_2)
print('Merge:')
df_merge

Merge:

Este merge toma solo las filas cuyos valores de la columna 'a' se encuentran en ambos DataFrame.

Si se quiere considerar todos los valores de la columna 'a' que no están en los dos dataframe, como el $3$ y $4$, usa el argumento how = 'outer'.

df_merge = pd.merge(df_1, df_2, on='a', how='outer')

display_inline(df_1, df_2)
print('Merge:')
df_merge

Merge:

Para tomar todos los valores de la columna en común de uno de los dataframe, se usan en el argumento how los métodos 'left' o 'right', para tomar todos los valores del primer o del segundo dataframe respectivamente.

df_merge = pd.merge(df_1, df_2, on='a', how='left')

display_inline(df_1, df_2)
print('Merge:')
df_merge

Merge:

df_merge = pd.merge(df_1, df_2, on='a', how='right')

display_inline(df_1, df_2)
print('Merge:')
df_merge

Merge:

Al realizar un merge de dos dataframe con varias columnas en común, que no son usadas como columna de merge, estas se renombran automáticamente, de forma que en el dataframe resultante no hay columnas con igual nombre.

df_1 = pd.DataFrame([[1,2,3], [2,5,4],[4,2,3]], columns=['a', 'b', 'c'])
df_2 = pd.DataFrame([[3,5,1], [1,1,4],[2,6,3]], columns=['a', 'd', 'c'])

df_merge = pd.merge(df_1, df_2, on='c')

display_inline(df_1, df_2)
print('Merge:')
df_merge

Merge:

Merge de dos dataframe por dos columnas¶

Para realizar un merge con dos columnas basta agregar en el argumento on una lista con los nombres de las columnas en común.

df_1 = pd.DataFrame([[1,2,5], [2,5,4],[4,2,3]], columns=['a', 'b', 'c'])
df_2 = pd.DataFrame([[3,5,1], [2,1,4],[2,6,3]], columns=['a', 'd', 'c'])

df_merge = pd.merge(df_1, df_2, on=['c', 'a'])

display_inline(df_1, df_2)
print('Merge:')
df_merge

Merge:

Por defecto el merge utiliza el argumento how='inner' por lo que las filas que no tienen los elementos en común son expluídas, para mantener estas filas en el dataframe resultante se utiliza how='outer'. Los valores que no que no son comunes se mostrarán como NaN.

df_merge = pd.merge(df_1, df_2, on=['c', 'a'], how='outer')

display_inline(df_1, df_2)
print('Merge:')
df_merge

Merge:

Las filas completas se deben a que ciumplen la condición dada en el merge: El valor de la columna a y c sean iguales. Por ejemplo la fila 1 del dataframe df_mergeestá completa puesto que el valor 2 en a y el valor 4 en c está en los dos dataframe en la misma fila.

El valor de df_merge.loc[0, d] es NaN por que el valor 1 en a y el valor 5 en c no están en los dos dataframe en la misma fila, entonces se agrega la columna d sin un valor.

Pygments¶

Librería que permite exportar código de python con formato (Syntax Highlighter) a HTML o latex

from pygments import highlight
from pygments.lexers import PythonLexer
from pygments.formatters import HtmlFormatter

Generar código python en un documento html

ejemplo_codigo = 'print "Corre lola, corre"'

# Argumentos (código, lexer, formato)
code_html = highlight(ejemplo_codigo, PythonLexer(), HtmlFormatter())

Resultado en el explorador:

print "Corre lola, corre"

Modificar el estilo del código¶

from pygments.lexers import get_lexer_by_name

ejemplo_codigo = 'print "Corre lola, corre"'

lexer = get_lexer_by_name("python", stripall=True)
formatter = HtmlFormatter(linenos=True, cssclass="source")
result = highlight(ejemplo_codigo, lexer, formatter)

Código generado:

<table class="sourcetable">
<tr>
    <td class="linenos">
        <div class="linenodiv">
            <pre>1</pre>
        </div>    
    </td>
    <td class="code">
        <div class="source">
            <pre>
            <span class="k">print</span> <span class="s">&quot;Corre lola, corre&quot;</span>
            </pre>
        </div>
    </td>
</tr>
</table>

1	print "Corre lola, corre"

Lexer¶

Los lexer dividen el código en fragmentos de tipos determinados como: comentarios, palabras clave, números, etc. A cada uno de estos grupos (tokens) se le puede dar un formato en específico y dependen directamente del tipo de lenguaje usado.

import pygments.lexers as pl

# Se obtiene el lexer para código Python
pl.get_lexer_by_name('python')

<pygments.lexers.PythonLexer>

Nombres de los lexers disponibles relacionados con python

python, py, sage
python3, py3
numpy
cython, pyx, pyrex (extensiones .pyx, .pxd, .pxi)
pycon (formato de salida de consola de python)

También se puede obtener un lexer a partir de un archivo:

# Se obtiene un lexer para código ruby
pl.get_lexer_for_filename('spam.rb')

<pygments.lexers.RubyLexer>

Crear estilo¶

Se debe crear una clase que hereda la clase Style del módulo pygments.style y se define en este un diccionario con las carácterísticas que se quieren editar como clave.

from pygments.style import Style
import pygments.token as pt

class MyStyle(Style):
    default_style = ""
    styles = {
        pt.Comment: 'italic #727272',
        pt.Keyword: 'bold #191966',
        pt.Name: '#f00',
        pt.Name.Function: '#0f0',
        pt.Name.Class: 'bold #0f0',
        pt.String: '#007F00'
    }

Algunos parámetros para modificar el estilo del código en el documento HTML

bold Negrita
nobold Sin negrita
italic Itálica o cursiva
noitalic No itálica o cursiva
underline Subrayado
nounderline No subrayado
bg: Fondo transparente
bg:#000000 Fondo color #000000 (negro)
border: Borde transparente
border:#ffffff Borde color #ffffff (blanco)
#ff0000 Color de texto #ff0000 (rojo)
noinherit No heredar estilo por defecto

Generar código con el nuevo estilo¶

# Código a agregar
ejemplo_codigo = '# Se imprime el nombre \nprint "Corre lola, corre"'

# Se agrega la clase MyStyle como el nuevo estilo a HtmlFormatter
formatter = HtmlFormatter(style=MyStyle)

# Se desactiva el uso del CSS por defecto
formatter.noclasses = True

code_html = highlight(ejemplo_codigo, PythonLexer(), formatter)

# Se imprime el nombre 
print "Corre lola, corre"

Exportar un archivo completo de python a HTML¶

Se crea el archivo de ejemplo sample.py con el siguiente código:

# Se generan datos de ejemplo, un dataframe de 4 columnas y 1000 filas
rnd_1 = [random.randrange(1,20) for x in xrange(1000)]
rnd_2 = [random.randrange(1,20) for x in xrange(1000)]
rnd_3 = [random.randrange(1,20) for x in xrange(1000)]
fecha = pd.date_range('2012-4-10', '2015-1-4')

data = pd.DataFrame({'fecha':fecha, 'rnd_1': rnd_1, 'rnd_2': rnd_2, 'rnd_3': rnd_3})

Desde consola, en el mismo directorio del archivo creado se ejecuta:

pygmentize -f html -O full -o sample.html sample.py

-f html es para crear un archivo html de nombre sample.html a partir del archivo sample.py
-O full crea un archivo html completo (estructura head, body) y estilo (código css). Sin esta opción solo transcribe el texto contenido en sample.py

Expresiones regulares¶

La librería de expresiones regulares de Python (RE), contiene operaciones de comparación de texto, puede encontrar fragmentos o patrones de tipo string o unicode. Generalmente se usa el símbolo " \ " (backslash) para indicar caracteres especiales. Un ejemplo de estos caracteres es "\n" que representa una nueva línea en un texto:

print "Este caracter \nparte la línea en 2"

Este caracter 
parte la línea en 2

# Importación de la librería de expresiones regulares en Python
import re

search¶

Para buscar determinado fragmento de texto dadas ciertas condiciones se usa el método search contenido en la librería re. Este método requiere de dos argumentos un patrón y el texto en el que se realiza la búsqueda. Al imprimir el resultado se ve que es un objeto tipo '_sre.SRE_Match'. Si no encuentra el patrón el resultado de la búsqueda es None

result = re.search('ins', 'Vasili Kadinsky')
print result
print type(result)

<_sre.SRE_Match object at 0x7f32ee686578>
<type '_sre.SRE_Match'>

result = re.search('arac', 'Caravaggio')
print result

None

Para ver el valor contenido en este objeto, en caso de encontrado el patrón, se usa el método group, que arroja el valor del patrón buscado.

result = re.search('ins', 'Vasili Kadinsky')
print result.group()

ins

Es posible hacer búsquedas con un patrón que dependa del texto alrededor de este, por ejemplo, se busca el patrón 'ins' nuevamente pero esta vez debe estar seguido de dos letras minúsculas. Para indicar cada letra siguiente se usa la expresión regular " \w ". Si se requiere una bśuqueda en al que las letras continuas sean mayúsculas se usa " \W ".

result = re.search('ins\w\w', 'Vasili Kadinsky')
print result.group()

insky

findall¶

Permite realizar búsquedas de un patrón en un string al igual que la función search, la diferencia es que search devuelve la primera coincidencia y findall encuentra todas las coincidencias

texto = u"Ella, ansiosa, Vuela y posa, En su palma sonrosada, Y allí mismo, ya saciada, Y de gozo temblorosa"
# El patrón describe un caracter con letras o números que terminen en rosa
# Uso del '+' en la siguiente sección *Repetición de patrones*
result = re.search('\w+rosa', texto)
print result.group()

sonrosa

result = re.findall('\w+rosa', texto)
print result

[u'sonrosa', u'temblorosa']

Expresiones regulares¶

Estas expresiones regulares hacen parte de un grupo de patrones básicos y su significado dentro de estos:

\w : abecedario en letras minúsculas, los números naturales y el guión bajo [a-z, 0-9, _]. Para las letras mayúsculas se usa \W.
. Cualquier carácter diferente a \n
\s Carácter de espacio: \n nueva línea, \t tabulación.
\d Números naturales.
^ reconoce el comienzo de un string
$ reconoce el final de un string
? reconoce el fragmento de string con o sin el carácter a su izquierda
{a} reconoce un fragmento con a repeticiones del carácter a su izquierda
[abc] Indica un conjunto de posibles coincidencias, en este caso puede concidir con 'a', 'b' o 'c'

texto = u'En la memoria tendré presente el horrible día'

# El punto reconoce cualquier carácter excepto \n (nueva línea)
result = re.findall('.en', texto)
print result

[u'ten', u'sen']

# Cada punto agrega un nuevo caracter al segmento de string encontrado
result = re.findall('..en', texto)

# Note que en el primer segmento el nuevo carácter es un espacio
print result

[u' ten', u'esen']

# \s reconoce todo tipo de carácteres de espacio
result = re.findall('\shorrible', texto)
print result

[u' horrible']

# No se reconoce el fragmento 'ente' porque, a pesar de que esta presente 
# en el texto, no está precedido por un espacio
result = re.findall('\sente', texto)
print result

[]

texto = 'Ima Sumac'

# ^ Reconoce el inicio de un string
result = re.findall('^I..', texto)
print result

['Ima']

# $ reconoce el final de un string
result = re.findall('..c$', texto)
print result

['mac']

Puede indicarse el fin del string sin decir exactamente algunos carácteres

result = re.findall('m..$', texto)
print result

['mac']

texto = 'despiert o despierto'

# Encuentra el segmento de string con o sin la *o* que tiene el símbolo
result = re.findall('despierto?', texto)
print result

['despiert', 'despierto']

texto = "ABBDDDEAEEABDCCBDDC"
# Se busca un fragmento en el que la D se repita 3 veces y sea precedida de la letra B
result = re.findall('BD{3}', texto)
print result

['BDDD']

También es posible dar un rango para el número de repeticiones

# Se busca un fragmento en el que la D se repita de 1 a 3 veces y sea precedida de la letra B
result = re.findall('BD{1,3}', texto)
print result

['BDDD', 'BD', 'BDD']

texto = 'Me gusta la pera pero como muchas manzanas'

# Encuentra fragmentos que comiencen en *per* y terminen en *a* o *o*
result = re.findall('per[ao]', texto)
print result

['pera', 'pero']

Repetición en los patrones¶

' + '¶

Reconoce 1 ó más repeticiones del caracter que se encuentre a la izquierda de este símbolo.

Si el patrón es 'm\w+', este busca la palabra que contenga una m y que seguida de esta hayan caracteres de tipo \w (a-z, 0-9, _). En este caso devuelve el string desde la m hasta un caracter que no sea de tipo \w

texto = "Hermann Melville"
# Se busca un string que comience por "He" y que le sigan caracteres de tipo \w
result = re.search('^He\w+', texto)
print result.group()
Hermann

# Se busca un string que termine en "lle" y que le antecedan caracteres de tipo \w
result = re.search('\w+lle$', texto)
print result.group()
Melville

' * '¶

Reconoce 0 ó más repeticiones del caracter que se encuentre a la izquierda

Si el patrón es 'AB', este reconoce 'A' y 'AB' con la cantidad de B* consecutivas que hayan en el string

texto = "ABBABDDDEAEECCC"
# Se busca un fragmento de string que sea A o que comience por A y sea seguido por B
result = re.findall('AB*', texto)
print result
['ABB', 'AB', 'A']

Combinaciones y generación de otros patrones¶

texto = 'La vida interior de Martin Frost'

result = re.findall('in*', texto)
print result

['i', 'in', 'i', 'in']

Pero al agregar ' ? ' al patrón el resultado será fragmentos de string que cumplan la condición pero con la menor longitud posible. En este caso el patrón ' in* ' encuentra ' i ' e ' i ' seguido de cuantos ' n ' haya en el string, por lo que al buscar con el patrón ' in*? ' el fragmento con menor longitud es ' i '. Se puede aplicar la misma lógica a comibaciones como ' +? ', '{a, b}? ' y ' ?? '.

result = re.findall('in*?', texto)
print result

['i', 'i', 'i', 'i']

texto = 'La vida interior de Martin Frost'

Encuentra un segmento de texto solo si es seguido por lo indicado en el paréntesis en este caso ' Frost'

result = re.findall('.+Martin(?= Frost)', texto)
print result

['La vida interior de Martin']

Lo contrario a lo anteriror es con el símbolo ' ! '. Encuentra en texto solo si no es seguido por lo indicado en el paréntesis

result = re.findall('.+Martin(?!Rogelio)', texto)
print result

['La vida interior de Martin']

También es posible encontrar fragmentos de un string indicando lo que le precede con esta sintaxis. En el paréntesis se indica que caracteres debe ir antes.

# Encuentra un string solo si es precedido por 'La '
result = re.findall('(?<=La )vida interior.+', texto)
print result

['vida interior de Martin Frost']

La negación es igualmente con el signo ' ! '

# Encuentra un string solo si no es precedido por 'La '
result = re.findall('(?<!La )vida interior.+', texto)
print result

[]

Búsqueda de caracteres usados como patrón¶

Caracteres que no pueden ser usados como patrón, puesto que son reservados para describirlos:

. ^ $ * + ? { [ ] \ | ( )

Para utilizar estos símbolos como parte de un patrón de búsqueda deben ser precedidos por el backslash " \ "

texto = "Qué es esto?"
print texto

Qué es esto?

Al buscar el caractér si el backslash la salida no corresponde al patrón buscado, puesto que este realiza la operación dada por ser una expresión regular.

result = re.search('o\?', texto)
print result.group()

o?

sub¶

Este método permite sustituir fragmentos de un string mediante un patrón y una función. Por ejemplo en la frase "We die in proportion to the words we fling around us" Se reemplazarán las palabras que comiencen por la letra ' w ' o ' W ' por la misma palabra en mayúscula.

Se importa la librería locale y se especifica la región para que se reconoczca dentro de los patrones los caracteres especiales del español, como la ñ y las letras tildadas, como letras.

frase = "We die in proportion to the words we fling around us"

# se revisa primero con el método re.findall que el patrón seleccionado sea el correcto
re.findall('[wW]\w+', frase)

['We', 'words', 'we']

re.sub('[wW]\w+', lambda x: x.group().upper(), frase)

'WE die in proportion to the WORDS WE fling around us'

	a	b	c	m	d	e
0	1	2	3	7.0	1.0	4.0
1	2	5	4	2.0	6.0	3.0
2	4	2	3	NaN	NaN	NaN

	a	b	c	m	d	e
0	1	2	3	7.0	1.0	4.0
1	2	5	4	2.0	6.0	3.0
2	4	2	3	NaN	NaN	NaN

	a	b	c	d	e
0	1	2.0	3.0	5.0	1.0
1	2	5.0	4.0	6.0	3.0
2	4	2.0	3.0	NaN	NaN
3	7	NaN	NaN	1.0	4.0

	a	b	c	d	e
0	1	2	3	5.0	1.0
1	2	5	4	6.0	3.0
2	4	2	3	NaN	NaN

	a	b	c	d	e
0	1	2.0	3.0	5	1
1	2	5.0	4.0	6	3
2	7	NaN	NaN	1	4

Combinar dataframes usando pandas

pd.concat( )¶

Dataframe.join( )¶

pd.merge( )¶

Merge de dos dataframe por dos columnas¶

pygments

Pygments¶

Modificar el estilo del código¶

Lexer¶

Crear estilo¶

Generar código con el nuevo estilo¶

Exportar un archivo completo de python a HTML¶

Expresiones regulares

Expresiones regulares¶

search¶

findall¶

Expresiones regulares¶

Repetición en los patrones¶

' + '¶

' * '¶

Combinaciones y generación de otros patrones¶

Búsqueda de caracteres usados como patrón¶

sub¶

Sobre Pyciencia

Entradas populares

Labels

Datos personales

Blog Archive

Seguidores

DELTA LAB

	a	b	c	d	e
0	1	2.0	3.0	NaN	NaN
1	2	5.0	4.0	NaN	NaN
2	4	2.0	3.0	NaN	NaN
3	3	NaN	NaN	5.0	1.0
4	1	NaN	NaN	1.0	4.0
5	2	NaN	NaN	6.0	3.0
6	6	NaN	NaN	5.0	3.0
7	3	NaN	NaN	4.0	3.0
8	1	NaN	NaN	7.0	5.0

		a	b	c	d	e
A	0	1	2.0	3.0	NaN	NaN
	1	2	5.0	4.0	NaN	NaN
	2	4	2.0	3.0	NaN	NaN
B	0	3	NaN	NaN	5.0	1.0
	1	1	NaN	NaN	1.0	4.0
	2	2	NaN	NaN	6.0	3.0
C	0	6	NaN	NaN	5.0	3.0
	1	3	NaN	NaN	4.0	3.0
	2	1	NaN	NaN	7.0	5.0

	a_x	b	c	a_y	d
0	1	2	3	2	6
1	4	2	3	2	6
2	2	5	4	1	1

	a	b	c	d	e
0	1	2.0	3.0	NaN	NaN
1	2	5.0	4.0	NaN	NaN
2	4	2.0	3.0	NaN	NaN
3	3	NaN	NaN	5.0	1.0
4	1	NaN	NaN	1.0	4.0
5	2	NaN	NaN	6.0	3.0
6	6	NaN	NaN	5.0	3.0
7	3	NaN	NaN	4.0	3.0
8	1	NaN	NaN	7.0	5.0

		a	b	c	d	e
A	0	1	2.0	3.0	NaN	NaN
	1	2	5.0	4.0	NaN	NaN
	2	4	2.0	3.0	NaN	NaN
B	0	3	NaN	NaN	5.0	1.0
	1	1	NaN	NaN	1.0	4.0
	2	2	NaN	NaN	6.0	3.0
C	0	6	NaN	NaN	5.0	3.0
	1	3	NaN	NaN	4.0	3.0
	2	1	NaN	NaN	7.0	5.0

	a	b	c	d	e
0	1	2.0	3.0	NaN	NaN
1	2	5.0	4.0	NaN	NaN
2	4	2.0	3.0	NaN	NaN
3	3	NaN	NaN	5.0	1.0
4	1	NaN	NaN	1.0	4.0
5	2	NaN	NaN	6.0	3.0
6	6	NaN	NaN	5.0	3.0
7	3	NaN	NaN	4.0	3.0
8	1	NaN	NaN	7.0	5.0

		a	b	c	d	e
A	0	1	2.0	3.0	NaN	NaN
	1	2	5.0	4.0	NaN	NaN
	2	4	2.0	3.0	NaN	NaN
B	0	3	NaN	NaN	5.0	1.0
	1	1	NaN	NaN	1.0	4.0
	2	2	NaN	NaN	6.0	3.0
C	0	6	NaN	NaN	5.0	3.0
	1	3	NaN	NaN	4.0	3.0
	2	1	NaN	NaN	7.0	5.0