Estimación del tiempo de ejecución con timeit¶

El tiempo de ejecución de un algoritmo puede dar un estimado de que tan óptimo es nuestro código y permite establecer prioridades entre funciones que realizan las mismas acciones.

Uso del timeit¶

timeit es una función dentro del módulo timeit
Documentación: https://docs.python.org/2/library/timeit.html

Argumentos:¶

stmt = función o string con el código que se quiere evaluar.
setup = string con importación de la función (si stmt es un string) y argumentos de la función.
timer = Usa el método time de la librería time para estimar los segundos transcurridos.
number = Número de repeticiones que se ejecuta el algoritmo para realizar la estimación. por defecto = 1000000.

timeit sobre una línea de código¶

En el post de listas por comprensión se mostró una forma de crear listas a partir de bucles evitando la función map. Ahora se estima el tiempo de ejecución para cada función. Se crea una lista con los elementos del 0 al 3 y se elevan al cuadrado:

En este caso con un tiempo estimado, con 1000 repeticiones, se muestra que el método de listas por comprensión es casi el doble de rápido que la función map.

Líneas que requieren importación de código o variables definidas en el algoritmo¶

se importa la librería numpy

Se importa el mismo archivo que se ejecuta y de este se toma la variable a. De igual forma se puede acceder a funciones.

timeit sobre funciones¶

Cuando la función no tiene argumentos se puede escribir directamente como argumento en timeit.timeit

Se importa el mismo archivo que se ejecuta y se importa la función aumento y la variable dato.

Se puede crear una instancia de la clase Timer y posteriormente estimar tiempos de ejecución especificando las repeticiones para el código y para el timer

Métodos timeit y repeat de la clase Timer¶

Clase timeit.Timer()

Se crea time como una instancia de Timer para la función aumento

Ahora se estima el tiempo una sola vez para 10 repeticiones del código

Con el método repeat se realizan 5 repeticiones del timer y 10 repeticiones del código para cada repetición del timer

Merge de dataframes¶

La función merge es usada para combinar dataframe con una o mas columnas en común.

Merge de dos dataframe por una columna¶

Se construyen dos dataframe a partir de una columna en común

Ahora, se combinan a partir de esta columna

Este merge toma solo las filas cuyos valores de a se encuentran en ambos dataframe, si se quiere considerar todos los valores de la columna en común se usa el argumento how = 'outer'. Los valores de las columas cuyo dato no es común en a se llena con NaN.

Para tomar todos los valores de la columna en común de uno de los dataframe, se usan en el argumento how los métodos 'left' o 'right', para tomar todos los valores del primer o del segundo dataframe respectivamente.

Merge de dos dataframe que tienen varias columnas en común¶

Al realizar un merge de dos dataframe con varias columnas en común, que no son usadas como columna de merge, estas se renombran automáticamente, de forma que en el dataframe resultante no hay columnas con igual nombre.

Orden dataframe¶

El atributo sort organiza el dataframe de forma lexicográfica.

Merge de dos dataframe por dos columnas¶

Para realizar un merge con dos columnas basta agregar en el argumento on una lista con los nombres de las columnas en común.

Uso de *args y **kwargs¶

La principal diferencia entre *args y **kwargs es que la primera representa una tupla con los elementos en el orden de entrada establecido por la función y **kwargs es un diccionario en dónde las claves tienen igual nombre a los argumentos de la función.

Los nombres args y kwargs son solo convención, estos se pueden renombrar como se desee.

Como entrada de argumentos a una función preestablecida¶

Se define una función sencilla cuyo objetivo es restar dos números. La función resta toma como argumentos de entrada la variable a y la variable b y devuelve el valor de a-b

Se puede definir ahora los argumentos de entrada como una tupla o una lista, teniendo en cuenta que importa el orden de estos. El primer valor de args corresponde al valor del primer argumento de la función. Con éste método no importa que nombre tengan los argumentos de la función.

Ahora se definen los argumentos de entrada de la función como un diccionario, en este caso no importa el orden en que se ingresen a este, pero las claves de éste deben tener el mismo nombre que los argumentos de la función.

Para definir los argumentos de una función¶

Una función definida solo con el argumento *args puede tener cualquier número de argumentos de entrada, incluso ninguno. Dentro de la función se reciben los argumentos como componentes de una tupla.

Por ejemplo, se crea una función que suma todos los argumentos, independiente de su valor y de la cantidad de estos

Una función con solo el argumento **kwargs puede recibir cualquier cantidad de argumentos de entrada, la diferencia con args es que este requiere un nombre para cada argumento que se ingrese a la función. Dentro de la función se reciben todos los argumentos como elementos de un diccionario.

Se crea una función que muestra datos personales

En caso de que se requieran muchos argumentos de entrada se recomienta crear un diccionario

Es posible usar tanto *args como **kwargs en una misma función:

Trabajar con datos NaN en dataframe¶

Se crea un dataframe con datos vacíos para generar los NaN, en este caso se agregan datos tipo None a la lista, que es el equivalente a leer un archivo de Excel o de un csv en los que faltan valores.

Reconocer los valores NaN¶

Con este comando devuelve una tabla booleana con True si el valor es un NaN o False si no lo es.

Eliminar todos los NaN del dataframe¶

Este comando elimina todas las filas que contengan un valor NaN

Rellenar NaN del dataframe¶

Asignando un valor¶

Es posible dar un valor específico a los NaN. En la siguiente línea se reemplazan todos los NaN por 3

Reemplazar los NaN con el valor promedio de cada columna:

Con los valores vecinos¶

Reemplazar los NaN con el valor anterior o posterior del NaN: 'pad' para reemplazarlo con el valor anterior y 'bfill' con el posterior. Se reemplazan todos los NaN, pero se puede establecer un límite según la distancia de este con el último dato del dataframe. Esta distancia se especifica en limit:

Sin el límite:

Interpolando¶

Para reemplazar los NaN interpolando con el resto de datos conocidos se usa la función interpolate:

Otros métodos de interpolación
method : ‘linear’, ‘time’, ‘index’, ‘values’, ‘nearest’, ‘zero’, ‘slinear’, ‘quadratic’, ‘cubic’, ‘barycentric’, ‘krogh’, ‘polynomial’, ‘spline’ ‘piecewise_polynomial’, ‘pchip’.

Método conciso de construcción de listas a partir de bucles y/o condicionales evitando el uso de funciones como map() y filter(). Su implementación se describe en la guía PEP 202

Creado: Abril 3 de 2015
Modificado: Noviembre 11 de 2018
Testeado en Python 3.6.4

Se crea una lista con el cuadrado de los números del 0 al 5:

Crear listas como resultado de operaciones con otra lista:

Condicionales¶

Una manera concreta de filtrar elementos de una lista es utilizando el método de comprensión con un condicional. Dada una lista tomemos solo los valores mayores a 40

También es posible realizar una operación al tiempo que se realice el filtro, por jemplo si se requieren los números mayores a 40 divididos por 100

De igual manera se puede implementar un condicional con diferentes acciones dependiendo si cumple o no la condición. Tomando una lista de nombres de animales se convertiran en mayúscula si comienzan por p y se escribe al revés el nombre en caso contrario:

Bucles anidados¶

Para la creación de listas que requiera de mas de un bucle es posible anidarlos, veamos la creación de una lista mediate el método append() y el uso de dos for anidados:

Ahora, si se construye la lista por comprensión equivale a:

Bucles anidados y condicionales¶

Se tiene la base de datos dispuesta en listas, en donde cada lista equivale a un salón de clase y se requiere obtener los nombres de los estudiantes cuyos nombres no superen las 5 letras

Operaciones sobre groupby¶

Agrupar datos de un dataframe¶

Se agrupan los datos con los elementos de la columna a

Ahora en group_a se tiene un nombre y un dataframe por cada elemento, sin repetir, de la columna a. El nombre equivale a los valores en a.

Iterar sobre un groupby¶

Los datos en group_a se encuentran como una tupla (nombre, datos), por lo que se itera sobre dos variables:

Obtener datos por el nombre¶

Se sabe que los nombres de cada grupo son los valores de la columna a sin repetir: 2, 3 y 4. Se puede obtener los datos con el nombre con el método get_group.

Funciones sobre groupby¶

Usando el método apply se puede aplicar una función sobre un groupby y optener nuevamente un dataframe. Por ejemplo si se requiere calcular la suma de los valores de cada grupo:

Se puede aplicar sobre los grupos una función previamente creada. Se aplica una función llamada suma_rara que suma las columnas b y c de cada grupo y de ese resultado toma el menor valor a cada grupo.

Método agg¶

Se usa cuando se requiere un dataframe con valores específicos del grupo, por ejemplo para cada grupo de a se toma el primer valor de b y el último de c

Se pueden tomar en cada grupo mas de un valor por cada columna, en este caso se toma el promedio de los valores de b, el máximo de los valores de b y el mínimo de los valores de c de cada grupo: