¿Puedes explicar qué es el GIL y qué protege en realidad?

El Global Interpreter Lock es un mutex de CPython que deja ejecutar bytecode de Python a un solo hilo a la vez, y protege el estado del intérprete, como los contadores de referencias y las estructuras internas de los objetos. Eso significa que los hilos no te dan aceleración en paralelo para código Python con carga de CPU, pero sí ayudan con la E/S, porque el lock se libera durante las llamadas bloqueantes y durante el trabajo de las extensiones en C.

El GIL es un único lock de CPython que garantiza que solo un hilo ejecute bytecode de Python en cada momento. Existe porque el conteo de referencias no es seguro entre hilos, y un lock por objeto sería más lento para el caso de un solo hilo, que es donde vive la mayor parte del código. En la práctica, eso significa que los hilos son estupendos para esperar e inútiles para calcular. En un pipeline de datos en el que trabajé teníamos un paso que descargaba unas ochocientas URLs, y pasarlo de un bucle en serie a un thread pool lo bajó de unos nueve minutos a menos de uno, porque cada worker se pasa la vida bloqueado en un socket y suelta el lock mientras espera. El paso de parseo que venía al lado no mejoró nada, así que ese lo movimos a un process pool. Numpy y otras extensiones en C también sueltan el lock dentro de llamadas nativas largas, y por eso la matemática pesada con arrays puede parecer paralela incluso con hilos. Cuando alguien me dice que Python no puede con la concurrencia, suelo preguntarle a qué tipo se refiere.