Ready to go parallel process implementation for functions with more than one argument

multiprocessing_multivariable.py

from multiprocessing.pool import Pool
from functools import partial
import time

n_processes = 3

def func(extra, t):
    time.sleep(t + extra)
    print('t', t, 'extra', extra)
    
def func_generic(tupl):
    print('t', tupl[0], 'extra', tupl[1])

# Fixed Extra Variable
times = [1,2,3]
extra = 1

with Pool(n_processes) as p:
    p.map(partial(func, extra), times)
    
# Multiple Extra Variables
times = [1,2,3]
extras = [4,5,6] 

with Pool(n_processes) as p:
    p.map(partial(func_generic), zip(times, extras))

O nome func_dynamic_extra está um pouco confuso. Poderia ser dynamic_args_func e fixed_and_dynamic_args_func

Além disso, por que voce define a segunda função com somente arg? Não funciona func_dynamic_extra(extra, times)?

Então, não rola pq vc está passando uma tupla para a função, zip(times, extra).

Não consegui encontrar outra maneira.

def func_dynamic_extra(args_tuple):
    (t, extra) = args_tuple

    time.sleep(t + extra)
    print('t', t, 'extra', extra)

Talvez não seja o ideial, mas facilita a leitura

def func_dynamic_extra(t, extra):
    time.sleep(t + extra)
    print('t', t, 'extra', extra)

with Pool(n_processes) as p:
    p.map(lambda t: func_dynamic_extra(*t), zip(times, extras))

Não funcionaria desse jeito??

Funciona sim, atualizei com a sugestão :)

Na real, precisa do partial sim pq o lambda não é um objeto que suporta pickle