/* Python built-in list */
typedef struct {
PyObject_VAR_HEAD
/* Vector of pointers to list elements. list[0] is ob_item[0], etc. */
PyObject **ob_item;
Py_ssize_t allocated;
} PyListObject;
indexing을 통해 하나씩 접근하는 것이 아니라, numpy에서 제공하는 별도의 operator를 사용하는 것이 중요하다.
만약 numpy에서 제공하지 않는 자체 함수를 사용해야 하는 경우, apply_along_axis() 와 같은 함수를 사용하면 그냥 for loop을 돌리는 것보다는 우수한 성능을 보일 때도 있습니다.
하지만 이 또한 pure-python 레벨에서 로직을 수행하는 것이므로 성능 향상을 최대로 가져가려면 최대한 vectorize된 operator를 활용하는 것이 좋겠죠.
list, array, numpy ndarray의 직렬화 성능 비교
예를 들어 배열에 담긴 값을 DB에 저장하거나 페이로드에 담아 보낼때 binary 데이터로 변환이 필요할 수 있습니다.
이때 array나 ndarray의 경우 이미 연속적인 메모리 공간에 binary 형태로 값이 저장되어 있기 때문에 값을 단순히 읽거나 copy해주면 되지만, list의 경우 메모리 공간 곳곳에 흩어져있는 각각의 값을 읽은 다음 이를 binary로 변환까지 거쳐야 하기 때문에 훨씬 느립니다.
Python에서 널리 사용되는 직렬화/역직렬화 패키지 중 하나인 marshal을 이용해 marshal(직렬화), unmarshal(역직렬화) 성능을 비교해보겠습니다.
import timeit
import array
import numpyas np
import pickle
import marshal
import random
N= 10000# number of elements in the array
M= 1000# number of iterations
# Initialize the arrays
my_list= [random.random()for _in range(N)]
my_list_enc= marshal.dumps(my_list)
my_array= array.array('f', my_list)
my_array_enc= marshal.dumps(my_array)
my_ndarray= np.array(my_list, dtype=np.float32)
my_ndarray_enc= marshal.dumps(my_ndarray)
deftest_list_marshal():
marshal.dumps(my_list)
deftest_list_unmarshal():
marshal.loads(my_list_enc)
deftest_array_marshal():
marshal.dumps(my_array)
deftest_array_unmarshal():
marshal.loads(my_array_enc)
deftest_ndarray_marshal():
marshal.dumps(my_ndarray)
deftest_ndarray_unmarshal():
marshal.loads(my_ndarray_enc)
# Perform the benchmarks
list_marshal_time= timeit.timeit(test_list_marshal, number=M)
array_marshal_time= timeit.timeit(test_array_marshal, number=M)
ndarray_marshal_time= timeit.timeit(test_ndarray_marshal, number=M)
list_unmarshal_time= timeit.timeit(test_list_unmarshal, number=M)
array_unmarshal_time= timeit.timeit(test_array_unmarshal, number=M)
ndarray_unmarshal_time= timeit.timeit(test_ndarray_unmarshal, number=M)
...
[marshal]
list: 131.2 ms
array: 0.8 ms
ndarray: 1.9 ms
[unmarshal]
list: 155.4 ms
array: 0.9 ms
ndarray: 0.9 ms
⇒ marshal과 unmarshal 결과를 보면 list와 array, ndarray 사이에 상당한 속도 차이가 있습니다. 특히 list의 경우 다른 두 방식과 직렬화/역직렬화 시간이 무려 80~160배나 차이가 납니다. (다른 직렬화 패키지인 pickle을 사용하더라도 비슷한 결과를 관찰할 수 있습니다)
⇒ 이는 list의 경우 메모리공간 여기 저기에 흩어져 있는 데이터들을 취합해야 할 뿐만 아니라, 각각의 요소에 대해 data type을 확인한 뒤에 바이너리로 변환해야 해서 추가적인 overhead가 발생하기 때문으로 보입니다.
