파이썬 멀티프로세싱을 활용한 병렬 프로그래밍 방법

📁 병렬 프로그래밍

병렬 프로그래밍은 CPU가 싱글 코어가 아닌 멀티 코어 컴퓨터 환경에서 여러 개의 작업을 보다 빨리 실행하기 위한 목적으로 개발되는 프로그래밍이다. 

 

💾 병렬 프로그래밍을 구현하는 방법

1️⃣ 멀티프로세싱(Multiprocessing)

여러 개의 프로세스를 동시에 실행하여 병렬 처리를 구현한다. 각 프로세스는 독립적으로 실행되며, 서로 메모리 공간을 공유하지 않으므로 프로세스 간 통신(IPC)가 필요하다. 

멀티 프로세싱은 CPU 코어를 여러 개 활용할 수 있어 멀티코어 시스템에서 성능을 크게 향상시킬 수 있으며, 각 프로세스가 독립적으로 실행되므로 다른 프로세스와 충돌 없이 안전하게 실행할 수 있다. 

 

2️⃣ 멀티스레딩(Multithreading)

하나의 프로세스 내에서 여러 스레드를 생성하여 병렬로 작업을 수행한다. 스레드는 같은 메모리 공간을 공유하므로, 스레드 간 동기화가 필요할 수 있다. 주로 경량화된 병렬 처리를 위해 사용하며 프로세스보다 메모리 비용이 적고, 빠른 컨텍스트 스위칭이 가능하다.

 

3️⃣ 비동기(Asychronous)

비동기 프로그래밍은 작업을 병렬로 수행하는 것처럼 보이지만 실제로는 단일 스레드에서 작업을 비동기적으로 처리하는 방식이다. 작업을 블로킹 없이 수행하며 콜백 또는 프로미스를 사용하여 작업 완료 시 결과를 처리한다. 주로 IO 작업에서 성능을 최적화할 수 있으며 여러 작업을 동시에 기다릴 수 있다. 

 

---

📁 파이썬의 병렬 프로그래밍

파이썬에서는 위의 3가지 방식을 활용하여 병렬 프로그래밍을 구현할 수 있다. 

 

1️⃣ 멀티스레딩

파이썬에서 멀티스레딩은 threading 모듈을 사용하여 구현한다. 멀티스레딩은 하나의 프로세스 내에서 여러 스레드를 생성하여 동시에 작업을 처리하는 방식이다. 각 스레드는 동일한 메모리 공간을 공유하며, CPU 자원을 동시에 사용하는 것처럼 보인다. 그러나 파이썬은 GIL(Global Interpreter Lock) 때문에 멀티 스레딩을 사용한 병렬 처리는 CPU 바운드 작업에 대해서는 성능 향상이 크지 않다. 

GIL은 인터프리터가 여러 매 순간 1개의 쓰레드만 실행할 수 있게 한다. 결국 파이썬의 멀티스레딩은 병렬적이 아니라 동시적으로 실행되는 것이다. 멀티 스레딩은 주로 I/O 바운드 작업(예: 파일 읽기/쓰기, 네트워크 요청 등)에 사용한다. 

** 파이썬의 GIL 관련 자료는 맨 아래 참고자료를 통해 내용을 확인할 수 있다. 다음에는 파이썬의 GIL에 대해 상세히 포스팅해 볼 예정이다.

 

2️⃣ 멀티프로세싱

멀티프로세싱은 multiprocessing 모듈을 사용하여 여러 개의 프로세스를 생성하고 병렬 처리를 수행한다. 각 프로세스는 독립적인 메모리 공간을 가지고 있기 땜누에 GIL의 영향을 받지 않는다. CPU 바운드 작업(복잡한 계산, 이미지 처리 등)에서 성능 향상을 크게 기대할 수 있다. 

 

3️⃣ 비동기 프로그래밍

비동기 프로그래밍은 asyncio 모듈을 사용하여 I/O 작업을 비동기적으로 처리할 수 있다. 이는 멀티스레딩이나 멀티프로세싱과는 달리 단일 스레드에서 비동기적으로 여러 작업을 처리할 수 있게 해준다. 비동기 작업은 주로 I/O 바운드 작업에서 성능 향상이 크다. 

 

---

 

📁 파이썬 멀티프로세싱

CPU 바운드 작업을 주로 진행하는 프로그램을 멀티프로세싱을 통해 병렬 처리 하여 성능을 끌어올리려 한다. 파이썬의 멀티프로세싱 방법에 대해 알아보자.

 

파이썬의 multiprocessing 모듈은 threading 모듈과 유사한 API를 사용하여 프로세스를 생성할 수 있도록 지원하는 패키지이다. multiprocessing 패키지는 로컬 및 원격 동시성을 제공하며, 스레드 대신 서브프로세스를 사용하여 GIL을 우회한다. 이로 인해 multiprocessing 모듈은 주어진 머신에서 여러 프로세서를 완전히 활용할 수 있게 해주며, Unix와 윈도우에서 모두 실행 가능하다. 

 

multiprocessing 모듈은 Pool 객체를 제공한다. Pool 객체는 여러 입력 값에 대해 함수 실행을 병렬화할 수 있는 편리한 방법을 제공한다. 입력 데이터를 프로세스에 분배하여 데이터 병렬성을 처리한다. 

 

☑ Pool을 사용한 데이터 병렬성의 기본 예시

from multiprocessing import Pool

def f(x):
  return x*x

if __name__ == '__main__':
  with Pool(5) as p: # 5개의 프로세스를 가진 프로세스 풀 생성
  	# 입력 리스트 [1,2,3]에 있는 각 값에 대해 f를 병렬로 실행
    # f(1), f(2), f(3)이 각각 다른 프로세스에서 실행
    print(p.map(f, [1,2,3])) # [1,4,9] 출력

 

☑ Process 생성

멀티프로세싱에서는 Process 객체를 생성한 후, 그 객체의 start() 메서드를 호출하여 프로세스를 생성한다.  

from multiprocessing import Process
import os

def info(title):
  print(title)
  print('module name:', __name__)
  print('parent process:', os.getppid())
  print('process id:', os.getpid())

def f(name):
  info('function f')
  print('hello', name)

if __name__ == '__main__':
  info('main line')
  p = Process(target=f, args=('bob',))
  p.start()
  p.join()

 

main line
module name: __main__
parent process: 101488
process id: 101493
function f
module name: __main__
parent process: 101493
process id: 101497
hello bob

 

 

💾 파이썬 멀티프로세싱 프로세스 시작 방법

파이썬의 멀티프로세싱은 프로세스를 시작하는 세 가지 방법을 지원한다. 

 

1️⃣ spawn

부모 프로세스는 새 Python 인터프리터 프로세스를 시작한다. 자식 프로세스는 해당 프로세스 객체의 run() 메서드를 실행하는 데 필요한 리소스만 상속 받는다. 특히 부모 프로세스의 불필요한 파일 디스크립터와 핸들은 상속되지 않는다. 이 방법을 사용하여 프로세스를 시작하는 것은 fork나 forkserver를 사용하는 것보다 상당히 느리다. 

Unix와 Windows에서 지원되며 Windows와 macOS에서 기본값으로 사용된다. 

 

2️⃣ fork

부모 프로세스는 os.fork()를 사용하여 Python 인터프리터를 포크한다. 자식 프로세스는 시작할 때 사실상 부모 프로세스와 동일하다. 부모의 모든 리소스가 자식 프로세스에 상속된다. 멀티스레드 프로세스를 안전하게 포크하는 것은 문제가 될 수 있음을 유의해야 한다. 

Unix 전용으로 사용되며, Unix에서 기본값으로 사용된다. 

 

3️⃣ forkserver

프로그램이 시작되면 forkserver 시작 방법을 선택하여 서버 프로세스가 시작된다. 그 이후 새로운 프로세스가 필요할 때마다 부모 프로세스는 서버에 연결하여 새로운 프로세스를 포크하도록 요청한다. 포크 서버 프로세스는 단일 스레드로 실행되므로 os.fork()를 사용하는 것이 안전하다. 불필요한 리소스는 상속되지 않는다. 

Unix 플랫폼 중 Unix  파이프를 통해 파일 디스크립터를 전달하는 기능을 지원하는 플랫폼에서 사용 가능하다. 

 

📌 fork vs spawn vs forkserver

fork 

빠르지만 안전하지 않다. 

• Fork는 부모 프로세스의 메모리, 모듈, 객체 등을 그대로 복사하여 자식 프로세스를 만든다. 이 덕분에 속도가 빠르다.
• 하지만 부모 프로세스의 스레드는 복사되지 않기 때문에, 부모에서 잠금을 가지고 있는 스레드가 자식 프로세스에 영향을 미칠 수 있어 deadlock 발생 위험이 있다. 
• 또한, 부모 프로세스의 파일 디스크립터나 네트워크 포트 등도 자식에게 상속되어 불필요한 리소스 공유가 발생할 수 있다. 
• 따라서 fork는 빠르지만, 안전성이 떨어지고 불필요하게 자식 프로세스가 커질 수 있다. 

Spawn

안저하지만 느리다.

• Spawn은 부모 프로세스의 메모리, 파일 디스크립터, 스레드 등을 복사하지 않고 자식 프로세스를 처음부터 새로 시작한다. 
• 기술적으로 spawn은 부모 프로세스의 복제본을 생성한 후, 자식 프로세스는 새로운 Python 인터프리터를 시작하고, 필요한 모듈을 로드한 뒤 지정된 함수를 실행한다. 
• 이 방식은 안전하고 간결하지만, 처음부터 프로세스를 시작해야 하므로 느리다. 하지만 자식 프로세스가 하는 일이 크지 않다면 느리게 느껴지지 않을 수도 있다. 

Forkserver

빠르고 안전하지만 복잡하다.

• Forkserver는 처음에 'fork server'라는 특별한 프로세스를 만들어 놓고, 그 프로세스가 자식 프로세스를 포크한다. 이를 통해 모든 자식 프로세스는 간결하고 안전하게 시작된다. 
• 자식 프로세스를 시작할 때마다 forkserver에 요청해서 자식 프로세스를 포크한다. 이 방식은 빠르고 안전하지만, 복잡하고 문서화가 부족해 사용하기 어렵다. 
• Forkserver는 잠금 문제를 방지할 수 있고, 자식 프로세스가 커지지 않으며 전체적으로 효율적이다. 

 

Unix에서 spawn 또는 forserver 시작 방법을 사용하면 리소스 추적기 프로세스가 시작된다. 이 프로세스는 프로그램의 프로세스가 생성한 링크되지 않은 명명된 시스템 리소스(예: 명명된 세마포어나 SharedMemory 객체)를 추적한다. 모든 프로세스가 종료되면 리소스 추적기는 추적 중인 객체를 언링크 한다. 일반적으로 추적할 객체가 없어야 하지만, 프로세스가 신호로 종료되었을 경우 누수된 리소스가 있을 수 있다. 

 

시작 방법을 선택하려면 main 모듈의 if __name__ ==  '__main__' 블록에서 set_start_method()를 사용한다. 

 

import multiprocessing as mp

def foo(q):
  q.put('hello')

if __name__ == '__main__':
  mp.set_start_method('spawn')
  q = mp.Queue()
  p = mp.Process(target=foo, args=(q,))
  p.start()
  print(q.get())
  p.join()

 

set_start_method()는 프로그램에서 한 번만 사용한다. 

---

📖 참고자료

https://teus-kiwiee.tistory.com/entry/PythonMultiProcessing-%ED%83%90%EA%B5%AC 

[Python]MultiProcessing 탐구

https://docs.python.org/3.10/library/multiprocessing.html#contexts-and-start-methods

multiprocessing — Process-based parallelism — Python 3.10.16 documentation

https://stackoverflow.com/questions/64095876/multiprocessing-fork-vs-spawn

multiprocessing fork() vs spawn()

https://velog.io/@xxhaileypark/Python-%EB%A9%80%ED%8B%B0%ED%94%84%EB%A1%9C%EC%84%B8%EC%8A%A4-%EB%A9%80%ED%8B%B0%EC%8A%A4%EB%A0%88%EB%93%9C

[Python] 멀티프로세스 & 멀티스레드

https://only-wanna.tistory.com/entry/Python-Global-Interpreter-LockGIL%EC%9D%80-%EC%99%9C-%EB%8F%84%EC%9E%85%EB%90%90%EA%B3%A0-%EC%96%B4%EB%96%A4-%ED%8A%B9%EC%A7%95%EC%9D%B4-%EC%9E%88%EB%82%98%EC%9A%94

[Python] Global Interpreter Lock(GIL)은 왜 도입됐고, 어떤 특징이 있나요?

https://seoyeonhwng.medium.com/python-global-interpreter-lock-gil-%EC%9D%B4%EB%9E%80-2e519d4491a1

Python Global Interpreter Lock(GIL)이란?