Linux 프로세스를 생성하는 3가지 방법 (spawn, fork, exec)

파이썬은 GIL 특성 때문에 멀티 스레드를 사용한 병렬 처리에서 제한을 받는다. 따라서 파이썬은 멀티 프로세싱을 활용하여 병령 처리를 하고, 제대로 된 병렬 처리를 구현하기 위해 프로세스를 생성하는 3가지 방법을 이해하는 과정이 필요하다. 

 

** GIL(Global Interpreter Lock) : 파이썬 인터프리터가 스레드를 관리하는 방식 중 하나로, 한 번에 하나의 스레드만이 파이썬 객체에 접근할 수 있도록 제한한다. 이를 통해 멀티스레딩 환경에서 파이썬 프로그램의 실행을 안전하게 만들어주지만, 동시에 성능 저하의 원인이 되기도 한다. 

 

---

📁 fork()

fork()는 현재 실행 중인 프로세스(부모 프로세스)를 복제하여 새로운 프로세스를 생성한다. 새로운 프로세스를 자식 프로세스(child process)라고 하며, 부모 프로세스의 주소 공간을 그대로 복사하지만, 별개의 프로세스로 동작한다. 

 

• 부모 프로세스와 동일한 코드 및 데이터 영역을 가짐
• Linux와 같은 일부 운영체제에서는 Copy-On-Write(COW, 지연 복사)를 사용하여 실제 데이터가 수정되기 전까지 메모리를 공유
• 리턴 값:
  • 부모 프로세스: fork() 호출 시 자식 프로세스의 PID 반환
  • 자식 프로세스: 0 반환
  • 실패 시 -1  반환

#include <stdio.h>
#include <unistd.h>

int main() {
    pid_t pid = fork(); //fork() 호출 후 부모 프로세스와 자식 프로세스가 거의 동시에 실행됨

    if (pid > 0) {
        printf("부모 프로세스: 자식 PID = %d\n", pid); //부모 프로세스에서만 실행됨
    } else if (pid == 0) {
        printf("자식 프로세스 실행 중\n"); //자식 프로세스에서만 실행됨
    } else {
        perror("fork 실패");
    }
    return 0;
}

 

fork() 이후, 부모와 자식 프로세스가 독립적으로 실행되며, 멀티코어 환경에서는 부모와 자식이 동시에 실행될 수도 있으나 실행 순서는 운영체제의 프로세스 스케줄링 정책과 시스템의 부하, 우선순위 등에 따라 달라질 수 있다. 따라서 부모와 자식 프로세스의 실행 순서는 항상 일정한 것은 아니며 wait()를 사용하여 부모가 자식 프로세스가  끝날 때까지 기다리도록 강제할 수 있다.  

 

Copy-On-Write(COW)
쓰기 시 복사한다는 뜻으로 부모와 자식이 동일한 물리 메모리를 공유하여 읽기만 할 때에는 복사하지 않고, 어느 한 쪽에서 쓰기 연산이 발생하면 그 시점에 해당 페이지만 실제로 복사한다. 
Copy-On-Write 기법을 사용하면 fork() 호출 직후 바로 exec()를 진행하는 경우, 대량의 메모리를 복사할 필요가 없어 시스템과 자원을 절약할 수 있다. 

[ fork() 직후 상태 ] 
- 부모와 자식 프로세스는 동일한 물리 메모리 주소를 가리킴
- 읽기(read)만 수행하는 경우 메모리 복사가 발생하지 않음

┌───────────────────────┐
│ 물리 메모리 페이지 │ ← 부모와 자식이 동일한 페이지를 공유
└───────────────────────┘

[ 자식이 메모리를 변경하려고 할 때 (쓰기 연산) ]
- 자식 프로세스가 메모리를 변경하려고 하면 운영체제는 복사를 수행
- 변경하려는 **페이지만 복사하고, 새로운 메모리 공간을 할당
- 변경되지 않은 다른 페이지는 계속 부모와 자식이 공유

┌───────────────────────┐ ┌───────────────────────┐
│ 부모의 메모리 페이지 │ │ 자식의 메모리 페이지 │ ← 새로운 메모리 공간 할당
└───────────────────────┘ └───────────────────────┘

 

📌 메모리에서 "페이지(Page)"란?

메모리를 고정된 크기(일반적으로 4KB)로 나눈 작은 블록

운영체제(OS)는 메모리를 페이지(Page) 단위로 관리한다. 즉, 메모리는 작은 단위(페이지)로 나뉘어 있으며, 프로세스가 필요로 하는 메모리는 여러 개의 페이지로 구성된다. 

 

(1) fork() 호출 직후 (부모와 자식이 같은 페이지 공유)

      부모 프로세스          자식 프로세스
┌───────────┐ ┌───────────┐
│ 페이지 1 │ ← 같은 물리 메모리를 공유
├───────────┤ ├───────────┤
│ 페이지 2 │ ← 같은 물리 메모리를 공유
├───────────┤ ├───────────┤
│ 페이지 3 │ ← 같은 물리 메모리를 공유
├───────────┤ ├───────────┤
│ 페이지 4 │ ← 같은 물리 메모리를 공유
└───────────┘ └───────────┘

 

(2) 자식 프로세스가 "페이지 3"을 수정(쓰기 연산) 하려고 함

    부모 프로세스            자식 프로세스
┌───────────┐ ┌───────────┐
│ 페이지 1 │ ← 공유됨
├───────────┤ ├───────────┤
│ 페이지 2 │ ← 공유됨
├───────────┤ ├───────────┤
│ 페이지 3 │ ❌ 쓰기 발생 → 새로운 페이지 3이 복사됨!
├───────────┤ ├───────────┤
│ 페이지 4 │ ← 공유됨
└───────────┘ └───────────┘

 

fork로 프로세스를 복제하는 목적으로 2가지가 있다. 첫 번째는 부모 프로세스가 자식 프로세스에 어떤 작업을 위임하는 경우이다. 대표적인 웹 서버인 Apache는 처음 기동된 부모 부로세스가 fork를 통해 몇 개의 자식 프로세스를 복제해둔다. 그리고 새로운 접속은 자식 프로세스들이 받아서 처리하도록 설계해두었따. 부모 프로세스는 자식 프로세스의 개수를 조절하는 일만 담당한다. 두 번째는 쉘(shell)처럼 다른 프로세스를 실행시키는 경우이다. 이 경우 fork 후 exec 명령을 실행한다. 

 

---

 

📁 exec()

exec() 계열 함수(execl, execp, execv, execve 등)는 현재 실행 중인 프로세스를 새로운 프로그램으로 교체하는 역할을 한다. 즉, 기존 프로세스의 메모리 공간을 새로운 프로그램으로 덮어씌우고 실행된다. 

**POSIX에서는 아래와 같이 다양한 exec 계열 함수를 제공한다. 

POSIX(Portable Operationg System Interface)는 유닉스 계열 운영체제에서 표준화된 API, 명령어, 유틸리티를 정의한 규격이다. 즉, 다양한 운영체제(OS)간 호환성을 유지하기 위한 표준을 말한다. 

 

#include<stdio.h>
#include<unistd.h>

int main(int argc, char* argv[]){
    execl("/bin/ls", "/bin/ls", "-al", "/tmp", NULL);
    printf("hello world:\n");
}
[출처] [Linux] 프로세스 생성방법(fork, exec, spawn, posix-spawn) - 파이썬과 노드에서 프로세스 관리|작성자 멍개

 

main 프로세스 실행하면 execl() 실행을 통해 main() 프로세스가 bin/ls 프로세스로 교체되므로 printf를 수행하지 못해 hello world를 출력하지 못하게 된다.

 

함수	설명
execl()	인자를 리스트 형태로 전달
execle()	환경 변수도 추가로 전달
execlp()	실행 파일을 PATH 환경 변수에서 검색
execv()	인자를 배열 형태로 전달
execvp()	execv() + PATH 환경 변수에서 검색
execve()	실행 파일의 절대 경로 지정 + 환경 변수 전달 가능 (가장 저수준 함수)

 

• 새로운 프로그램을 실행하지만 PID는 그대로 유지
• 기존 코드, 데이터, 스택, 힙 등 모든 메모리가 새로운 프로그램으로 교체됨
• exec() 호출 이후에는 기존 코드가 실행되지 않음

 

1️⃣ execl()

절대경로로 실행 파일을 지정해야 하며, 실행할 프로그램의 인자를 하나씩 직접 나열하여 전달한다. 

 execl("/bin/ls", "ls", "-l", "-a", NULL);

 

2️⃣ execle()

execl()과 동일하지만, 마지막에 환경 변수 배열을 추가할 수 있다. 

 char *env[] = { "MY_ENV=hello", NULL };

// 환경 변수 전달 가능
execle("/bin/ls", "ls", "-l", NULL, env);

 

3️⃣ execlp()

execl()은 절대 경로를 사용해야 하지만, execlp()는 환경 변수 PATH에서 자동 검색한다. 

// "ls" 실행 (절대경로 없이 실행 가능)
execlp("ls", "ls", "-l", NULL);

 

4️⃣ execv()

execl()은 인자를 리스트로 직접 나열해야 하지만, execv()는 배열을 사용한다. 

char *args[] = { "ls", "-l", NULL };

// "/bin/ls" 실행, 인자는 배열로 전달
execv("/bin/ls", args);

 

5️⃣ execve()

execv()와 동일하지만 환경 변수를 추가할 수 있다. 

char *args[] = { "ls", "-l", NULL };
char *env[] = { "MY_ENV=hello", NULL };

execve("/bin/ls", args, env);

 

6️⃣ execvp()

execv()는 절대 경로가 필요하지만, execvp()는 실행 파일을 PATH에서 검색한다. 

char *args[] = { "ls", "-l", NULL };

execvp("ls", args);  // "ls" 실행 (PATH에서 검색)

 

---

 

📁 spawn()

spawn()은 fork()와 exec()를 조합하여 새로운 프로세스를 생성하고 실행하는 방식이다. posix_spawn() 또는 spawn() 계열 함수(spawnl, spawnv 등)를 사용하며, Windows와 Unix 계열 시스템에서 모두 사용 가능하다. 

 

• fork() 후 exec()를 호출하는 것과 유사하지만, 운영체제가 최적화된 방법으로 실행
• 프로세스를 실행하는 옵션을 지정할 수 있음(P_NOWAIT, P_WAIT 등)
• fork()와 exec()을 명시적으로 호출하는 것보다 성능이 더 우수할 수 있음

 

📌 spawn() vs fork() + exec()

fork-exec와 spawn은 자식 프로세스를 생성하고 새 프로그램을 실행하는 두 가지 주요 방식이다. 두 방식은 동일한 목표를 가지고 있으나 그 과정에서 발생하는 성능과 효율성에는 차이가 있다. 

 

1️⃣ fork-exec 동작 원리

fork(): 부모 프로세스의 복제본인 자식 프로세스를 생성한다. 이 때 부모 프로세스의 메모리, 파일 디스크립터, 환경 변수 등을 복사한다. 

exec(): 생성된 자식 프로세스가 자신의 샐행 프로그램을 로드하도록 한다. 자식 프로세스는 exec() 호출 후 부모와는 다른 프로그램을 실행한다. 

 

2️⃣ spawn 동작 원리

자식 프로세스를 생성하고, 지정된 프로그램을 실행하는 단일 함수이다. fork()와 exec()의 기능을 합친 형태로 자식 프로세스를 생성하고 즉시 실행할 수 있다.

 

3️⃣ fork-exec의 문제점

fork-exec는 기존 시스템에서 많이 사용되는 방법이지만, 성능과 리소스 관리 측면에서 몇 가지 문제점을 가지고 있다. 특히 임베디드 시스템이나 실시간 시스템에서 그 문제가 더 두드러질 수 있다. 주요 문제점은 메모리 오버헤드, 스케줄링 오버헤드, 파일 디스크립터 상속 문제이다. 

 

✔ 메모리 오버헤드(스왑 영역 문제)

• 메모리 복사 비용: fork()는 자식 프로세스를 생성할 때 부모 프로세스의 메모리 공간을 복사하는데, 이때 복사되는 메모리 크기가 커지면 메모리 비용이 발생된다. 특시 메모리 페이지가 많이 복사되면 스왑 영역에서 데이터 이동할 수 있다. 
• 스왑 영역은 시스템에서 메모리가 부족할 때 하드디스크로 데이터를 이동시키는 공간이다. 디스크 I/O는 매우 느리기 때문에 메모리 복사로 인한 스왑 영역 사용은 성능에 큰 영향을 미친다. 
• 예를 들어, 자식 프로세스가 생성될 때 부모의 메모리가 복사되면, 물리 메모리가 부족해져 스왑 영역을 사용할 수 있다. 이는 임베디드 시스템에서 메모리 자원이 제한적일 경우 성능 저하를 초래한다. 

spawn()은 자식 프로세스가 부모 프로세스를 복사하는 대신 필요한 자원만 할당하고, 즉시 프로그램을 실행한다. 이로 인해 메모리 복사 비용이 줄어든다. 

 

✔ 스케줄링 오버헤드

•  fork()를 호출하면 부모와 자식 프로세스가 독립적으로 실행된다. 이때 두 프로세스를 동시에 실행하기 위해 운영체제의 스케줄러가 개입하여 컨텍스트 스위칭을 해야 한다. 
• fork() 후 부모와 자식이 동시에 실행되기 때문에 스케줄링 오버헤드가 발생할 수 있다. 이 오버헤드는 불필요한 컨텍스트 스위칭을 발생시켜 시스템의 전체 성능을 떨어뜨릴 수 있다.

spawn()은 단일 함수 호출로 자식 프로세스를 생성하고 프로그램을 실행하여 불필요한 컨텍스트 스위칭을 줄여 스케줄링 오버헤드가 줄어든다.

 

✔ 파일 디스크립터 상속

• fork() 호출 후 자식 프로세스는 부모 프로세스의 파일 디스크립터의 상속을 받는다. 이 파일 디스크립터는 파일, 소켓, 파이프 등의 시스템 리소스를 참조하는 핸들이다. 
• 부모와 자식 프로세스가 동시에 동일한 파일을 열고 작업할 때 파일에 대한 동기화 문제가 리소스 충돌이 발생할 수 있다. 

spawn()은 파일 디스크립터의 상속을 보다 세밀하게 제어할 수 있다. 필요에 따라 파일 디스크립터를 리디렉션 하거나 새로 설정할 수 있기 때문에 리소스 충돌을 방지하고 효율적인 파일 작업이 가능하다.

 

---

✍ 요약

1. 리눅스 프로세스를 생성하는 방법에는 대표적으로 fork, exec, spawn이 있다. 

2. fork는 부모 프로세스를 복제하여 자식 프로세스를 생성하는 방식이다.

3. exec는 현재 프로세스에서 PID와 메모리 주소의 변경 없이 기존의 프로세스를 새로운 프로세스로 덮어 씌어 교체하는 방식이다.

4. spawn은 fork-exec 방식과 유사하게 새로운 프로세스를 생성한다. 

5. 차이점은 부모 프로세스를 자식 프로세스로 복제시 전체를 복제하지 않고 필요한 부분만 복제하며, 프로세스 생성과 실행은 하나의 함수로 호출하여 불필요한 컨텍스트 스위칭을 제거한다. 

---

📖 참고자료

https://myungsun-e.tistory.com/21

프로세스 생성 기법

https://blog.naver.com/PostView.naver?blogId=pjt3591oo&logNo=222774338068

[Linux] 프로세스 생성방법(fork, exec, spawn, posix-spawn) - 파이썬과 노드에서 프로세스 관리

https://sunyzero.tistory.com/191

fork, vfork 그리고 posix_spawn 이야기