[Python] 멀티프로세스 공유메모리 사용을 위한 Manager 객체

서론

흔하게 nonblocking-async한 동작을 만들기 위해서는 멀티쓰레딩/멀티프로세싱 과 같은 기법을 사용하게 된다.

하지만 python에서는 Global Interpreter Lock 이라는 동일 시점에 하나의 스레드만 사용하도록 하는 인터프리팅 기법이 사용되기 때문에 멀티스레딩으로 다음과 같은 동작을 기대하기 힘들다.

그러므로 파이썬 공식 홈페이지에서도 멀티프로세싱을 사용해 비동기적인 작동을 하도록 하는 것을 추천한다.

 

하지만 프로세스는 스레드와 달리 별도의 메모리 공간을 차지하게되므로, 공유자원을 사용할 경우 난관에 봉착한다.

 

몰라서 그냥 멀티스레딩으로 작업했는데 알고보니까 Manager라는 객체로 여러 프로세스간의 공유 메모리를 사용할 수 있다고 한다.

Manager의 사용법은 공식 홈페이지에 가면 잘 알려주니까 서술하지 않고, 이를 사용해서 해결한 문제들을 적어본다.

 

문제 1

프로세스간 Queue를 통해 정보를 공유할 경우 생길 수 있는 문제.

 

부모 프로세스에서 자식 프로세스를 생성하고, Queue를 통해서 정보를 전달하고 받는 과정에서 생길 수 있는 문제이다.

 

 

Master process에서 worker process를 생성하고, 그 worker process의 상태를 관리하다 종료 조건이 생길경우, 다음과 같은 명령어로 worker process를 종료하는 경우가 있다.

하지만 그렇게 되면 DeadLock이 발생할 가능성이 생긴다.

 

 

Python에서의 Queue는 Pipe와 Lock으로 구성되어 있다.

그리고 위에 서술된 대로 버퍼링된 모든 항목이 파이프로 플러시 될 때까지 프로세스는 종료되지 않고, 강제로 종료하게 된다면 플러시가 되지 않고 락이 걸리게 되며, 동시에 Queue에 데이터를 넣으려고 하지만 락이 걸리게 되는 교착상태가 발생할 수 있다.

파이썬에서 제공하는 Queue를 사용했을 경우의 교착상태의 예시. Join을 지워야한다

그러므로 교착상태를 방지하기 위해 Manager.queue를 사용하게 된다면 별도의 프로세스로 Manager 객체를 관리하기 때문에 안전하게 공유변수를 사용할 수 있다.

 

문제 2 

프로세스 생성에 따른 전역변수 관리 문제

 

전역변수로 관리 목적의 dict나 list를 생성하고 자식 프로세스를 생성하게 된다면 별도의 메모리에 저장하기 때문에 공유메모리로 이 변수를 사용하지 않고 당연히 복사해서 가져간다.

 

이를 공유메모리로 관리하기 위해서는 Manager 객체 를 통해서 생성해 주어야 한다.