Pythonのmultiprocessingをサーバーレスで透明に実行する手法

（Transparent Serverless execution of Python multiprocessing applications）

田中専務

拓海さん、最近部下が『既存のPythonアプリをクラウドで動かせばいい』と言ってきたのですが、そもそも我が社の古い並列処理プログラムってそのままで動くものなのでしょうか。

AIメンター拓海

素晴らしい着眼点ですね！結論から言うと、その論文は『ほとんど手を加えずにローカルのPython multiprocessing（マルチプロセッシング）アプリをサーバーレスで動かせる可能性がある』と示していますよ。大丈夫、一緒に要点を押さえていきましょう。

田中専務

それは費用対効果の話にも直結します。手直しが多ければ投資が膨らみます。具体的にはどんな工夫で『そのまま動く』と判断したのですか。

AIメンター拓海

良い問いです。要点は三つです。第一に既存のmultiprocessingインターフェースを再実装して、プロセスをサーバーレス関数に割り当てることで互換性を確保していること、第二に共有状態用にRedisという外部記憶を用いることで、プロセス間通信を置き換えていること、第三に実証で速度やオーバーヘッドをVM（仮想マシン）と比較して評価していることです。

田中専務

これって要するに『見かけ上は同じAPIで裏側だけクラウドの関数に差し替えている』ということですか。

AIメンター拓海

その理解でほぼ正しいですよ。まさに透明性（access transparency）の考え方で、呼び出す側からは同じ操作に見えるが、実際の処理はサーバーレス上で動いているという構成です。投資の観点では実証結果を見て端的に判断できますよ。

田中専務

運用面で心配なのは、サーバーレスは短時間で起動して終わるのが基本と聞きます。長時間のジョブやメモリ共有は問題になりませんか。

AIメンター拓海

良い着眼点ですね。研究ではRedisを使って共有状態を外部化し、短命な関数が必要なデータを外部から都度取得する設計にしているため、長時間処理でも状態の整合性を保てると報告しています。ただし頻繁なやり取りは通信オーバーヘッドになるため、ケースバイケースの評価が必要です。

田中専務

では結局、我が社の現場で試す価値はあると考えて良いのですね。導入の優先順位や評価指標はどう設定すれば。

AIメンター拓海

評価は三点に絞ればよいです。一つ目は実行時間とスピードアップ（同一コードでの比較）、二つ目はコスト（クラウド実行時の料金）、三つ目は改修コストと運用負荷です。まずは小さな代表ジョブでベンチマークを取り、これら三点で定量比較する流れが現実的ですよ。

田中専務

なるほど、要はまずは小さく試して効果を確認し、その数字で投資判断を下すということですね。わかりました、まずは現場に戻って提案してみます。

AIメンター拓海

その方針で大丈夫ですよ。小さく試して学ぶ、数値で判断する、それがリスクを抑える王道です。一緒に実証設計も支援できますから、安心して進めてくださいね。

田中専務

ありがとうございます、拓海さん。では私の言葉で整理します。『既存のPythonのマルチプロセスプログラムを大幅改修せず、サーバーレス上で動かす手法があり、まず小規模ジョブで時間・コスト・改修負荷を比較して投資判断する』という理解で間違いありませんか。

AIメンター拓海

完璧です、その要約で実務会議に臨めますよ。素晴らしい理解力ですね！一緒に次のステップを設計していきましょう。