修論まだ終わってないのに…🥲🥲🥲🥲💦💦💦💦 現在、絶賛修論執筆中の身ですが、修論の研究でStreamlitでLLMを使った実験用のアプリを作っていたときに 「複数のLLM APIを呼び出して、結果が返ってくるの遅くない?」から始まった技術検証の話を書きます。 複数のプロンプトをLLMに投げる処理があると、どうしても待ち時間が気になるんですよね。1回のAPI呼び出しに1秒かかるとして、5回呼び出したら5秒。これ、並列にしたら1秒ちょっとで終わるんじゃないか?と。 というわけで、今回は順次処理、スレッド並列(ThreadPoolExecutor)、非同期並列(asyncio) の3パターンで実装し…