ComfyUI×LLM/MCP連携ガイド｜対話操作で実務自動化する3系統

プロンプトを手入力してパラメータを調整し、生成ボタンを押す。ComfyUI（ノードをつないで画像生成AIを動かすツール）での画像生成は、どうしても手作業が多くなりがちです。もしChatGPTやClaudeに話しかけるだけで、ComfyUIのワークフローが自動実行されたらどうでしょうか。

2026年4月現在、MCP（Model Context Protocol）の普及により、LLM（大規模言語モデル）からComfyUIを直接操作する環境が急速に整いつつあります。MCPはAnthropicが2024年末に公開したオープン標準で、AIと外部ツールをつなぐ共通プロトコルとして2025〜2026年に実装が急増しました。ComfyUI LLM Partyのような統合フレームワークや、Pixelle MCPによるゼロコード連携など、選択肢も増えています。

この記事では、ComfyUIとLLMをMCPで連携させる具体的な方法を、導入手順から建築業務での活用例まで解説します。

ComfyUIとLLMを連携させる代表的な3系統

ComfyUIとLLMの連携には、大きく分けて3つの系統があります（2026年4月現在）。建築で言えば「図面ソフト内に計算プラグインを入れる」「図面ソフトを外部アプリから操作する」「CADのコマンドを他アプリが直接呼ぶ」といったアプローチの違いに近く、目的や技術レベルに応じて選択してください。

統合フレームワーク型：ComfyUI LLM Party と LLM Toolkit

統合フレームワーク型は、ComfyUIのノードエディタ内でLLMを直接扱えるカスタムノード集です。代表格はComfyUI LLM Partyで、GPT、Gemini、DeepSeek、Ollama、Qwen、GLM、Kimi、Doubaoなど、OpenAI互換APIを持つほぼすべてのLLMに対応しています。Feishu（飛書）やDiscord連携、graphRAG、Janus-ProなどのVLM（画像理解モデル）まで内包した大型フレームワークです。

もう一つの選択肢がComfyUI LLM Toolkit（comfy-deploy製）です。LLM Partyが「機能全部載せ」の統合型なら、LLM Toolkitはノード単位で複数LLMプロバイダを呼び分けるシンプル志向です。カスタムノードの導入方法に慣れている方なら、どちらもすぐに試せます。

MCP Server型：外部LLMからComfyUIを操作する

MCPは、LLMが外部ツールを操作するための標準プロトコルです。ComfyUI用のMCP Serverを立てると、Claude DesktopやCursorなどのAIアシスタントから「この条件で画像を生成して」と指示するだけで、ワークフローが実行されます。

2026年4月現在、主なComfyUI MCP Serverは以下のとおりまとめられます。

実装	特徴	想定ユーザー
Comfy公式MCP Server（Comfy Cloud）	クラウドGPUで実行、公式サポート	ローカルGPUなしで始めたい層
artokun/comfyui-mcp	Claude Code向けplugin同梱、skills/hooks統合	Claude Codeユーザー
Pixelle MCP（AIDC-AI）	ゼロコードでワークフローをMCP化	非エンジニア・ノーコード志向
Overseer66版 / Karim Lalani版	軽量Python実装、学習用途向け	OSS実装を自作したい層

ComfyUIのAPI連携の知識があると、MCP Serverのカスタマイズもスムーズに進みます。

Claude Code統合型：artokun版 comfyui-mcp

artokun/comfyui-mcpは、単なるMCPサーバーにとどまらずClaude Code専用プラグインとしてslash commands・skills・agents・hooksまで統合した実装です。ワークフロー実行、モデル管理、VRAM（GPUの作業メモリ）制御、dry-run検証、ControlNet（コントロールネット）やIP-Adapter（Image Prompt Adapter、画像でスタイル指定するアドオン）、インペイント、リップシンク動画生成まで、自然言語ひとつで呼び出せます。Claude Codeをメインで使う方には、この選択肢がもっとも親和性が高い構成です。

ComfyUI LLM Partyの機能と導入手順

3系統のうち、ノードベースで完結させたい場合はComfyUI LLM Partyがもっとも多機能な選択肢です。ここでは具体的な機能と導入の流れを紹介します。

対応モデルと接続方式

ComfyUI LLM Partyは、OpenAI互換APIを持つLLMであればほぼすべて接続できます。主な対応モデルは以下のとおりです（2026年4月現在）。

• クラウドAPI: GPT-4o、Gemini、DeepSeek、Qwen、Kimi、Doubao、GLM
• ローカルLLM: Ollama、LM Studio経由のGGUFモデル、Llama 3.3
• ビジョンモデル（VLM）: Janus-Pro、LLaVAなどの画像理解モデル

APIキーを設定するだけで切り替えられるため、用途やコストに応じて使い分けられます。

プロンプト自動生成から画像生成までのパイプライン

実務で特に役立つのが、LLMによるプロンプト自動生成です。日本語で「明るいリビングの内観パース」と入力すると、LLMがStable Diffusion（画像生成AIの代表格）やFLUX（高品質な新世代画像生成モデル）向けの英語プロンプトに変換し、そのままComfyUIで画像生成まで実行します。

ワークフローをLLMツールノードとしてカプセル化する機能も備えています。複数のワークフローを登録しておけば、LLMが指示内容に応じて適切なワークフローを自動選択する仕組みです。たとえば「写真風で生成して」と言えばリアル系ワークフロー、「水彩画風で」と言えばスタイライズ系ワークフローが選ばれるイメージです。

ComfyUIのAIアシスタント機能と組み合わせれば、ワークフロー構築自体もAIに任せられます。

MCP Serverで実現するLLMからComfyUIへの自動化

MCP Serverを使えば、ComfyUIの操作画面を開かずにLLMとの対話だけで画像生成を完結できます。現場監督が図面ソフトを開かずに電話口の指示だけで修正を進めるような感覚で、手元の画面を離れても作業が回せる構成です。

MCPの仕組みとセットアップ

MCPは、AIアシスタントが外部ツールの機能をツールとして認識し、必要に応じて呼び出す仕組みです。ComfyUI MCP Serverは、ワークフローの実行・モデル検索・ノード探索などの機能をMCPツールとして公開します。

artokun版のcomfyui-mcpを例にすると、セットアップの流れは次のとおりです。

1. ComfyUIをローカルで起動しておく
2. MCP Serverをインストールし、ComfyUIのアドレスを設定する
3. Claude DesktopやClaude Codeの設定ファイルにMCP Serverを登録する
4. AIアシスタントから「猫の画像を生成して」と指示すると、ワークフローが自動実行される

dry-run機能でノード不足や接続ミスを事前検証できるほか、WebSocket経由で生成の進捗をリアルタイム監視できる点も実用的です。

ローカルGPUを持たない場合は、Comfy Cloud公式MCP Serverという選択肢もあります。クラウドGPU上のComfyUIにClaude DesktopやCursorから接続できるため、PC環境に依存せず試せる点が魅力です。

Pixelle MCPによるゼロコード連携の詳細

Pixelle MCPは、ComfyUIのワークフローをコード不要でMCPツールに変換できるソリューションです。提供元はAIDC-AI（Alibaba DAMO系）で、公式MCP community serversへのPR提出も済んでおり、信頼性の高いOSSとして注目されています。

核心コンセプトはWorkflow-as-MCP Toolです。ComfyUIで作ったワークフローをJSON出力するだけで、MCPツール定義が自動生成される仕組みです。手順は以下のとおりです。

1. ComfyUIで通常どおりワークフローを作成する
2. LLMに公開したいパラメータのノードタイトルにDSLタグを付ける（例：@param:prompt:string:required）
3. Pixelle MCPサーバーを起動する（uvxコマンドまたはDocker）
4. Claude DesktopやCursor、付属のChainlit UIからワークフローを呼び出す

テキスト・画像・音声・動画のマルチモーダル生成に対応し、ローカルComfyUIとRunningHubの両方に接続できる点も強みです。コードを一行も書かずに連携が完了する手軽さは、プログラミング経験の少ない方にとって大きな魅力です。

LM Studio連携でビジョンモデルを活用する

LLMとの連携で見落としがちなのが、ビジョンモデル（VLM）の活用です。写真を「文章で読み解くAI」が手元にいるような状態で、LM Studioを経由すれば画像を見て理解するAIをComfyUIに組み込めます。

接続方法と活用パターン

LM Studioは、ローカルでLLMを実行するためのデスクトップアプリです。OpenAI互換のAPIサーバー機能を備えており、ComfyUI LLM Partyのノードからそのまま接続できます。

接続パターンは主に2つあります。

• ComfyUI内ロード方式: VRAMに余裕がある場合、LM Studioのモデルを直接読み込んで高速処理
• APIサーバー方式: LM Studioを別プロセスで起動し、API経由で接続。VRAMを画像生成に集中させたいときに有効

画像解析と再生成ループの構築

VLMを活用すると、生成した画像をAIが評価し、改善プロンプトを作成して再生成する自動改善ループが構築できます。

建築パースの品質チェックにおいて、このループが有効に機能する事例が海外コミュニティでも報告されています。たとえば、生成されたパースをVLMに渡して「窓の位置が不自然」「照明が暗すぎる」といったフィードバックを自動取得し、修正プロンプトに反映させる流れが構築できます。手動で何度も調整する手間が大幅に減ります。

建築業務での活用シナリオ

ComfyUIとLLMの連携は、建築分野でどのように活かせるのでしょうか。具体的なシナリオを見ていきます。

テキスト指示だけでパース生成から修正まで

実務では、クライアントからの要望は「もう少し明るい雰囲気にしてほしい」「木目の色を変えたい」といった自然言語で届きます。MCP連携を導入すれば、この言葉をそのままAIに渡して、ワークフローの自動実行につなげられます。

想定される流れは以下のとおりです。

1. 設計図面やスケッチをComfyUIに取り込む
2. 「北欧スタイルのリビング、自然光が入る午後の雰囲気で」とLLMに指示する
3. LLMがプロンプトを生成し、ComfyUIでパースを自動生成する
4. クライアントの修正依頼を再びLLMに伝え、パラメータを調整して再生成する

導入時の注意点

LLM連携を導入する際は、以下の点を意識しておくとトラブルを避けやすくなります。

• 生成結果の確認は必ず人間が行う: LLMの判断だけで納品物を出すのはリスクがあります
• ワークフローの標準化を先に済ませる: MCP連携の効果は、ベースとなるワークフローの品質に依存します
• API利用コストを把握する: クラウドLLMを使う場合、生成回数に応じたコストが発生します。ローカルLLMとの使い分けが重要です

まとめ

ComfyUIとLLMの連携は、MCP Serverの普及により、2026年4月現在で実用レベルに達しています。ComfyUI LLM PartyとLLM Toolkitはノードベースで多機能な統合を提供し、Pixelle MCPはゼロコードで既存ワークフローをMCPツール化できます。Claude Code中心の方はartokun版、ローカルGPUがない方はComfy Cloud公式MCP Serverが有力な選択肢です。LM Studioを組み合わせれば、ビジョンモデルによる自動評価ループも構築できます。

建築業務では、テキスト指示だけでパース生成から修正までを回せる環境が現実的になりました。まずは小さなワークフローからMCP連携を試し、業務効率化の感覚をつかんでみてください。

あわせて読みたい

• ComfyUI自動化ガイド — ワークフロー自動化の基礎から応用まで、LLM連携と合わせて活用できます
• ComfyUIおすすめカスタムノード — LLM Party以外にも押さえておきたい定番ノードを紹介しています
• ComfyUIカスタムノード導入ガイド — LLM PartyやPixelle MCPを入れる前に押さえておきたい基本手順
• ComfyUI API連携ガイド — MCP Server自作やカスタマイズに進みたい方向けの技術ベース
• ComfyUI AIアシスタント（Copilot）活用法 — ワークフロー構築自体をAIに任せたい方はこちら