🛡️ Harness Engineering

一言で

The good old days

昔の LLM chat はシンプルだった。You が prompt を投げ、LLM が answer を返す。

flowchart LR
  You[You] -->|Prompt| LLM[The LLM]
  LLM -->|Answer| You

  classDef human fill:#102033,stroke:#00f0ff,color:#e8f4ff,stroke-width:2px;
  classDef llm fill:#302500,stroke:#ffb000,color:#fff4d6,stroke-width:2px;
  class You human;
  class LLM llm;

この世界では、context はほぼ prompt の中に人間が手で詰めるもの だった。

Current

現在は、project context と tools を持つ agent / harness が LLM の前に立つ。

flowchart LR
  Project[You + Project] -->|prompts / instructions / skills / MCP| Agent[The Agent<br/>aka Harness<br/><br/>Copilot Chat<br/>Copilot CLI<br/>Cloud Agent<br/>Claude Code<br/>Codex]
  Agent -->|answer / PR / edit| Project
  Agent -->|context| LLM[The LLM]
  LLM -->|next step| Agent
  Agent -->|tool call| Tools[Tools<br/>read / edit / run]
  Tools -->|result| Agent

  classDef human fill:#102033,stroke:#00f0ff,color:#e8f4ff,stroke-width:2px;
  classDef llm fill:#302500,stroke:#ffb000,color:#fff4d6,stroke-width:2px;
  classDef agent fill:#132812,stroke:#9bbc0f,color:#f4ffd8,stroke-width:2px;
  classDef context fill:#20242a,stroke:#8b949e,color:#d0d7de,stroke-width:2px;
  class Project human;
  class LLM llm;
  class Agent agent;
  class Tools context;

No magic. Agent は、LLM を直接呼ぶ代わりに、何を読ませるか・どの tool を使わせるか・結果をどう戻すか を管理する layer。

Agent / Harness の裏側（Simplified）

• Execution Loop：LLM が次の一手を決め、tool 実行 → 結果を context に戻す、を done まで繰り返す。
• Context Management：system prompt、available tools、user task、tool results を整理し、毎回の LLM call に必要な context として渡す。

# --- Setup ---
system_prompt = "You are a helpful coding assistant..."
available_tools = [search_web, read_file, edit_file, run_terminal]

# --- Agent Loop ---
user_task = input("How can I help you?")
context = [system_prompt, available_tools, user_task]

while True:
    next_step = await llm.determine_next_step(context)
    context.append(next_step)

    if next_step.intent == "done":
        return next_step.final_answer

    result = await execute_tool(next_step.tool, next_step.args)
    context.append(result)

何でハーネスする？

AI を強くする技術ツールは 1 つではない。常に読ませるもの と 必要な時だけ呼ぶもの を分ける。

GitHub Docs の名称は Repository-wide custom instructions と Path-specific custom instructions。VS Code 側では後者を file-based instructions とも呼ぶ。

エコシステム対応表

同じ「AI の足場」でも、置き場所やファイル名はエコシステムごとに少し違う。

Copilot の強みは、主要ベンダーの形式を native にサポートできること。CLI では /help を入力すると、今使える形式やコマンドを確認できる。

よく使う概念

良い harness はツールの寄せ集めではなく、AI が迷わない進め方 を先に決める。

先に spec・phase・file ownership・role/objective/deliverable・context・approval を設計すると、AI は速くなるだけでなく、やり直しも減る。

例：Ultralight

Ultralight は Microsoft の Developer Advocate、Burke Holland さんの multi-agent orchestration 例。
Multi-phase execution plan を作り、ファイルの重なりを検出し、Planner / Coder / Designer に並列で仕事を渡す harness になっている。

flowchart LR
  User[User prompt] --> O[Orchestrator<br/>Claude Sonnet 4.6<br/>multi-phase plan]

  O --> P[Planner<br/>Claude Opus 4.6<br/>research + docs]
  O --> C[Coder<br/>GPT-5.3-Codex<br/>scoped code changes]
  O --> D[Designer<br/>Claude Opus 4.6<br/>UI / UX owner]

  D -.-> S[Frontend Design Skill<br/>used by Designer<br/>brand / layout / CSS]
  C -.-> M[MCP Server<br/>used by Coder<br/>GitHub / Playwright<br/>docs]

  P --> O
  C --> O
  D --> O
  O --> R[Pull Request<br/>human review]

  classDef host fill:#102033,stroke:#00f0ff,color:#e8f4ff,stroke-width:2px;
  classDef agent fill:#132812,stroke:#9bbc0f,color:#f4ffd8,stroke-width:2px;
  classDef harness fill:#2a1020,stroke:#ff2e88,color:#ffe8f4,stroke-width:2px;
  classDef ship fill:#302500,stroke:#ffb000,color:#fff4d6,stroke-width:2px;
  class O host;
  class P,C,D agent;
  class S,M harness;
  class R ship;

🚀 数クリックで試せるように Codespace 対応のリポジトリを用意しました： theomonfort/ultralight-template