{"componentChunkName":"component---src-templates-post-template-js","path":"/posts/a-survey-of-agents","result":{"data":{"markdownRemark":{"id":"2c43fec5-500e-53d2-95ed-c1fd9798922c","html":"

2023 年 8 月の論文「A Survey on Large Language Model based Autonomous Agents」を読んだメモです。

\n

GitHub: https://github.com/Paitesanshi/LLM-Agent-Survey

\n

1 Introduction

\n
\n

Specifically, we organize our survey based on three aspects including the construction, application, and evaluation of LLM-based autonomous agents.

\n
\n

以下の 3 つの観点についてまとめているとのこと。

\n\n
\n

For the agent construction, we present a unified framework composed of four components, that is, a profile module to represent agent attributes, a memory module to store historical information, a planning module to strategize future actions, and an action module to execute the planned decisions.

\n
\n

エージェントの構造として、4 つのコンポーネントに整理したフレームワークを提案。

\n\n

2 LLM-based Autonomous Agent Construction

\n

2.1 Agent Architecture Design

\n

2.1.1 Profiling Module

\n

profile の作成方法は以下の 3 つ。

\n\n

2.1.2 Memory Module

\n

たとえば、短期記憶は context window、長期記憶は vector storage とのこと。

\n

2.1.3 Planning Module

\n

以下の構造に整理。

\n\n

2.1.4 Action Module

\n

ここは読み飛ばした。

\n

3 LLM-based Autonomous Agent Application

\n

どんな分野があるかまとめられている。

\n

大きくは以下の 3 分野。

\n\n

4 LLM-based Autonomous Agent Evaluation

\n

4.1 Subjective Evaluation

\n
\n

LLM-based agents have a wide range of applications. However, in many scenarios, there lacks general metrics to evaluate the performance of agents. Some potential properties, like agent’s intelligence and user-friendliness, cannot be measured by quantitative metrics as well. Therefore, subjective evaluation is indispensable for current research.

\n
\n

評価のための一般的な指標が不足しており、定量評価できない特性もあるため、現在の研究では主観的な評価は不可欠としている。

\n
\n

Subjective evaluation refers to the testing of the capabilities of LLM-based agents by humans through various means such as interaction, scoring, and so on.

\n
\n

主観的な評価とは、人間が対話したりスコア付けするものなど。

\n

チューリングテストもある。

\n

主観的な評価に LLM を使うこともできる。

\n

たとえば EvaluatorGPT や ChatEval というものがある。

\n

4.2 Objective Evaluation

\n

客観的な評価の方法もいろいろある模様。

\n

6 Challenges

\n

6.2 Generalized Human Alignment

\n

LLM は人間の正しい価値観で動くよう調整されることが多いが、それではシミュレーション用途で不適切な可能性があるとのこと。

\n

6.5 Knowledge Boundary

\n

人間をシミュレーションするうえでは、LLM は膨大な知識を持ちすぎている。

\n

知識がない想定で意思決定する様子をシミュレーションするときに困る。

\n

感想

\n

エージェントの構成要素を以下の 4 つに整理しているのが分かりやすかった。

\n\n

主観的な評価は不可欠だと明言されている点は、こう言われていますと引用しやすい。

\n

課題として、正しい倫理観を持ちすぎることや、知識がありすぎることにより、人間らしいシミュレーションをできない可能性が指摘されているのは面白い。

","fields":{"slug":"/posts/a-survey-of-agents","tagSlugs":["/tag/llm/","/tag/agent/"],"autoRecommendPosts":["llm-based-agents-survey","generative-agents","llm-patterns","mrkl-systems"]},"frontmatter":{"date":"2024-02-02T09:23:18.135Z","description":"2023 年 8 月の論文「A Survey on Large Language Model based Autonomous Agents」を読んだメモです。","tags":["llm","agent"],"title":"「A Survey on Large Language Model based Autonomous Agents」を読んだメモ","socialImage":null,"recommendPosts":null}}},"pageContext":{"slug":"/posts/a-survey-of-agents"}},"staticQueryHashes":["251939775","3942705351","401334301"]}