Agentに情報を集めさせるシステムを作ってしばらく運用してみた。 集める情報のテーマをプロンプトで与えると、その日あったニュースと過去に保存された情報から新しい情報をまとめて、レビュー依頼を人間に投げる仕組み。 人間がが内容に目を通して、重要だと思ったやつは保存する。重要でないと判断したやつは保存せず、rejectとして別で記録をとっておく。 株の情報収集として、テーマや保有企業ごとにAgentを作成して運用してみた。 ただ結局運用は続かなかった。レビューが大変になっていき、使わなくなってしまった。
始める前はうまくいくと考えていた。質の高い情報をリアルタイムに貯めていける仕組みは便利だ。 始めてみると、思ったより人間がレビューするコストが大きいことがわかった。 Agentが集める情報はどれくらい重要かわからないし、当たり外れも多いため、レビューが大変になっていった。 自分の欲しい情報が増えるにつれて、Agentが増えて、レビューコストも増えていった。 そして使わなくなった。
結局、誰が言ってるのかや情報を取りにいくための自分自身の強いモチベがないと、認知コストや受け入れるハードルが上がるんだろう。 脳が重要じゃないと判断してしまうと、途端にレビューができなくなってしまった。 レビューはできないのにエージェントは毎日情報を集めてくるから、溜まっていくレビューが嫌で余計に離れてしまった。
結局、エージェントの集めてくる情報は信頼してないんだろう。それよりも自分が実際にニュースでみたことや、 業界の人が言っていることの方が脳は重要だと判断する。
人間のレビューをしなければいいのだろうか。自分は必要だと考えている。やはりAgentが集めてくる情報には無駄もおおいし、 何より、自分が理解した情報を貯めていかなければ価値がないからだ。ただ情報をたくさん貯めて、そこにクエリを投げて 質問できる、ではネットの情報を探させるのと変わりはない。
情報を貯めることで生まれる価値とレビューなどの管理コストを天秤にかけた場合、やはり貯めるだけのシステムだと管理コストが 上回ってしまう。Agentに情報を集めさせる、だけの機能だと価値は小さい。なぜAgentに集めさせるのかが明らかになっており、それがさらにシステムと統合されているべきだ。 株の例だと、バックテストや自動運用の仕組みがあって、そこに保有している株のリアルタイム情報が表示される、みたいな仕組みだと 良さそう。そうなると、なぜ集めるのかがはっきりしているし、集めた情報はすぐに利用できるからだ。
ただ情報を集めるだけでは価値を生みにくい。情報を活用して価値を生み出す仕組みがすでに設計・統合されている場合に限り、 Agentに情報を集めさせるというシステムは価値を生むことができる。