メールも音声も写真も、渡せばAIが全部処理｜全自動化がほぼ完成

2026年8月21日 2026年8月21日

コンプさん

こんにちは！マジシャンのコンプレッサーです！

今回はマジックの話ではなく、AI活用のお話をお届けします。

先に結論を書きますね。AIエージェントに渡しさえすれば、あとは全部やってくれる。 そんな全自動化が、ほぼ完成といっていいところまで来ました！

メールは1時間おきにAIが自動で読み込んで、そのまま処理まで進みます。 そしてメール以外でも同じなんです。言葉で指示しても、録音した音声を丸ごと渡しても、現場で写真を撮って置いておくだけでも、同じように処理が回ります。

目指しているのは、事務仕事の80パーセントを、秘書が自律的にこなしてくれる状態です。まだ完成ではないんですけどね（笑）

何を渡しても、同じように処理される

入口はどれでも構いません。何が来たかを見分けるのは、AI側の仕事です。

これまでは「この作業はこのコマンド」と、こちらが覚えておく必要がありました。忙しい日ほど思い出せなくなって、結局あとまわしになる。

今は、こうなっています。

渡し方	やること
メール	こちらは何もしません。1時間おきに自動で読み込みに行きます
言葉で指示	チャットに一言。コマンド名を覚える必要はありません
音声を丸ごと	打ち合わせや講座の録音を置くだけ。文字起こしから処理まで進みます
写真	現場の写真、レシート、名刺、スキャンした紙。撮って置くだけ

「何を渡すか」を考えなくていいのが、いちばん楽になったところです。

渡したあと、この10個を毎回ぜんぶやってくれる

ここが芯です。渡し方に関係なく、毎回この10個を全部見ます。

難しく言うと「完遂チェック」なのですが、中身は単純です。人の秘書さんなら、言われなくてもやってくれることを10個に分けただけなんですね。

なぜこうしたかというと、AIって頼まれたことだけやって、その周りをきれいに落とすんですね（笑）

出演のご依頼メールが1通届いたとします。人間の秘書さんなら、返信を書くだけでは終わりません。予定表に入れて、売上の見込みに足して、過去のやりとりを確認して、前回の資料を引っぱり出してくれる。

ところがAIに「返信を書いて」と頼むと、返信だけを書いて満足するんです。

だから毎回、10個の項目を全部見て「これは該当」「これは非該当」と言わせるようにしました。

渡したあとに毎回やる10個の図。予定とお金、連絡と書類、忘れないようにする、次につなげる、の4つに分かれている

#	やること	中身
1	予定に入れる	カレンダーへ登録・変更。消さずに【キャンセル】に書き換える
2	売上に立てて、請求書を作る	金額と税区分を台帳へ。請求書のPDFまで作る
3	相談を記録して、見積書を作る	まだ決まっていない話も残す。見積書のPDFまで作る
4	返事を書く	メールの下書きまで。送信ボタンは必ず人が押す
5	議事録や名簿を直す	書類の中身を最新にしておく
6	覚えておく	次に聞かれたときに答えられる形で、案件ごとに残す
7	あとで探せる場所へ書き写す	検索して引っぱり出せる形にする
8	もらった物はそのまま取っておく	音声・写真・書類を原本のまま保管する
9	次の会議に持っていく	報告することを、その場で積んでおく
10	話した中身を、次に使える形にする	講演や講座で話したエピソードや教え方

10番目は、この8月に足したばかりです。

南砺市社会福祉協議会さんのレクリエーションボランティア講座、90分の中身を処理したときでした。音源も、実施記録も、請求も、きれいに回ったんです。なのに、講座で話した中身だけがどこにも残らなかった。

原因は仕組みの側にありました。9つの項目はぜんぶ「記録する・台帳に書く・連絡する」で、「話した中身を次に使える形にする」という項目が無かったんですね。チェックリストを忠実に回すほど、いちばん大事な中身だけがすり抜けていく。

その講座のレポートは、こちらに書いています。

https://comp-office.com/lecture/rec-volunteer-magic-nanto/

もうひとつ、これと対になる決めごとがあります。書く前に必ず読む。

カレンダーを検索して、台帳の既存の行を確認して、過去のやりとりを引いて、案件メモを開く。あれば更新、なければ新規。ここを飛ばすと、二重に登録された予定と、話のつながっていない下書きが量産されます。

メールは1時間おきに、どこまで進むのか？

「気づく係」と「処理する係」を分けて、2段構えにしています。

最初はひとつの仕組みで全部やろうとして、うまくいきませんでした。取りこぼしを減らそうと頻度を上げると重くなる。軽くすると見落とす。

それで、役割を割りました。

第1層は見張り役です。 Google Apps Scriptで書いた小さなプログラムが、1時間おきに新着メールを読みます。Googleのサーバー上で動くので、こちらのパソコンが眠っていても不発になりません。

やるのは分類と記録と通知だけ。下書きも予定の登録も削除もしません。読んで知らせるだけなので、判定を外しても事故にならないんですね。

第2層が実処理役です。 AIエージェント本体が朝4時から夜10時まで1時間おき、1日19回動きます。ここで初めて、さきほどの10個が回ります。

夜10時から朝4時までは止めてあります。寝ている間に届いたメールは、朝の1回目でまとめて処理すれば間に合いますから。

AI秘書の1日のタイムライン図。朝3時のレポート、4時から22時までの毎時メール処理、毎時0分の状況ボード更新、12時の昼レポートとバックアップ

AIが張り切ると、ボトルネックは人間になる

ここからが、正直な話です。

動き出してしばらくして、はっきり分かったことがありました。AIエージェントが張り切って仕事をしてくれるようになると、詰まる場所が人間に移る。

朝起きたら、知らない予定がカレンダーに入っている。下書きフォルダに、書いた覚えのない返信がきれいに並んでいる。台帳にも行が増えている。

ぜんぶ正しいんです。正しいんですけど、こちらが何を任せていて、何が終わっていて、何がまだ残っているのかが分からない。

要するに、こちらが仕事についていけなくなったわけです（笑）

笑い事でもなくて、何をどう考えてどう処理したのか、次は何をすべきか、理解が追いつかない。 これは危ないと思いました。分からないところで仕事が進んでいくのは、自動化のいちばんこわい形です。

これは能力の話ではなく、速さの違うものを直結したせいでした。AIは1時間おきに動きますが、こちらは1日に何度もメールを見に行くわけではありません。速さの違うものをつなぐと、遅いほうが必ず詰まります。

だから次に要るのは、AIをもっと速くすることではありませんでした。「何をやったか」を人間の側に返してくれる仕組みのほうです。

自動化で行き詰まったとき、たいてい犯人はAIの精度ではなく、ここだと思っています。

1日2回、「今日これをやりました」と報告してくれる

朝3時と昼12時に、報告メールが自動で届きます。

中身はこの順番です。

まだ作業が必要なもの（未処理・判断待ち・こちらが手を動かすもの）
今日の段取り（出演・会議の予定）
AIが済ませた作業の一覧

ポイントは1番を先頭に置いたことです。

最初の版は「やった作業」から並べていました。読んでいて気持ちはいいんですが（笑）、肝心の「で、こちらは何をすればいいの？」にたどり着くまでが長い。

順番を入れ替えただけで、報告が「読み物」から「今日の持ち場」に変わりました。

未処理の数え方も直しました。以前は台帳の「下書きを作った」という記録を数えていたので、送信済みのものまで未処理として残っていたんです。今はGmailの下書きフォルダの実物を数えています。

リアルタイムで見たいときは？

スプレッドシートを1枚開くだけです。ワンクリック、スマホからでも見られます。

報告メールは1日2通。その間の18時間、仕組みが生きているのか死んでいるのかを確かめる方法がありませんでした。

そこで作業台帳の先頭に「いまの状況」というタブを作って、毎時0分に自動更新するようにしました。

載せているのはこれだけです。

今日の作業件数と、その内訳、直近20件
判断待ちが何件たまっているか
定期便（朝3時／昼12時／メール処理／バックアップ）が最後に動いた時刻
外出先から操作するリモコンが生きているか

そのうえで、シートの見出しに計算式をひとつ入れてあります。更新から2時間以上たっていたら、開いた瞬間にセルが赤くなる。

スプレッドシートは開くたびに計算し直すので、パソコンが眠っていても、自動処理が止まっていても、画面のほうが勝手に白状してくれるわけです。

これ、反省から生まれた仕掛けでして。「作りました」と報告していた自動処理が、実は一度も動いていなかったことが後から判明したんですね。

動いているつもりで死んでいる。これがいちばんこわい。

マジックの世界には「アウト」という言葉があります。

お客さまが選んだカードを当てるつもりが外れてしまったとき、別の結末へ着地させるための逃げ道のこと。プロほど、必ず用意しておくものです。

外さない前提で組んだ手順は、外した瞬間に何も残りません。

自動化もまったく同じでした。

どのくらい動いているのか？

9日間で740件でした。1日あたり82件です。

2026年8月13日から21日の午前まで、作業台帳に自動で記録された数字です。いちばん多かった8月19日は190件でした。

種類	件数	中身
ファイル作成・更新	232	原稿・台本・スクリプト
記憶の更新	161	案件メモ・ルールの追記
Googleドキュメント	94	議事録・進行台本
ブログ投稿	78	記事の下書き・画像アップ
スプレッドシート	54	台帳・名簿の更新
カレンダー	42	出演・会議の登録と更新
メール	27	下書き作成
SNS	23	投稿文の作成と投稿
売上・請求台帳	19	案件行の追記
タスク	9	ToDoの登録

一人で全部やっていたころを思うと、ちょっと信じられない数字です。

高岡市倫理法人会が主催したAI活用プチセミナーの会場。スクリーンにタイトルスライドが映り、経営者の皆さんが着席している

AIに任せないと決めたことは？

止まって確認するのは、4つだけと決めています。

送信（メール・メッセージ・SNS投稿）
公開（サイトへの反映）
削除・上書き（すでにあるデータを失う操作すべて）
金額の確定（税区分や請求額が、元の文面から読み取れないとき）

請求書も見積書もPDFまでは作らせますが、金額が一意に読み取れないときだけは「要確認」で止めます。 送信ボタンを押すのも必ず人です。

逆に言えば、これ以外では確認を求めさせません。

ここを緩めると「〜してもよろしいですか？」が1日に何十回も飛んできます。結局こちらの手が止まってしまう。自動化がうまくいかない典型は、精度が足りないことではなくて、確認が多すぎて人の時間を食うことなんですね。

線引きは、取り返しがつくかどうか。下書きは何度でも捨てられます。送信は取り消せません。

つまずいたところと、その直し方

いいことばかり書いてもフェアではないので、うまくいっていないところも書いておきます。

ひとつ目は、作ったつもりで動いていなかったこと。 毎時のメール見張り役、メールから予定への登録、報告メールの新しい版。この3つを「配備しました」と言っていたのに、実際に中身を確かめたら、プログラムの箱は空っぽで、時刻の設定が1本も登録されていませんでした。

書いたことと、動いていることは、まるで別物でした。

ふたつ目は、記録が嘘をついていたこと。 集計の最初の版は「実行したコマンドにスクリプト名が入っているか」だけで種類を決めていたので、シートの名前を読んだだけの操作が「シート更新」として記録されていたんです。ある1日の23件が、ほぼ全部まちがいでした。

今は成功したときにしか出てこない文字列が実際に出たかどうかで判定しています。台帳は、水増しされた瞬間に価値がゼロになりますから。

三つ目は、報告メールが消えていたこと。 これがいちばん厄介でした。

深夜3時に送られる朝の報告メールが、届いた瞬間になぜかゴミ箱に入るんです。メール自体はちゃんと送られていて、中身も正しい。8月11日までは受信トレイに入っていたのに、12日以降は全部ゴミ箱行き。

Gmailのフィルタも、関係しそうなプログラムも全部調べました。でも、ゴミ箱に入れる処理はどこにも見つからないんですね。

そこで、GmailのAPIに残っている操作の履歴を1件ずつ追いかけました。「いつラベルが付いたか」を時系列に並べる、という調べ方です。

すると、こうなっていました。

3時34分、報告メールが受信トレイに届く
そのあと TRASH（ゴミ箱）のラベルが付く
続けて INBOX（受信トレイ）のラベルが外れる

そして決定的だったのが、同じかたまりで消えていた他のメールです。報告メールは単独で消されたのではなく、メルマガや通知メールと一緒に5〜7通まとめてゴミ箱へ入っていました。

同じ期間にゴミ箱へ入ったメールは226通。旅行予約サイトの値下げ案内、クラウドファンディングの新着、通販の再入荷通知……ほとんどが一斉配信のメールでした。

時刻もバラバラで、6時18分、8時46分、10時31分、13時8分、15時6分、20時49分。決まった時刻に動くプログラムの動きではありません。

犯人はプログラムではなく、受信トレイをまとめて片付けるときの巻き添えでした。報告メールが、メルマガの群れに紛れて見分けがつかなくなっていたんですね。

原因が分かれば、直し方は2つです。

送った直後に、報告メールだけラベルとスターと重要マークを付ける — メルマガの群れから浮かせる
次の便が、ゴミ箱に入った報告を自動で受信トレイに戻す — そのうえで「◯通戻しました」と本文の先頭に書く

2番目がポイントで、黙って直さないようにしました。直したことを毎回言わせておかないと、また同じことが起きても気づけませんから。

実際に動かしたところ、8月15日から21日までゴミ箱に沈んでいた報告メールが、全部まとめて受信トレイに戻ってきました。ラベルもスターも付いた状態でです。

そのうえで、状況ボードからも「報告メールがゴミ箱に入っていないか」を毎時見張るようにしました。知らせる道が1本しかない仕組みは、その1本が詰まった瞬間に無音になりますから。

お金はいくらかかっているのか？

見張り役は無料です。実処理はAIの月額契約の中。1時間おきに回しても請求は増えません。

役割	費用
見張り役（Google Apps Script）	0円。1日90分の無料枠に対して、使っているのは1日あたり数秒
メールの分類	0円。AIの判定をやめてルール判定にしましたが、実メール29通で全問正解でした
実処理（AIエージェント本体）	AIの月額契約の中（月20ドル前後）。回数を増やしても請求額は増えません
記録・ボードの更新	0円。パソコン側の定期実行