AIにエッセイを書かせると危険？知らないうちに思考力が低下するワケ
引用元：https://news.ycombinator.com/item?id=44286277
LLMは社会が慣れていく技術になるだろうね。教育やビジネスでは、人が考えたことを自分で書く（オーサリングする）のがマジで大事。オーサリングってコミュニケーションの大部分を占めるんだ。
その前に「思考が浅くなる」ショックがあるだろうね。LLMを大きく使うと、俺の思考力はマジで落ちたし、自分で決められなくなったし、後で応用する準備もできなくなった。LLMは細かい部分を埋めるだけのツールで、大事なことには使えない。
これは電卓とは違うんだ。手計算の好きなアルゴリズムが奪われるわけじゃない。これは思考そのものを「非思考」に置き換えるシステムで、使うと思考の準備（深さ、応用力、自分の考え）が根本的にダメになるんだ。
ビジネスで一番過小評価されてるスキルの一つは、筋の通った話を組み立てる能力だと思う。マジで才能あるエンジニアでも、話が下手で誰も理解できない会議によく出るよ。書くことや話すことって芸術なんだなって、40代後半になってやっと心から理解できた。言葉って強力なツールで、たった一つの単語の選び方で議論が決まることもある。
LLMがこの状況を全体的に悪くする以外の何ができるか、想像できないね。
浅い見方だよ。LLMは思考の糧みたいなもん。適切な使い方を適量なら力をくれるけど、使いすぎたり何も考えずに使うと、比喩的に言うと太って怠けちゃうんだ。
太ったからって、食べ物に反対する crusading はしないだろ？
別のいい例えは、親に頼りすぎる子供かな。親は素晴らしいし、子供の成長を助けるけど、何でも親任せで自分の限界に挑戦しない子は、結局弱い人間になるんだ。
「大事なコミュニケーションの大部分は人が作るべき」って言うけどさ、俺みたいな奴は、そもそもコミュニケーションに「価値ある」ものがどれくらいあるの？って聞きたくなるね。やってるけど、誰も読んでないコミュニケーションって結構あるんじゃない？そういうのは自動生成で良くない？
もちろん、ちゃんとやらなきゃいけない大事なこともたくさんあるのはわかるけどさ。
そうだね、ビジネスで一番過小評価されてるスキルは、筋の通った話を組み立てる能力だって意見に関連して。
彼らが伝えるべき議論は、自分が納得した理由や思考プロセスそのものじゃなくていいんだよ。それはたいてい長くて退屈な思考の道筋だから。
作るべき話は、決定者（話を聞く相手）の視点に合わせて仕立てなきゃいけない。相手のインセンティブ、キャリア目標、どうすれば自分が良く見えて面倒を避けられるか、みたいな部分に合わせて提案を魅力的に見せるんだ。早いか？ セクシーなバズワードを使えるか？ 今期の会社のスローガンに合うか？ これには相手の状況を理解する必要がある。みんな本音を言わないし、鈍いエンジニアは人の神経を逆なでするかも。相手は本当の理由を言わず適当なことを言うから、鈍い奴は相手が理解できないだけだと思っちゃう。
これは単なる言葉の選び方じゃなくて、戦略を立てたり、相手の立場になって考えたり、社会的な力学が技術的な側面にどう影響するか理解することなんだ。
「思考そのものを非思考に置き換える」って話だけど、ここ数年でネットで一番好きなトレンドの一つが「考えない／考えたくない／考えなかった」自慢の投稿が増えたことだね。
それだけでも面白いネット文化現象だけど、今読んでるものが本当に誰かが書いたかどうかわからないって事実とセットになると、マジでウケる。
大事なのは、正しく出力することじゃなくて、「それについて考え抜いたか」だよ。オーサリングってのは考え抜き、それを自分のものにすること。
コンピュータサイエンスの「入力→出力」っていうフレームワークが、活動の目的を「どんな手段でもいいから出力を得ること」として捉えるせいで、僕たちの思考能力はマジで空洞化してるんだ。
たとえLLMが君が書いたのと全く同じ出力を、いつも出したとしても、それは関係ない。なぜなら、君がそれを書くときに必要だった「思考」を持って世界で行動する必要があるからだ。
この簡単な例を挙げよう——最近、大学の同僚に「なんで君の意見は役員が聞いてくれたのに、俺たちは同じことを言ったのに聞いてくれなかったんだ？」って聞かれたんだ。俺は、俺の議論には「具体的な影響」が含まれていたって説明したんだ。具体的な遅延、具体的なコスト、具体的な影響が出る時期、みたいなね。漠然と「問題があるだろう」って言うんじゃなくてさ。
役員のところには、みんな仮説上の問題を持ってくるから、具体的な詳細や根拠がないと、彼らはちゃんと処理しないんだ。まるで、みんなマイナーな問題を大げさに言ってるみたいに聞こえる。
これは、LLMに助けを求める人が、話そうとしている相手について自分が知らない情報（相手が何を重要視するか）があることにすら気づいていないケースの一つだろうね。
専門知識をこう定義できるかもね：曖昧な、あるいは未知の出発点から問題（質問）を定式化するために必要な知識やスキル。
その定義だと、なぜLLMを「大規模に」使うことが問題を引き起こすのかが明らかになるだろう。
ソフトウェア開発への影響の一つはこれだね：プルリク（PR）を提出して、コード行数があるからといって、仕事をしたことにはならないんだ。ソリューションを説明して、質問に答えて、初めてそれを証明する必要がある。
それはもう全部起きてるよ。チャットプラットフォームでジュニアエンジニアと彼らの最新の素晴らしいアイデアについて話していて、ページいっぱいの箇条書きで構成されたリアルタイムの応答が返ってくるとき… 彼らが chatgpt を使って考えるのを避けてるってことだけじゃなくて、それが誰も気づかないと思ってるか、これが大人同士の本当の会話だと思ってるって事実が恐ろしいんだ。
LLMが語学スキルを鍛えるのにめちゃくちゃいい方法見つけたんだ。そのプロセスはね：
a) まず自分で下書きを書く。
b) LLMに下書きを直してもらって良くする。
c) 最近のLLMはどこを直したか具体的に教えてくれる（教えてくれなかったら質問する）。
d) 変更点を一つずつ確認して、テキストを良くすると思ったものだけ採用する。
これでLLMにアクセスできなかった頃と比べて、ライティングスキル（多言語でね）が劇的に向上したよ。
＞ 「mediocrity」（平凡さ）を信じやすい人たちへの非難（参照: https://fly.io/blog/youre-all-nuts/）
あの記事、HNで読んだけど、LLMアシストコーディングへの様々な反論を悪意を持って解釈してるね。筆者は専門知識も視点も尊敬してた人だから、友達に話してみたら、もっと冷めた解釈を教えてくれたんだ。あの記事は筆者の自分勝手な利益のために書かれたのかもしれないって。LLMがよくバグを入れるのを見れば、スキルのあるセキュリティ研究者が認知能力の低下につながるようなコード生成をわざと奨励して、自分のセキュリティ監査のビジネスを増やそうとしているんじゃないかって思うのも無理はないよね。
ちょっとでも複雑なトピックに誰かが「ChatGPTに聞いたらね」って書き込み始めるの見かけるたびに、まさにそれだなって思うんだよ。
次の段階の問題はこれだよ：自分で書いてないものをどう説明する？
今のLLM楽観論者は、LLMの出力をレビューする必要があるって認めてるけど、このレビュー能力は存在するって仮定してるんだ。私は自分の専門外の分野でLLMの出力をレビューできないよ。そして、LLMを大規模に使っていたら、必要な専門知識も身につかないんだ。
この問題に初めて気づいたのは、1年くらい前、プログラミング言語のコンパイラ（この分野はかなり詳しかったけどね）をLLMでプロトタイプしてた時だったんだ。LLMの実装によって言語のすごく大きな設計決定が強いられていることに気づいたんだ。
そしてこの3週間、統計学のいくつかの分野で専門知識を再確認する必要があったんだけど、LLMでノートを取っていたのがこのプロセスを完全に台無しにしてたことに気づいたよ。結局役に立ったのは、昔ながらの方法だったんだ：本を読んだり、講義を聞いたり、ノートを取ったり。LLMは専門家になってからちょっとした時間短縮になるくらいで、「in the small」ではいいかもしれないけど、専門家になる道のりとしては全くダメなんだ。
浅い考えだね。
君の例えは、製品のユーティリティ＼品質＼有用性の度合いが違うことを考慮しないと成り立たないよ。
危険な食べ物とか、栄養価が全くない食べ物に対しても、人々は絶対に反対運動をするだろう？
親の例えも、君のいい時だけの話でしか成り立たないんだよ。
どうだろうね。遅延とか費用とかタイムラインを予測するのは、全く同じやり方を何度もやったことがない限り、ものすごく難しいんだ。例えば、建物の外壁に断熱材を取り付けるみたいな物理的な作業なら、業者は過去数年間で似たような建物をやったことがあるから、面積に時間平均を掛けたり、資材の発注による遅延は注文サイトの納期を確認すれば分かるから、 fairly easily （かなり簡単に）予測できるんだよ。
ソフトウェア開発は全然違うし、多くの非技術系役員はまだそれを理解しようとしないから、賢いエンジニアは数字をでっち上げるんだ。それが彼らを良く見せるからね。
現実的に、君はただより Competent （有能）に見えるだけだよ。それで役員は、細かい話全部を「この人はこの方法を推奨しないことについてかなり真剣だ — 本当の理由や直感はどうあれ、彼らの言う通りで多分大丈夫だろう、彼らは会社にとって良い戦力だ、こんな話し方ができる人なら物事を成功に導けると信頼しよう」って要約するんだ。そしてもう一人の人は「この人は本当の理由を積極的に隠そうとしているように見えるし、ちょっと曖昧で自信なさげ、たぶん怠け者かネガティブな人だ、彼の意見に従う理由は何もないな」ってなるんだ。
君はまさに自分の議論を枠組み化したね。知的に首尾一貫するためには、AI全般じゃなくてAIの「悪い使い方」に反対すべきなんだよ。AI支持者として、私がずっとAI反対派の人たちにお願いしてきたのはそれなんだ。
個人的には、今はコーディングLLMの生産性にとって黄金時代だろうね。使ってるのは専門家たちだし。専門家がいなくなったら、それでも生産性は上がるのかな？
肥満だからって食品に文句言わないのと一緒？俺が行く店は砂糖と炭水化物の殿堂みたいでマジむかつく。”
2021～2023年に20歳以上のアメリカ成人の約40.3%が肥満でした”
食品の比喩が成り立たないことを祈るよ。そうでなければ、俺たちはアメリカ人の40%が精神的な障害を抱えることになる方向に進んでるってことだ。
確かにそういう側面はあるよね。信頼性と信用性の話もしたけど。でもこの場合は、役員が決定を認識して、決断する必要があることに気づかせる手助け、要は意思決定プロセスの足場固め（scaffolding）のためにやったんだ。
決定権のある人が、ただの不満みたいなの聞かされるのって結構ウザいんだよね。これ、前にもっと酷いやり方でやったことあるんだよ、初対面の握手会でさえ不満ぶちまけたりして。でも、それを意思決定のための情報にどう煮詰めるかは学んだな。
いまだに超イラつくのが、人が自分の思考プロセスを声に出して探るのを手伝ってくれなくて、「結局何が影響するの？」「決定事項は何？」ってすぐに結論を急かしたがることなんだ。
だから、それがうまくできない人たちにはすごく共感するよ。
まだ形になってない懸念事項を話す必要があるんだけど、「まあ、それには影響ないね」とか言われるのが本当に面倒くさいんだ。それは専門家の考え方じゃないっての。専門家は、相手が気にしてないものも含めて、あらゆる可能性のある影響のメンタルモデルをどう構築するかから考える必要があるんだ。
これは、モデル（精神的、技術的…）を構築する仕事の人と、社会システムを管理する仕事の人との間のフラストレーションの一般的な原因だね。
これ、マジで最悪。俺の同僚には、文法間違いなしに3単語も繋げられないような奴らがいるんだけど、最近、完璧すぎる文法と豊富な語彙でテキスト送ってくるんだ。
こいつら、実際よりも賢く／教育を受けてると思わせようとして、みんなを騙そうとしてるんだよ。俺は騙されないけどね。実際の彼らの文章を見てるから、それが本当は彼らのテキストや考えじゃないって分かってる。見てて本当に吐き気がする。
そうそう、それに答えがチャットで手に入っちゃうのに、人はどうやって学ぶんだろうね。俺がプログラミング学んでた頃、毎回答えをすぐに聞けるって知ってたら、ちゃんと学べなかっただろうな。（Stack Overflowは違うよ、AIみたいに問題全部について質問する人はほとんどいないから）
技術畑じゃない役員は、技術の専門家について、大学で学んだ巨大なルールブックの検索テーブルがあって、物事について正確で定量的な、権威ある発言ができる、みたいなメンタルモデルを持ってると思うんだ。
でももちろん、最終的な責任はどこかで止まる必要がある。専門家として断定的に振る舞うことで、その専門家は役員にネタを与えてるんだ。多分、役員はもうその方向に行きたかったのかもしれないけど、これであなたとあなたのわけの分からない専門用語を固い根拠として挙げられるようになる。
コンサルタントの使われ方と似てるね。
“計画は無価値、計画を立てるプロセスは無価値ではない”
ああ、絶対にそうなるよ。アメリカの社会構造が過重労働と絶え間ないストレスで人々を肥満に追い込むのと全く同じように、その社会構造は人々をAIの盲目的な利用に追い込むだろうね。
雇用主が設定する brutal なノルマについていくためにね。
これもやったことある。でも最初の「うわー！」って瞬間が終わると、「もっと良くして」の部分は「いや、なんかあなたの書き方気に入らないな、俺っぽくない」になったんだ。
強化するのと乗っ取るのとの間には細い線があって、IMO（俺の意見では）今のLLMはほとんどの場合、その線を越えちゃう。
＞ ビジネスでは、すぐに、価値のあるコミュニケーションの大部分は必然的に人によって、つまり自分が言いたいことの著者として、生み出されなければならないと気づくだろう。
でも「価値のある」コミュニケーションってどのくらいの割合？
俺は学者で、理論的には一番思考を必要とする仕事の一つのはずだ。それでも、俺が書くことの半分以上は、あらゆる種類の報告書、助成金の申請書、倫理／データ管理の申請書、推薦状、官僚的な書類なんかだ。これらを「価値のある」とは分類しないな。有用な思考を必要としないし、そのテキストが自分らしいかどうかは、バカげた要件が満たされる限り全く気にしない。こういう目的のために、LLMは神様からの贈り物だし、多分、実際の研究や教育（これは対面でやってる）にもっと時間を割けるようになったから、実際には思考力を助けてると思う。
なんか陰謀論っぽいね。
それに記事の筆者はもうセキュリティ研究者じゃなくて、今はfly.ioっていうとこのセキュリティやってる人だよ。
これ認知負債じゃなくて、ただの認知能力の低下、スキルがなくなるってことでしょ。
当たり前じゃん。使わないことは忘れんの。脳は必要ない情報は残さないんだよ。
GPSナビ使いすぎると空間記憶とか脳の灰白質が減るって研究もあったよ。何かに詳しくなるには、じっくり考えて関連性を探るのが大事。数学もただ読むだけじゃダメ。考えるから使えるようになるんだ。
数学もそうだけど、「考える」だけじゃなくて「書く」のが超大事なんだよ。いっぱい書くこと。書くと頭の中が整理されるし、自分と話してるみたいになる。いろんな可能性を探れるんだ。
考えるだけだとすぐ限界来るけど、書けば思考はどこまでも行ける感じ。
思考と書くことってすごく繋がってるから、LLMが代わりに書いちゃうことの影響はマジで気になるね。
もっとコメントを表示（1）
「脳は要らない情報を残さない」って、なるほどねーって思うけど、「自転車に乗る」みたいに、一度覚えたら絶対忘れないスキルってあるじゃん？あれはどう説明するの？
「脳は要らない情報を残さない」？じゃあ、なんで俺まだDOSでconfig.sysとかautoexec.batいじってメモリ最適化する方法知ってんだろ？
もう20年やってないし、絶対またやることもないだろうに。
書くことの力はマジで過小評価されてる！キーボードでもいいから書くってのは、書かないより全然良い。
何でもいいから書き続ける練習はすっごく役に立つんだよ。心理学者も毎日ブログとか書くの勧めてる人多いしね。
GPTで思考停止しないためには、GPTの内容を手で書き写すとか、書くプロセスを続けること！
コードとかエッセイとか詩とか趣味で書いてみ？絶対賢くなるし自信つくから！
GPTは危険な便利グッズだよ。無くなりはしないけど、使い方と対策が超重要ね。
俺はこの意見には反対だなー。新しい数学の問題とか考えるときって、細かいことやる前にまず頭の中でざっくり解き方探るじゃん？
書かないことがそんなに思考の邪魔になるとは思わないけどね。特に最初の段階で考えてるアプローチが全部ダメだったりする時は。
めっちゃ良い質問だね！
自転車とか水泳、料理みたいに忘れないスキルって、全部体の動かし方に関する物理的なスキルだよね。
でも、議論したり、分析したり、言葉を使ったり、何かを生み出したりする頭の中のスキルは、忘れちゃうこと多い気がする。
自転車に乗るのって、「記憶」っていうより「スキル」なんだよね。
体全体に新しい神経の通り道ができて、体のバランスとか位置を感じる感覚をまとめるスキル。
一度覚えたら、どうやって倒れないか体で分かってる感じ。「理解」じゃなくて、体が「知ってる」んだ。
プロンプト書くのだって、なんだかんだ結構な量の文章書くことになるんだけどね。
LLMでデカいレポート書こうとすると、自分で考えずAI任せにしがちでしょ？これ「コグニティブ・デット」って呼ぶわ。自分の名前で出すのに、内容が自分のものになってないんだよね。書くってのは思考すること。詳細なメンタルモデル作るためだよ。LLMに頼りすぎると思考力落ちるかもね。印刷術の時も似た心配あったけど。思考は将来を予測するメンタルモデル作り。進化も情報理論的にはそうだよ。
https://www.youtube.com/watch?v=4PCHelnFKGc
俺も書くことで探求するんだよね。ドラフト書いていくと、考えがまとまるし。
思考力が低下するって話、わかるけど、「自転車に乗る」みたいなスキルは忘れないじゃん？これどうなの？って疑問へのレスね。兵士の訓練研究に関わってたんだけど、「筋感覚記憶」は長持ちするんだと。でも、たまにしかやらない複雑な作業（軍用機器の故障診断とか）はすぐ忘れちゃうんだって。「忘却曲線」ね。重要なやつは訓練しまくれば忘れないけど、チェックリスト渡した方が早い場合も多いみたいだよ。
「手続き記憶」ってググってみて。他の記憶より忘れにくいんだってさ。
「数学の教科書を流し読みしても全部はわからん」って話があったけどさ、LLMみたいに「次のトークンを予測する」ってやり方で何かを学ぼうとした人いるの？それでどうだった？
ChatGPT使うのは、マジでどうでもいい文章だけだよ。しかもLLMって冗長すぎ！簡潔さゼロ。なんか高校の読書感想文自動化するために作ったみたいだわ。長すぎるメール作ったり読んだりするくらいしか使わないね。MBAのやつらが喜んでるのはわかるわ、あいつらの仕事って空虚な長文レポート作るか読むかばっかだもん。
でもさ、プロンプト書くのって、思考を整理する「ライティング」とは全然違うタイプでしょ。短いし構成もテキトーで、ちゃんと「書く」って感じじゃないじゃん。AIがどう解釈して何出すかだけ考えてるんだし、論を組み立ててるわけじゃない。曖昧なこと書くとAI混乱するしね。キー叩けば全部「ライティング」ってわけじゃないんだよ。
こないだ行ったファストフード店の天井の色柄、覚えてる？電力会社との電話で最初に何て言われたか正確に覚えてる？覚えてることも多いけど、細かいことって全然覚えてないもんだよね。子供の頃の記憶だって、「記憶の記憶」になって細かい部分は曖昧になっていくんだよ。
脳って何かを完全に忘れることってないらしいよ、痕跡は残るって。忘れた言語もまたすぐ覚えられるとか。でもさ、写真みたいに「上書き」することで本当に忘れられるかも？思い出す行為そのものが記憶を変えるって研究もあるし。忘れないためには思い出さない方がいいってこと？記憶にはエピソード記憶とか種類があるから、一概には言えないんだけどね。
思考モデルを作るには、やっぱり自分で実際にやるしかないんだな、って気づいたよ。練って、表現して、また練り直して、違う読者に向けて違うやり方でね。
うん、間違いないね！
頭の中でアイデアを反芻できるかっていうのが、本当に知ってるかどうかの証拠だと思うんだ…そしてLLMが出てくる前だって、何かを「知ってるフリ」するのは簡単だったけど、実際には知らなかったってことはよくあった。
ポール・グラハムも去年の記事でほぼ同じこと書いてたな。
「あと数十年したら、文章を書ける人はあんまりいなくなるだろう」って。
だから、書ける人／書けない人の世界っていうのは、聞こえるより危険なんだ。それは、考える人／考えない人の世界になるだろうね。https://paulgraham.com/writes.html
＞ そして何よりも、あなたは書かなければならない。たくさん。
＞ 書くことは私たちの脳が思考を構造化することを可能にする。
揚げ足取るわけじゃないけど、学ぶことの本質を理解するなら、やっぱり思考が一番大事だと思うな。だって、書くことが結局すごいのは、質の高い思考を助けるからじゃない。君も実質的にそう言ってるしね。
全体として、学習プロセスを「質の高い思考を促進するもの」として理解するのがより役立つと思うよ（専門的に言うならエンコーディングだね）。こう考えると、人に教えること、議論すること、マインドマップ、良いノートの取り方、その他の活動やテクニックも、なんで学習に良いのか説明がつくよね。
たぶん、人間が発達段階で一番影響を受けやすい短い期間に、それを学んだからじゃないかな。
今、その発達段階にある人間がLLMを使ってることによる影響について、考えてみてよ。
こういうのは後で知識を積み上げるための足がかりになる「コアメモリ」だからだよ。それは君という物語の一部なんだ。全ての知識をこんな風に統合するのはすごく難しいけどね。
これについてドキュメンタリーも実際に作られてるんだよ。Netflixとかで見つけられるんじゃないかな。Idiocracyっていうタイトルだよ。
深い経験（最初の印象とか、自分が誇りに思った瞬間とか）は、脳にとってすごく強烈だから、何度も何度も繰り返し再生されるんだと思うよ。
あと、「脳は必要ない情報を保持しない」っていう主張は、不十分で短絡的だと思うな。例えば、本を読むことは思考を形作るけど、しばらく前に読んだ本のことをすぐに思い出せなくても、会話中に特定の一節（文章、フレーズ、アイデア）を思い出して言及したことがあるよ。みんなしょっちゅうそういうことやってるじゃん。脳は「必要ない」ものも絶対覚えてるんだ。
同意。その時に重要だと感じた何らかの報酬（たぶんDOSゲームをすること）があったからだろうね。僕は大企業で「ThinkPad担当」としてこれを仕事にしてたけど、トリックはほとんど覚えてない（IBMのことは少しだけ）。そしてWindows NTと95が出てきて、どうでもよくなった。これはいつもクソだったよ。だって僕は常にApple/Unix派で、それはただの仕事だったからね。
「認知の衰え」とか「脳の腐敗」って言い方は大げさかもね。論文もサンプル少ないし、「認知負債」って言葉も根拠がないのが変だ。でもMITの研究は面白そう。心理学研究はちゃんと検証が必要だね。脳画像とか見ると「LLMを使った脳」みたいでウケるよ。
「認知負債」って甘い見方だね。本当の危険は「認知の転換点」を超えること。スキルを忘れるんじゃなく、統合的な思考の神経回路が不可逆的に萎縮するんだ。借金みたいに返済できず、脳は「使うか失うか」で壊れたら直せない。
これはエッセイだけの話じゃなく、集団全体の思考をAIにアウトソースしてる大規模実験だよ。結果は、スキルが低いんじゃなく、昔みたいに深く考えられなくなる社会。問題は負債を避けることじゃなく、怠けちゃう脳の代わりに「心を入れる器」が何かってこと。
https://github.com/dmf-archive/dmf-archive.github.io
LLMを何に使うかは人それぞれだね。調べるのが面倒なこと、特に技術的な問題とか、フォーラムを探すのは大変だから、そういう時に使うのは便利だと思う。得た情報は確認しないとだけどね。
でも、自分が詳しい分野ではLLMの文章はまだイマイチ。メールとか書かせても、結局修正に時間がかかって、自分で書いた方が早いかなって感じる。
前のコメントで「面倒なことはLLMでスキップ」って言ってたけど、記事では、LLMを使うとアイデアが狭まって深く考えなくなり、批判的でなくなって、認知負債が溜まるって書いてあるよ。思考力が落ちて、浅い考えを内面化しちゃうリスクもあるってね。
AIは「Zettelkasten」の真逆だね。深く学ぶ代わりに、AIが作ったものを浅く早く繰り返すだけ。OpenAIでハマスとかヒズボラについて10ページのエッセイ書いたけど、何も覚えてないし、覚えてることもハルシネーションだったか事実だったか分からないんだ。
賢い人は書くことが考えることだって分かってるよね。LLMはスパーリングパートナーとして使えるよ。代わりに書かせちゃダメだけど、間違いを指摘してもらったり、調べる手伝いをしてもらったりするツールとして使えば良いんだ（情報は常に確認が必要だけど）。
もっとコメントを表示（2）
絶対にAIに書かせちゃダメ！自分で書いたものをAIに批判してもらったり、議論の弱いところを教えてもらったりするのに使うんだ。AIが指摘したことは自分で考えて直す。分からなければAIに聞いて、休憩してから自分で書く。これがAIを使って学ぶ方法だよ。
AIを批判ツールとして使う戦略の問題点は、AIの批判を信用できないことだね。だって、存在しない意見を引用したり、情報源を間違えたり、引用文を微妙に変えたりする可能性があるから。論理的な間違いがないと信用できないんだよ。
前のコメントで言ってた引用の間違いとかは、人でも起こるよね。だから検証が必要なんだ。AIだけを情報源にするのは危険だよ。自分の知ってることや経験の範囲内で使ったり、自分で確認できる範囲で使うと良いね。結局、自分が何をしてるか理解して、AIに全部任せないのが大事だよ。
ていうかさ、AIは確率的オウムなんだよ。でも図書館から適当に本を掴むのもある意味同じ。自分で考えるってことはいつも必要だよ。でもそれってLLMを作業を代行してくれるツールじゃなくて、思考ツールとして考える価値があるってことだね。
これに関する唯一の問題は、すごく依存しちゃう可能性があることかな。AIに見てもらわないと何も正しい気がしなくなるんだ。
LLMがどれだけ役立つかについては楽観的な方だけど、これは同意せざるを得ないな。モデルをどう操るか、幻覚をどう減らすかっていう勘は養えるけど、ちゃんとした知識や挑戦的な思考は積み上がらない。LLM出力の特定パターンに対する、出力をもっと信頼するか、別のプロンプト戦略を試すか、コンテキストをクリアするかしないか、みたいな筋トレみたいな反応を学ぶ感じ。スキルと呼べるとしても、モデルが良くなったら数年で無駄になるだろうね。ベルトコンベア作業員が感じるような無力感があるんだ。
多分、文明によってほとんどの肉体労働が無駄になった後、運動するためにジムを発明したみたいに（少なくとも先進国ではね）、将来は何か’クリエイティブライティングジム’みたいなものが増えるだろうね。
この見方、すごく好きだな。趣味でクリエイティブライティングしてる人、クラブとかで詩だけじゃなくてD&DみたいなRPGの冒険シナリオとか書いてる人、たくさん会った気がするよ。’脳のためのジム’の商業版ってどうなるんだろう、流行るかな。学校より構造化される？あれ、これってただの大学で、学生が職業のためじゃなくて、やりたいからそこにいるバージョンじゃない？
スムーズに行ったことよりトラブルの方がよく覚えるもんだから、手で直さなきゃいけなかった部分を覚えているって言うべきだろうね。
AIを、連結された知識（ツェッテルカステンとかね）にアクセスするのとは逆のものと見るのは面白い視点だね。
「…LLMグループの参加者は、ブレインオンリーグループの参加者より、神経学的、言語的、スコアリング全てのレベルで成績が悪かった。」
それは驚かないけど、暗いね。
古き良き自動化の皮肉 [1] と一致してるみたいだね。人間がただ結果をレビューしてハンコ押すだけだと、すごくひどいことになる。拡張ワークフローを本当に機能させるには、関わり方が重要だよ。LLMコードのレビュー？ダメダメ。LLMに自分の変更を見させてフィードバックもらう？それは違う話だね。難しくて多分人気出ないだろうけど、どうにかして運転席にいないと、かなり暗い未来になりそう。
[1]: https://en.m.wikipedia.org/wiki/Ironies_of_Automation
その考えが1983年まで遡るなんて知らなかったよ。「Our Robots, Ourselves」って本で読んだけど、そこでは1990年代後半～2000年代初頭に導入された航空機のオートランドシステムについて話してたんだ。予想通り、自動化の皮肉を読めばわかるように、いくつかのニアミスや事故の後、オートランドはもう使われてない。代わりに、ヘッドアップディスプレイを使ったパイロット支援が使われてるんだ。プログラミング版のヘッドアップディスプレイってなんだろうね？
プログラミングのフィードバックループは大事だよ。構文エラーみたいにすぐ直すものもあれば、テストみたいに自分でやるものもある。コードレビューは時間かかるから、LLMが速くするのに役立つかもね。でも、邪魔しちゃダメだ。集中を保てるようにしないと。プログラマーを速くするものって、信頼できるツールが一番だと思う。LLMは、自分が何を変えたかとか、なぜそうしたか、何を見落としたかを理解するのに役立ちそう。まあ、適当なアイデアだけど。LLMはすごい。でも、うまく組み込むのは信じられないくらい難しいね。今のエージェントみたいなツールは、まだ初期の技術デモって感じだよ。
プログラミングのヘッドアップディスプレイに当たるものって何？って話なら、シンタックスハイライトとかIntellisense、最近のエディターに入ってる無数の細かい機能のことじゃない？
もっとできるはずだよ。俺はUMLをシステム設計の基本にして、「疑似コードリポジトリ」をパターン集みたいに使いたいね。それをLLMのコード生成の文脈にするんだ。そして、複雑さの最大値とか厳密な型チェックとか、通らないといけない受け入れテストみたいな制約をたくさん定義して、LLMが暴走したり幻覚を見たりする可能性を減らす。こうすれば、システムについて考えることは強制されるけど、コードを書くとか typo を直すとかの面倒な部分に時間を無駄にしないで済む。さらに良いのは、これが違うプログラミング言語とUMLの中間表現との双方向システムになって、アプリを違う言語に移植するのがすごく楽になるし、時期尚早な最適化の心配もなくなるかもしれない。みんなPython/Javascriptみたいなもっと手軽な言語で新しいアイデアを試して、後でRust/D/C/C++みたいなよりパフォーマンスの高いシステムに移植できるようになるかもね。
「考える機械を否定しなきゃ。人間が自分の指針を設定すべきだ。これは機械にはできない。理屈はプログラミングにかかってるんだ、ハードウェアじゃない。そして俺たちが究極のプログラムだ！俺たちの聖戦は『プログラムを捨てる』こと。人間として俺たちを壊すものを捨てるんだ！」 https://dune.fandom.com/wiki/Butlerian_Jihad
AIにコーディングのほとんどを任せるようになったら、ちょっと予想外だったんだけど、前より疲れにくくなって、集中できる時間が長くなったんだ。他の邪魔がある中でも仕事が進むようになったよ。要するに、AIに精神的な容量を少しオフロードしたら、他のことに容量が使えるようになった感じだね。
AIって車みたいなもんだと思うんだ。街の外のWalmartまで歩いて行くこともできるし、荷物を持って帰ることもできる。でも、車の方がずっと速くて、疲れないで済む。つまり、楽しいことにもっと質の高い時間を費やせるってこと。
それ、逆だよ。車がなかったら、街の外に walmart なんてできなかったはずだ。10分かからずに行ける近所の肉屋さんとかパン屋さんとかに行くことになるよ。
俺は逆なんだよね。生産性はすごく上がったから、並行して色んなことやるようになって、一日の終わりには脳が100％稼働してたみたいに、めちゃくちゃ疲れるんだ。
それだと、買えるものがずっと少なくなるだろうね（トレードオフが良いか悪いかは判断しないけど、それがアメリカが逆の方向に行ってる主な理由だよ）。
なまけて体が衰えちゃう代償があるんじゃない？
