AIに聞くよりプロンプトを読みたい
引用元：https://news.ycombinator.com/item?id=43888803
授業で文章書くのって、ただのテキスト作るんじゃなくて、生徒に考えさせるためであってほしいよね。LLMは前者しか作れない。専門家や学者がこれ分かってないの、教育関係者中心にマジで萎えるわ。仕事って成果出すだけじゃなく、知識とかスキル、経験を築くことなのにさ。LLMに頼って何十万ドルもかけて、教育から逃げてる学生はマジで人生無駄にしてると思う。思考力失って卒業しても、現実世界の問題はもっと複雑だし、LLMは通用しないよ。自分で struggle して学ぶやつが結局勝つんだよ。
学校の課題にLLM使うのは、ジムにフォークリフト持っていくみたいなもんっていう例え、めっちゃ分かりやすいと思った。もし weights 動かすのが目的なら道具使うのもアリだけど、俺たちがやってるのは自分自身に効果があるようにってことじゃん。先生が質問するのは、先生が答え知らないからじゃないしね。
学生が大学に学びだけに来てるなら、大学は卒業証書なんて渡さないっしょ。俺のピアノの先生と大学の学生を比べてみてよ。学びたいから通うピアノ教室と違って、大学には卒業証書なきゃ来ない、授業キャンセル喜ぶ、無理やりやらせないと勉強しない学生がいっぱいいる。単に就職市場で有利になるから卒業証書欲しいだけに見えるんだ。大学で習うこと、多くの人が将来使わないって分かってるし。個人的には、前より楽に卒業証書取れるようになったって別に気にならないかな。学びたい人は、今でもいくらでも学べる機会あるんだし。
俺は卒業証書のために来てるんだ。マジで学んで engage したいなら、6万ドルかけずにネットでタダでできるし効率いい。授業の writing exercise は、マジで学ぶことじゃなくて、大学に卒業証書もらうための hoops をくぐり抜けるためにあるんだ。教授たちが設定したクソ高い授業料払って、gatekeepers である教授たちに認められないと取れない。マジで何か学んで、それが雇用の証明書になるシステムがあれば最高なんだけどね。教授たちが gatekeepers である限り、この incentive の問題はずっと続くんだろう。
学生が卒業証書欲しがるのは、それに価値があるから。価値があるのは、学生が学習と問題解決を通してしかそれを手に入れられないからなんだ。もし学生が work しないで卒業証書手に入れ方法見つけたら、卒業証書はすぐ、印刷された紙より価値なくなるよ。
俺なら、6万ドルかかるなら、あんたの教育システムも、この学位を要求する会社の採用もどっちも壊れてるって言うね。全ての国でそうじゃないけどさ。別にあんたのせいじゃないけど、 obvious なことを言ってるだけ。
ChatGPT普及以来、教育者が教育法再考しなきゃならないのは明らかだったじゃん。筆者が言う状況は不満だけど、ほとんどは教育システム（と筆者）のせいだよ。筆者みたいな writing exercise なら、学生がLLM使うのは当然。教育者側がどう教えるか、どうテストするか再構成する責任があるんだよ。筆者がこれ見えてないのが不思議だね。大学や学校はAIに関してやり方変えなきゃ、生徒を失敗させてる。AIは問題もあるけど、正しく受け入れれば教育体験をポジティブに変える可能性も秘めてるんだよ。
教育の point は実際学ぶことじゃなくて、資格を受け取ることなんだよ。これは今の学生の文化的な問題よりずっと大きい。彼らは、大学の学位が自分が cog になる machine の一部だって正しく信じてる。みんなが alarming に思うべきなのは、何も学ばずに卒業して、職場に行っても atrophied した批判的思考スキルを使わず、単に machine の cog としてまたさらにやるってことだよ。
LLMを papers に使うことが、あんたの brain が atrophying してるってことにはならないよ。LLMを papers 書くのに使ったとしても、心を challenge する方法はたくさんあるんだから。
さらに言えば、学生が work なしで diploma 手に入れられるなら、その diploma にはもはや価値はない。diplomas に価値がなくなったら、労働市場での signal は noise に変わる。雇用主が diploma を求めなくなったら、雇う理由は？この story は現実になると思う。社会は radically シフトして、批判的思考スキルが唯一求められるスキルになるだろうね、grunt work は automated できるんだから。じゃあ signal は何になる？apprentice-based employment に戻る？潜在的な laborers はどうやって批判的思考スキルを、直接会って示す以外で示すんだろう？
この考え方は、もっと一般的な文化の変化の一部だと思うんだ。1960年代には、学生の大多数が大学に行く一番の動機は「人生哲学を深めること」って言ってて、少数派が「経済的に成功すること」って言ってたんだよ。これが1980年代あたりから逆転し始めて、今はその割合が完全にひっくり返ってるんだ＊according to the UCLA CIRP freshman survey
もしこの考え方が広まったら、学位の価値はあっという間に下がっちゃうんじゃないかな。
これは今の学生が全体的に感じてることみたいだね。アカデミアは中流階級への玄関であり障壁として居座っちゃった。目標以外何も興味ない人たちが、その過程にワクワクしないからって、何で驚く必要があるの？
これはダメだね。みんなが欲しがる一つの仕事に何千人も応募が来るんだ。雇用主は少しでも知性があって、誠実で、協調性があることを確実に示せるサインなら何でも受け入れる。大学の学位はその3つ全部をカバーしてるんだ。でも、それはただの雇用市場の話。他に大きな問題はインフレと住宅市場だよ。トップレベルの仕事（学位が必要なやつ）に就いてない人たちは、家を買う余裕がない。家賃さえやっと払えるかって感じ。都市は住宅をもっと建てたがらない。だって、持ち家の人の資産価値の上昇を損なうから。俺たちは「ハシゴを外す」社会にいるんだよ。
＞ 俺たちは「ハシゴを外す」社会にいるんだよ。
反対はしないけどさ、ハシゴを外す人たちの文句を言いながら、いざ自分たちが同じ状況になったら同じようにしちゃうんだよね。「一般的な考え」から外れようとする人がいないなら、結局この行動は変えられないんだ。
＞ 学生がズルして卒業証書を手に入れる方法を見つけたら、それは印刷された紙切れ以下の価値になる。
全くその通り！昔ながらの方法、つまり徒弟制度でプロを育てる時代が早く来ないかなって楽しみにしてるよ。何百年もの間、鍛冶屋や職人にはそれでうまくいってたんだから。
個人としてより良い選択をするだけじゃ問題は解決できないし、人にそうしろって促すのはエネルギーを吸い取るし、気を散らすだけだよ。システムは誠実さをダメージだと解釈して、それを迂回するんだ。
森を見て木を見失ってるんじゃないかな。昔、エッセイの課題で本を読んだか確認されたけど、今はChatGPTに書かせれば終わりで、過程で何も学べない。プログラミングでも同じで、初心者はLLMで難しいことできるって言うけど、スキルや知識は得てない。Google MapsでPragueからBrusselsへの道順を知れても、ドイツの地形を学んだことにはならないのと同じだよ。
中世のギルドでは、親方と認められるために、徒弟はchef d’oevre（傑作）、つまりマスターピースを作る必要があった。だからそう呼ばれるんだ。コンピューターエンジニアリング業界でも、ますます同じことを証明しないといけない。以前の仕事の一部として、あるいはサイドプロジェクトとして、あるいはオープンソースへの貢献としてね。卒業証書はまだ役立つサインだけど、それだけじゃ十分じゃない。大学を出たばかりのすごくジュニアな職くらいかな。そういう職こそ、自動化によって最もプレッシャーがかかってるポジションなんだ。
＞ 6万ドル節約して、オンラインで無料で、おそらくもっと効率的にできるだろう。
悪いけどさ、君や他の誰かの考えに水を差すわけじゃないけど、いや、おそらく無理だよ。
学ぶことの難しい部分は、コンテンツにアクセスできることじゃなくて、規律と献身なんだ。学校は構造、目標、期限、成果物を提供してくれる。この価値はいくら強調しても足りないくらいだ。
オンラインでプログラミングを学んで、開発者として仕事に就くつもりだってたくさんの人から聞いたよ。そのほとんどが失敗してる。
大学がゲートウェイになったってどういうこと？大学にそんな力あると思えないんだけど。どっちかっていうと、雇用主が大学をゲートウェイにしたとか、社会全体の文化が誤解してたとかじゃない？それか、ミドルクラスへの道が狭くなって、本当の門番（hiring managers）がいい選び方できなかったとかさ。
学んで問題解決しないと手に入らないから価値があるって？違うね、会社が価値を置いてるからだよ。最初の給料が決まるスタート地点。大学行ってないけど独学の俺が言うけど、あの紙切れあれば人生楽勝だった。同じ知識でも、卒業組の給料に追いつくのに15年かかったわ。カンニング野郎が大手car companyで稼ぎまくってる。人生不公平、会社は紙しか見てない。学生には、ズルできるならしろって教えたいね。
教える側が教え方やテスト方法を変えるべき…著者がこれ分かんないのおかしいねって？
Universities and schoolsはAIに関してやり方変えないと、生徒をダメにするって？
マジでそうは思わないね。生徒はまず自分に聞かなきゃいけないことがあるんだ。「俺は学びに来たの？それとも単位取るだけ？」ってさ。
論文にLLM使っても脳は衰えないって？それは時間の無駄遣いってことだよ。もし大学生が授業でLLMs使ってるなら、そもそも大学にいるべきじゃないんじゃない？
そうだね、でもpiano lessonsはmusic degreeじゃないし、vocational programs or apprenticeshipsもformal educationじゃないよ。個人的には、AIのことより、他のコメントに書かれてる内容の方がよっぽど気になるけどね。
君には同意するよ（高評価もした）。でも考えてみてほしいんだけど、もしMOOCsの情報やassessmentがon-parなら、なんでfancy schoolsはMOOCsに同じcredentialsを出さないんだろうね？それはきっと、彼らがcredentialの価値をちゃんと分かってて、それをclosely guardしてるからだと思うんだ。
それって、多くのEuropean countriesでprofessionalsがtrainingしてるやり方だよね。そしてcountries like Germanyだと、job evaluationsはclose at heart Better keep all those job evaluations close at heartって感じ。attorneyにreviewedしてもらう方がいいくらい。legally can’t say anything negativeだから、negativityをexpressするhidden languageがあって、readerにはpositiveに聞こえるんだよ。
I would also say some of the attitude shift is also contradictory。The amount of people I interact with who have a lot of bad things to say about the education who tell me universities should focus on education in a general Meanwhile also say that schools to should focus on student getting jobs。多分聞いたことあるでしょ、「why don’t high schools teach plumbers courses.」って話と「colleges are too focused on checking the boxes so students can get jobs.」って話。
I think you missed the parent’s point。Maybe consider this:Why don’t employers recognize the credentials of a MOOC to the same degree that they would a university degree？
We could similarly ask why employers value the degrees of some universities more than others。I think it’s important to realize that ultimately the decisions come from the employers, not the universities。No one is making the employers do anything。But at least the second question might have a clearer partial answer。In part, there is a selection of a tribe, an implicit “culture fit” that’s happening。It isn’t uncommon to see employer bias towards specific universities。This is especially true with prestigious universities。But it’s not the universities that are making anyone do anything and that’s an important distinction。
We can’t fix the problem by making better choices as individuals ＞ That’s wildly inaccurate。Your logic necessitates that “the system” is not composed of individuals。The problem itself was created through individual actions…
もっとコメントを表示（1）
それズルい言い方だよ．何知らないかなんて自分じゃ分からないもん．独学でテキトー教材だけだと，そんなに学べないし時間無駄にする．
どう学べばいいか分からない高校生もいるし（昔の私みたいに），大学で自分でやるしかないって思い知ったんだ．
完璧な高校生なら０．０１％！すごいけど，世の中のほとんどは違う．
やる気あって目標ハッキリしてる一部には，独学と大学の中間，仕事訓練特化のやつ（詐欺じゃないブートキャンプ）が必要．
大学はネットワーク作る場所．USの学費がバカ高いのは同意．
職場の同僚で，LLMでトンデモナイ駄文を大量に生み出してる何人かに，もうプロンプトだけ渡してって頼んだよ．だって，少ない入力でLLMがあんな長文出せるなら，俺はその短い入力だけ欲しいんだもん（あとはただのでっち上げのクソだから）．
俺が初めて言ったわけじゃないけど，LLMってああいう使い方すると反圧縮アルゴリズムみたいだよね．簡単なアイデアがLLMで膨らんだメチャクチャな文章になって，それを誰か別の人が別のLLMに通して元のプロンプトに近いものに要約し直す．この無意味な作業で誰が得するかって，Sam Altmanとその仲間以外誰も得しない．奴らはこのおかげでクールな＄０．００００００００１をポケットに入れる．
何を探してるかによるね．俺は中途半端なアイデアをホワイトペーパーにして，いっぱい褒められたよ．LLM使って俺のJiraチケットを複雑で完璧に見せたこともある．包括的なドキュメント書いたって褒められるために使ったりね．俺のパフォーマンス評価の一部は，遠回しに水増しして洗練されてて徹底してるように見せることなんだ．
LLMはああいう使い方すると反圧縮アルゴリズムみたいだって？それが答えだと思うな．
LLMは主にデータやテキストの翻訳，縮小に役立つのであって，拡張には向いてない．
例外は，少ない情報を冗長な形式で表現する必要がある，繰り返しや定型的なテキストやコードの場合だけだね．
こういう”パフォーマンス評価”ハックは，ぶっちゃけどこでも通用するよ．どれだけ通用するかは，その組織がどれだけ固定化してるか（新しい人たちが変えにくいか）と関係してるね．そこで働くのに同じように振る舞う必要はないけど，他の人がそうするって受け入れて，自分の期待値を調整しとくと助かるよ．
こういう”パフォーマンス評価”ハックがどこでも通用するって？例はいっぱい無いけど，俺の経験ではね：
＊ 毒性のある環境では通用した．自業自得だよ．
＊ 機能的な環境では通用しない．そういうクソみたいな評価基準が無いから．
もしそんな手口に頼る必要があるなら，そろそろ転職考えた方がいい．
ChatGPTは俺の文章に柔らかさとか丁寧さを加えるのにすごく役立つよ．普通のamericanには多分失礼になるような，もっと直接的なテキストが欲しい？
LLMのもう一つの役に立つ『拡張』の使い方だよ．
もし知らなかったら（パラメータが多い）LLMは自分で学ぶのにかなり使えるんだ．
ネットに情報豊富なよく分かってるトピックなら，LLMはマジで『自分のこと知ってる』．幻覚見ないし，誤解も訂正してくれるし，あなたのレベルに合わせて教えてくれる．無限に辛抱強いチューターだよ．
会話を通じて何でも学べるし，理解の穴埋めにもいい．個人的には『ChatGPTとWikipediaをタブで行ったり来たり』って学習法がめちゃ便利．
”クソみたいな指標”がない大企業なんてどこにあんの？正直さ、Meta、Google、Stripe、Airbnb、Oracleは全部バカげた評価指標で決まる人事考課にめちゃくちゃ頼ってんじゃん。そこで出世するには、投稿主さんが言ってるくだらないゲームをやらなきゃいけないんだよ。
頭の中でモヤモヤしてるアイデアを、LLMにまとめてもらうのが超役に立つんだよ。適当に打ったり喋ったりした思考をまとめてって頼むと、こっちの言いたいこと、しかもより上手く、簡潔にまとめてくれるんだ。
LLMは連想するのにも使えるよ。ドキュメントで学習させたLLMを想像してみて。そしたら、質問に関連する情報を取得できるじゃん。これって特定のドキュメントだけじゃなく、「一般常識」みたいなのにも広がるんだよね。他の人が「色んなことを教えてくれる」って言ってたのはこういうことじゃないかな。
評価システムが直ればいいのにね。そうすれば、非生産的になるまで膨らみ続ける”軍拡競争”みたいなことになんなくて済むじゃん。代理指標に過剰に合わせすぎちゃうのは、現代の災いの一つだよね。唯一の希望はさ、それがめちゃくちゃ広まって簡単になることで、洗練されてるように見えなくなって価値を失うことかな。
自分の経験だとさ、必要な情報がドキュメントにあるなら、LLMなんていらないんだよ。もしドキュメントにない場合、LLMはそこにはないはずの情報を勝手に作り出しちゃうんだよね。それがマジで時間の無駄。
コンテンツとその表現を分けられるならさ、読む側がトーンとか長さを選べるようになるじゃん。いつか、未来の読者が何を求めてるかなんて考えるのやめるようになるかもね。具体的な入力だけを記録して、読者のLLMがそれを説明してくれるようになるんだよ。
全くその通りだよ。もし半ミリオンとかそれ以上の年収を15万ドル以下に下げていいならね。俺が言いたいのは、Metaみたいなところで働くなら、あの不幸なゲームをやらなきゃいけないってことなんだ。
＞ 自分の経験だとさ、必要な情報がドキュメントにあるなら、LLMなんていらないんだよ
”必要”って言葉は強いね。ctrl+Fができる必要ある？ぶっちゃけ全部読めばいいじゃん。でも、ctrl+Fのが楽だよね。LLMも同じだよ。「あいまいなctrl+F」として想像してみなよ。役に立つこともあるでしょ。
形式と機能はさ、自然言語ではそんなにキッパリ分けられないと思うな。頭の中にあることをテキストにする時点で、もう表現の選択をしてるわけじゃん。一つのテキストに固有の正しい解釈なんてなくて、その意味は読む人、書いた人、そして多分そのテキストが指してるものがうまく一致した時に初めて生まれる関係性なんだよ。言葉って喋るんじゃなくて、ただ指し示してるだけなんだ。
LLMはドキュメント作成で役立つかもだけど、リファレンスとかチュートリアルとか種類があるからね。繰り返し作業とか要約には良いかも。でもやっぱりCaroline Roseみたいな人間が、API呼び出しとかちゃんと理解して設計ミス見つけたりする方が大事だと思うな。
LLMで組織がデブになって非生産的になって自滅するなら、いっそそうさせちゃえば？そういうゾンビみたいな会社が減って、マシな会社が出てくるスペースができるかもじゃん。
”誰かがAIで作ったメッセージ送ってきたんだけどさ、元のプロンプト当ててみてよ！”ってゲームになってるじゃん。もうAIって単にちょっと綺麗に整形してくれるだけだね。
俺、シニアエンジニアとしてLLMめっちゃ使ってるよ。特に、周りに俺の提案（SLOとかエラーバジェットとかKubernetesとか）の背景を理解してもらう時とか。自分で3時間かけて書く代わりに、LLMに2分で書いてもらって見直すだけ。2.5時間も節約できるんだぜ。作者はここを見落としてると思うな。
俺のLLMワークフローって、対話しながら意図を明確にしてく感じなんだ。その最終的な意図のコンテキストを保存しといて、後でコードやドキュメントの”なぜ”をLLMに聞けたらすごいと思わない？技術的には難しいけど、こういう意図をキャプチャするコンセプトって解決する価値ある問題だと思うんだよな。
自分の考えをちゃんと伝える力って、思考力を鍛える上でマジで大事なんだよね。LLM使うと、適当な入力でもそれっぽい文章になっちゃうじゃん。思考が伴ってなくても”これ使えるじゃん”ってなっちゃうの、長い目で見ると自分にとって良くない気がするな。
これ、人間が悪いと思うんだ。なんで色んなところで無駄に長い文章を書く必要があるのか、俺には全然理解できないんだよね。
”でも、それってどんな代償を払うの？”って問いかけが、多分ここでは一番合ってるんじゃない？それはケースバイケースだと思うけどさ。
そうそう、俺がちゃんと考えてないとか、考え方が悪いって問題じゃないんだ。”Murky”は言葉が悪かったかも。読者ってそんなに集中力ないし、下手な文章には厳しいから、俺が書く文章を可能な限り分かりやすくしないといけないって話なんだよ。
いやさ、今のLLMってちょっと複雑なものになると全然役に立たないんだよ。俺の2kLOCのプロジェクトとか、全然理解してくれない。”React hooks”をReact以外で使ってるのに、どのコードアシスタントもReactプロジェクトだと思い込む。書いてくれるドキュメントも、コード見れば分かることの繰り返しとか、デタラメばっかり。コード理解してドキュメント書いてほしかったんだけどね。まあ、AIがそこまで賢くなったら、みんなAIでドキュメント生成するからいらなくなるか。
記事みたいにさ、構成が雑でもいいから元の文章読みたいんだよね。
ここにある元の文章の方が断然良いじゃん！君自身の声とか考え方がわかるし。要約版は個性が全然なくてさ、しかも驚くことに長くなってるんだよね。
もっとコメントを表示（2）
著者の意見、めっちゃわかるわ。ChatGPTとか使ってる人を批判してるんじゃなくて、プロンプト考える時の思考プロセスの方が、AIが作った文章より断然面白くて人間らしいって話だよね。俺もLLMでコード書いてみたけど、プロンプトがしょぼいと出来上がるコードもマジでゴミなんだよ。アイデアとか構成がないとダメだね。最近LLMで論文とか小説書いた人、反論求む。俺は簡単な定型文以外で使ってないから。
著者の意見は一般化しすぎかも。彼はAIに短い文章を情報薄く引き伸ばさせる使い方を想定してるみたいだけど、俺は違う。俺は大量の情報をAIに投げて、何回もプロンプト調整して、自分で手直しすれば済むレベルの文章を作るんだ。このやり方だと、AIを使ったってパッと見じゃ分からない。だから、「プロンプト読みたい」なんて言われるのは、ブラウザ履歴とかメモも読みたいって言ってるようなもんだよ。
大量の情報をAIに投げるってやり方は、ちゃんと理解しようとしてないように聞こえる。ネット情報とかテキトーに集めてAIに投げて、その出力を自分の作品だって言うんでしょ？
それ、まさに記事の言う通りで読む価値ないよ。AIが作った流暢な文章には興味ないね。サッと調べればわかることだし、何も新しいことない。君自身が面白くない。でも、ちゃんと時間をかけて情報吸収して、自分で意見持って、議論できるレベルになったら興味持つよ。AIじゃそこには行けない。だからこそ面白いんだ。
なんか、変に意地悪な決めつけしてるね。俺が言ってるのは、自分でほとんど全部書いた情報とか、俺しかアクセスできないような情報のことだよ。ネットで適当に拾ってきたものじゃないってば。
大量の情報をまとめて、より分かりやすい小さな文章に仕上げるのって、LLMがマジで得意なことなんだよ。HNで誰かに分かってもらうためだけに、同じ作業をわざわざ手作業でゆっくりやるなんて、仕事としてビジネス価値を出す上では全然生産的じゃないでしょ。
これが問題の核心だね。最新モデルでも、プロンプトが曖昧だと平凡な答えしか出ない。GIGO（ゴミみたいな入力からはゴミみたいな出力）だよ。
人間は「制約」なしで新しいアイデア出せるけど、LLMは難しい。例えばD&Dのダンジョンパズルを「オリジナルで想像力を働かせて」ってプロンプトで頼んでも、99パーセントはありきたりな物理パズル出すだけ。サウンドボードにはなるけどね。
ほら、また俺の言いたいことの証明をしてくれてるじゃん。それはさ、「証明するためだけ」にやってるんじゃないんだよ。「情報を自分の中にしっかり取り込んで、それをまとめる能力とか、物事を批判的に考える力を向上させるため」なんだ。
まあ、君の目的が「ビジネス価値を出すこと」だけなら、AIを使って面白くない文章でも、それで稼げるんならいいのかもしれないね。俺のポイントは、AIを使わずにそういう能力を磨けば、もっと面白い人間になれるってことなんだ。本物の人間とちゃんと議論できるようになるよ。
理解してるとか面白さとか、そういう話じゃないでしょ。電卓とかコンピューターを使うのにはちゃんとした理由があるんだよ。AIからのAPIリクエストに、人間が手作業で一つ一つ返信するなんて誰もやらないじゃん。コードをサーバーで動かすんだよ。適切なツールを使うのは、ただ自分の仕事をきっちりやってるだけだよ。
ちょっと待って。俺たちが話してたのは「文章を書くこと（ライティング）」についてだよ、「雰囲気でコードを書くこと（vibe coding）」についてじゃない。文章を書くのに電卓は使わないでしょ？文章を書くのにAPIリクエストなんて使わないよ（AIに書かせる時は別だけどね）。
もし君の仕事が人間が読むための文章を作る仕事なら、自分の頭でアイデアを整理したりまとめたりする能力がない状態っていうのは、正直、君が仕事をうまくこなせてるとは思えないんだけど。生産的かもだけど。雰囲気コーディングで稼げるプログラマーもいるけど、良いコードは学べない。金稼げるなら良いけどね。
AIで作った仕事を見せられたら、AIが大変な部分をやったと思ったら、その人が果たした役割を割引して見ると思うよ。みんなAIで作られたものは”AIだけがやったこと”って見て、誰でもできたって思うようになるだろうね。次のHarry Potterでさえ、AIによる平凡な作品の海に埋もれる。読む意味がなくなるよ。
＞我々はライティングについて話してたんであって、vibe codingじゃない。ライティングに電卓は使わないし、LLMに書かせるとき以外APIリクエストも使わない。
でも、データの要約や変換にはいつも使うよね。スプレッドシートを考えてみてよ。大量のデータを入れて数式でグラフや統計にする。手で全部やることもできるし、データがもっと”内面化”されるだろう。でもほとんどの場合、生データから手でグラフを作ったり内面化したりするのは、データで本当に達成したいことには有用でも必要でもないんだ。
私の経験だと、Geminiはクリエイティブライティングに結構いいことがあるんだ。でも、すごく丁寧にプロンプトしたり編集したりする必要があるよ（アイデアを与えたり、消したり、トーンを決めたり、簡潔にしたり、何度も書き直したりとかね）。https://old.reddit.com/r/singularity/comments/1andqk8/gemini…
＞deliver business value. その考え方って、この記事を書かせたAIみたいな考え方と直接関係してると思うんだ。”It doesn’t matter”って君には見えるんでしょ。タスク自体が大事なんじゃなくて、アウトプットとお金になるかだけ。craftは、売れる値段よりどうでもいいんだね。
君は数学と、例えば文学とか歴史の区別がついてないみたいだね。LLMが例えばHarry Potterの本を入れて、誰もが絶対同意する形で点数をつけられると本気で思ってるの？
あと、スプレッドシートからグラフや統計を出すのに本当にLLMを使ってるの？それはたぶん悪い考えだよ。だって、ちゃんとやってくれるツールがあるでしょ。
私はGeminiをクリエイティブライティングで主に使ってる。長いコンテキストで原稿全部入れられるから、良いベータリーダーになるんだ。章のアウトラインも上手く、作品全体を数秒でレビューできる価値は大きいよ。
LLMとの対話の仕方がモデルより重要だと思う。ChatGPT 3.5以降、私はLLMで良い結果を出してる。章の核を持ってアプローチし、詳細を質問させ、アウトラインやラフドラフトを作らせて完成させる、ってやり方なんだ。
我々はライティングの話をしてて、vibe codingじゃない。ツールを適切に使って早く終わらせるのは常識だよ。同じ結果に10倍コストかけるのはビジネス判断としておかしい。それがライティングでもね。
手でやることを否定してるわけじゃない。旅が目的のときも目的地が目的のときもある。どっちもいい。
法律文書の初稿をAIで作って弁護士に直してもらうのは、かなりの時間と費用を節約できた。AIなしじゃ大変だったけど、AIで弁護士の時間やコストも減らせた。
セキュリティ監査レポートも、AIを入れる前と質は変わらず、同じ時間で数を増やせた。君の提案はエゴで価値を下げるってことだ。私は自分の成果物を理解してるし、そうでなきゃAIがあっても作れない。誰かがそれを”面白くなくする”と思っても、私の仕事はエンタメじゃないからいいんだ。
複雑な気持ちだ。LLMの出力は人間が読むものに使うべきじゃないと思うけど、翻訳や第二言語ライティングには例外を設ける。ただ、それに頼る人は弱点を見抜けないだろうね。今の学生はLLMを何も知らずに信頼して質も評価できなくなるかも。
著者と違うのはコーディング。コードはコンピューターが読むもので、AIが書いても問題ないと思う。LLMは簡単な関数を書くのに時間を節約してくれるから、つまらない作業を早く終えて面白いことに集中できるよ。
Miyazakiさんが”人間は自信を失った”って言ったのが一番的確だと思う。LLMは退屈な作業の良いツールだと思うけど、人間のユニークな視点を置き換えられるって考えるのは悲しいね。
それって使い分けの話だよねー。学習目的と、クライアントに納品する契約業務って全然違うじゃん。
＞誰かが次のHarry Potterを書いたとしても、だいたい似たような平凡な作品１００万個の海に埋もれちゃうかもね。正直言って、最初のHarry Potterなんて普通のイギリス寄宿学校の話だよ。Rowlingはまあまあなライターで（後の巻でそれが顕著だけどさ）、出版社にたくさん断られたのもそのため。でも、NetscapeがイケててInternetが盛り上がって、Animeもすごくて傑作が出まくって、MTV animationもBeavis and Butt-headからDariaへって時代だったんだよ。作家たちはUsenetで読者と交流してた（Wheel of TimeとかBabylon 5とか見てみ）。Fantasyは硬派なオタク男子向けサブカルから、本好き女子オタクもハマるものになってた。そんな燃えやすい状況にHarry Potterが落ちて、あっという間に大ブレイクしたんだ。
＞最近LLMを使ってアカデミックやクリエイティブな文章を書いた人の反論を聞きたいなー
校正には超使えるよ。あとは論文の結論とか要約を書くのにもいい。要するに結果をまとめて魅力的（科学者にはこれが苦手）にする作業ね。ただし注意点もあって、
・全部の情報はプロンプトに入れるべし。入れないとハルシネーションするよ。
・そのまま提出できるレベルじゃないけど、白紙を前に固まるよりは全然マシで、叩き台にして手直しできるよ。
メソッドセクションもLLMに使いたいなーって思ってる。毎回同じ情報なのに言い回しだけ変えなきゃいけない部分だから。でも今のところ技術的な詳細の正確さは信用できないんだよね。彼らは言語モデルで、知識も理解もないからさ。
誤解しないでほしいんだけど、LLMが他の人間をだまして、テキストが実際よりプロっぽく見えるのを手助けするってことは否定しないよ。LLMはまさにそのために作られてる。でも、君の法律文書はLLMなしの時と同じくらい質がいいのか気になるな。悪くなってるけど安くなってる、なんて言われても驚かないよ。セキュリティ監査について言えば、実際に見た問題があるんだ。LLMはダメな監査を見つけにくくしてるし、僕の経験だと良い監査よりダメな監査に出会うことの方が多かった。君は「LLMはお金を稼ぐのに役立つ」って言うけど、僕は「LLMは仕事の質を下げてる」と思う。これは両立する話だね。
うん、学習目的は自分の知識を深めることだね。ビジネス、特に最近のは、一番安くてまあ許容できる仕事を発注者に一番高く売る方法を見つけること。品質チェックしないのは発注側のせいかもね。
＞そういう世界では、誰かが次のHarry Potterを書いても、だいたい似たような平凡な作品１００万個の海に埋もれて、永遠に隠れたままになるかも。読む意味なんてないよ。だってプロンプト一行で得られる安物と同じかもしれないんだから。そうじゃないものを見つけるのは費用がかかりすぎる。
これはもう何十年も前からそうだよ。AO3とかに素晴らしい作品が埋もれてる可能性だってある。でもガラクタの中をかき分ける価値がないから、絶対見つけられない。AIはただ、すでに起きてたことを加速させてるだけだね。
Claude Sonnet 3.7でコーディングしてる時、プロンプトに追加した制約が意図しない副作用を生むことがよくあるんだ。
例えばね：
・”無駄なコメントは入れるな” → モデルが自分が何やってるかちゃんと把握しきれなくなる。コード書いてもらってから自分で手直しするのが一番。
・”シンプルに” → 型安全みたいなとこで手抜きする（不必要に）。
・”例外はバブルアップさせろ” → Claudeは既存のエラー処理ロジックを消しちゃう。Claudeはエラーの原因直すより、エラーを握り潰してログ出すのが好きみたいだけど、これをプロンプトに入れると、自分で足したエラー処理まで消されちゃったんだよね。
時々、良い文章ってNP完全問題に似てるよね。作るの難しいけど、検証は簡単。ガベージの中から良いアウトプットを見分けられるスキルがあれば、そこそこ良い結果は出せるよ。
＞LLMが例えばHarry Potterの本を入力として、みんなが絶対同意するような採点ができると思う？
いや、人間だってそれはできないと思うけどね。主観的なものは主観的。これが、LLMみたいな自動化ツールで色々やるとデータを「内面化」できなくなる、とか、データを「内面化」しないのがなんでダメなのかっていう君の考えとどう繋がるのか、いまいち理解できてないんだ。僕が君の懸念を誤解してるだけかな？
