Mr TIFFとは？マジックナンバー42に隠されたTIFFファイルの真実！
引用元：https://news.ycombinator.com/item?id=45816853
追加で言うことはあんまないけど、TIFFのマジックナンバーはやっぱり42だよ。42だから42ってこと。AdobeのWebアーカイブにもバイト2-3に「TIFFファイルをさらに識別するための、任意だけど慎重に選ばれた数字（42）」って書いてある: https://web.archive.org/web/20210108174645/https://www.adobe.com/devnet/endif/pdf/tiff6.pdf
TIFFのWikipediaトークページで、作者自身がこれを認めてるよ！こっちがそのリンクね: https://en.wikipedia.org/wiki/Talk:TIFF/Archive_1#h-Source_f…
42って、別に全然特別じゃない数字だよね。Douglas Adamsが”発明”する前に、CS分野でこの数字が出てきたことってあるのかな？
あとね、42があらゆることへの答えなのは、それがアスタリスク（*）のASCIIコードだからだよ。
後から見ればって話だけど、元記事は最高だったし、水を差したくないんだけどさ…。あのコメントは2007年からあったし、Wikipediaのユーザー情報は最初からかなり明確だったんだよね（https://en.wikipedia.org/w/index.php?title=User:Scarlsen&oldid=121430939）
特別じゃないってどういう意味？42は最小の非自明な魔方陣のマジック定数だよ。
そうだけど、適当なWikipediaのユーザーページとか、探してるものが分からない状態でアーカイブから特定のトークページのコメントを見つけるのは簡単じゃないよ。友達にヒントなしで探させてみてごらんよ。
そうは言っても、作者はこの件について特に調べてたし、似た名前のヒントも持ってたし、自分でも同じページを編集してたんだよ。
あと、整数でもあるよね。自然界のほとんどの数が実数だって考えると、これはかなり特別だよ。
“investing over”が何を意味するかは知らないけど、僕が言えるのは（繰り返しになるけど）：友達と、後知恵なしで試してみて。Wikipediaのページに来る人のうち、トークページを読む人はごくわずかだし、ましてやアーカイブまで見てコメントを全部読むなんていないよ。この場合、筆者が探すべき綴りを知った途端、あとは簡単だったろうね。
なんで”h”が見えるの？僕はアスタリスクの話をしてるんだけど。
つまり、著者はこの件で文字通り本を書いていて、TIFF仕様の本当の著者を探す調査を文字通り進めてたってことだね。彼は他の人にインタビューしたり、タイプミスのある名前を見つけたり、PDFの中で白い線に隠された本当の名前まで見つけたりしてたんだ。明らかに調査に労力を注いでたよ。
僕らは人間だし、誰だって見落とすことはある。「後知恵は20/20」って言ったけど、それでも、TIFF記事のWikipedia議論ページにずっとあったんだよね。それは事実だし、名もなきHNerが数時間で見つけちゃった。繰り返すけど、彼が見つけずに、故Stephen Carlsenの自宅住所に手書きの手紙を送って、もっと深い人間関係を築けたのは、多分良かったんだよ。彼がその後すぐに亡くなったことを考えると、特に意味深いことだね。
「42」は故Stephen Carlsenのお悔やみ欄にも載ってるよ。1. https://www.mountainviewtacoma.com/obituaries/stephen-carlse…
僕が間違ってなければ、あのウインク顔文字はhunter2パスワードのミームに言及してると思うな。
トークページってその記事のソースとして使えるの？
トークページは普通ソースとしてNGだよ。
でも、今回は著者さんがもう亡くなってる確立された専門家だから、大丈夫かもね。でも賭けはしない方がいいよ。
https://en.wikipedia.org/wiki/Wikipedia:Verifiability#Self-p…
最初は意図的だったと思ったけど、ソースはないんだよね。
追記: 他のコメント見たら、やっぱりランダムだったみたい…
最高の幸せだね：「答えはすごくシンプルだよ。ただのジョークさ。普通の小さい数字が必要で、これを選んだだけ。二進数とか13進数とかチベットの僧侶とか全部ナンセンスだよ。机に座って庭を眺めて、『42でいいや』って打ったんだ。おしまい。」って作者本人[1]が言ってる…でも、真実で良い話を台無しにするのはやめようよ。地球がなんで作られたか思い出せば、「本当の」答えはどこかにあるかもね。
[1] https://en.wikipedia.org/wiki/Phrases_from_The_Hitchhiker%27…
面白いことに、彼が返信してる相手はtavisoだよ。
[0] https://news.ycombinator.com/user?id=taviso
[1] https://en.wikipedia.org/wiki/Tavis_Ormandy
svat、よく言ったね。「一度知れば、もうわかる」。それまでは、干し草の山から針を探すようなものだし、見つかりたくない人もいるんだよね。
すごい発見だね！
おっと、いつものように何も知らないユーザーが「間違ってる！」って返信してるのまで全部揃ってるじゃん！
ああ、ありがとう！
このミームは知らなかったよ。面白いね。
あのコメントには感謝しかないよ！
ファイル形式の記事で最後には涙目になるなんて信じられないよ。素晴らしいね、ありがとう！
Oisin、ありがとう。本当に美しい話だよね。彼の元妻が共有を許可してくれたんだ。
多くの人が裏方で働くけど、表彰されることもないよね。アイデアが形になっても、せいぜい期限切れの特許に名前が残るくらいさ。この話は感動的だね。
Daniel、ありがとう。Stephenの元妻とメールをやり取りしたら、心が温かくなったよ。彼女にこの謙虚な天才の話を世界に共有してもいいか聞いたら、快く承諾してくれたんだ。
そうだね、本当に。この記事を書いてくれてありがとう、感動したよ。それに、僕らの文化を避ける文化の歴史家になってくれてありがとう（時々、テックはルーツや歴史を認めずに永続的な現在に存在しようとするように思えるからね）。
Isoprophlex、認識してくれてありがとう。僕が取材した多くの人たちが、テックや製品を皆にとってより良くするために本当に貢献してきたんだ。特にApple周辺の人たちね。でも彼らは有名な人たちが得たような評価を全然受けられなかったんだよ ;-) 誰のことかわかるだろ？
二人ともありがとう！
もっとコメントを表示（1）
TIFFのトークページをチェックしたら、Scarlsenからのコメントを見つけたよ: https://en.wikipedia.org/wiki/User:Scarlsen
なんと答えはもうWikipediaにあったんだね :)
ありがとう！Scarlsen（Stephen E Carlsen）のWikipediaの編集履歴（https://en.wikipedia.org/wiki/Special:Contributions/Scarlsen）を見てみたら、トークページでのたった一つのコメント（「42」の理由について）とユーザーページの作成以外に、TIFF記事への編集が2つあったよ。
一つはMicrosoftの（非）関与を明確にしたもの（https://en.wikipedia.org/w/index.php?title=TIFF&diff=prev&ol...）で、もう一つはもっと面白いんだ。彼は細心の注意を払って、出版された引用がない文章を削除したんだけど、その編集要約で「元のTIFF仕様の作成者はTIFFを「The Image File Format」としたかったが、Aldusの社長Paul Brainerdに「横柄に聞こえる」という理由で却下された。」と基本的に真実だと認めてるんだって！（編集要約には「「The Image File Format」の文章を削除しました。目撃証言（私を含む）しかなく、出版された引用がないためです」って書いてある。）
OK、じゃあ彼は一次情報源なんだから、技術的にはその内容をWikipediaに書き戻せるってこと？
Wikipediaを真剣に編集してたのは数年前だけど、Wikipediaの掲載基準は「検証可能性、真実ではない」（https://en.wikipedia.org/wiki/Wikipedia:Verifiability,_not_t...）だったよ。
何が真実かじゃなくて、信頼できる情報源（https://en.wikipedia.org/wiki/Wikipedia:Reliable_sources）で発表されてるかが重要なんだ。
だから、Wikipediaは二次情報源（一次や三次ではない）に基づこうとしてるんだよね。関連セクション（https://en.wikipedia.org/wiki/Wikipedia:No_original_research...）には、「信頼できる形で公開された一次情報源はWikipediaで使えるけど、注意が必要だ」って書いてある。
Wikipediaのエディットサマリーは信頼できる情報源とはみなされないと思うな。（例えば、WikipediaユーザーScarlsenがStephen E Carlsen本人だと信じるけど、なりすましじゃないとは保証できないしね。）
それはWikipediaが「独自研究」と呼ぶものだよ。Wikipediaでは大々的に禁止されてるんだ。
最低でも彼がTwitterかブログで書いて、そのツイートかブログをリンクする必要があるね。でもそれも一次情報源だから、Wikipediaでは価値が低いとされてるんだ。
理想としては、誰か他の人が彼のツイートやブログについて報道して、それを情報源として使うことだね。そうすればWikipediaの神々もハッピーだよ。
URL: https://en.wikipedia.org/wiki/Wikipedia:No_original_research
じゃあ、このHacker Newsでの会話を二次情報源として使って、削除された情報をHacker Newsを引用して書き戻せるかな？
技術的にはイエスだけど、Wikipediaは引用された情報源を求めていて、「私が本人だから言った」みたいな逸話的な情報源はダメだと強く思うよ。
もちろん、彼がまだ生きてたらブログ記事とか書けたのにね。そうすれば、このブログ記事がそのフォーマットや人物に関する情報源として使われるのと同じように、情報源として使えただろうに。
彼のたった一つのコメントはこれだよ：
「そう、本当だ：TIFFファイルの2番目のワード、42は、まさしく『銀河ヒッチハイク・ガイド』の生命、宇宙、そして万物についての究極の質問への答えから取られたものだよ。StephenECarlsen 23:38, 2007年10月12日 (UTC)」
誰かJohn Buckに連絡できる人がいたら、この情報に興味を持つと思うな。今後の調査対象としても面白い道筋だよ。
誰かがHacker Newsからの参照で俺のブログを購読してたんだってさ。だからちょっと覗きに来たよ:-)
俺はf5bot.comってツールを使ってるよ。Hacker News、Reddit、Lobstersを監視してくれるんだ。（f5botとは関係ないけど、めちゃくちゃ気に入ってるんだよね。）
君が探してる人じゃないけど、大体は作者もHacker Newsの常連ってことが多いんじゃないかな。あとは、自分のブログ記事について言及があったらGoogle Alertsを設定するって手も使えるよ。
昔々、Kiboっていう人がいたんだけど、Usenetのフィードで自分のユーザー名に言及されてる投稿を探しては、それに返信してたんだってさ…
Muskは何か自作したか（TweetDeckにカラムがあるかも）、メンションをずっと検索する仕組みを持ってると思うな。ネット全体をカバーするツールがあればいいけど、使うのは有名人とかそのスタッフくらいだろうね。
お金を払えば、こういうツールはたくさんあるよ。「Social Media Monitoring」とか「Brand Monitoring」ってキーワードで検索してみたらいいよ。
俺たちのツールを試してみてよ。例えばこれ: https://KWatch.io
X、Linkedin、Facebook、Youtube、Quora、Reddit、YCで言及されたキーワードを監視するんだ。
Kiboがgrepしてたんだよ
俺が見た限りだと、自分のブログ記事がHacker Newsから大量のリファラルトラフィックを得たのを見て、どこから来たのか確認しに来る人がいるって感じかな。
Ken Shirriffがこれをやってるのを見たことあるよ。彼に言及すると、突然現れるんだ。
やあ！HNの監視にはf5bot.comって無料ツールが便利だよって、他のとこでも言ってたんだ。
TIFFのすごさは拡張性だったな。柔軟なデータ保存や圧縮オプション、しっかりした仕様書のおかげで、GeoTIFFみたいな公共タグも、自分用のプライベートな機能も簡単に追加できたんだ。昔は、単色タイルのためのカスタムリーダー/ライターでアプリのパフォーマンス改善できたし。TIFF、ありがとう！
TIFFの最高の点であり最悪な点は、拡張性が高すぎたせいで、どのプログラムも同じTIFF拡張を受け入れなかったことかな。多分それが、TIFFが今ではほとんど歴史的なものになった理由だろうね。あ、バイト順序も忘れちゃいけないな。
でも、TIFFの多くのバリエーションは仕様内だったんだよ。デジタル顕微鏡の分野ではTIFFは今も現役だし、代替フォーマットよりずっとマシ。俺はこのフォーマットが結構好きで、ディレクトリ情報をファイル全体に散らすんじゃなく、シンプルな配列で保存するオプションがあればもっといいのにって思うよ。最初と最後に複製すれば、回復力も上がるしね。
職場でTIFFファイルを何十万も扱ってるんだけど、ウェブブラウザで表示できないのがマジでイライラするんだ。仕方ないから、ピクセルデータをデコードしてcanvasに描画、PNGデータURLにしてimg要素に設定するって、超非効率なJavaScriptコード書いたよ。リサイズ処理が面倒だったからcanvas直接表示は避けたんだ。懐かしいね。
TIFFは特定の分野でまだ現役だよ。例えば、https://cogeo.org/を見てみてよ。これは地理参照情報付きのTIFFファイルで、データが地理セクターごとに整理されてるから、地域のデータも素早くダウンロードできるんだ。
Adobe DNGはTIFFベースのRAWカメラ画像標準で、今どきのiOSやAndroidスマホのRAWキャプチャにも使われてるんだ。俺も今週、仕事（https://filmlabapp.com）でTIFFとDNGを使ったから、この記事を読んでMr. TIFFことSteve Carlsenについて知れて嬉しかったよ。39年経った今でも、彼の仕事が活きてるんだね。
DNGだけじゃなく、ほとんどのRAWカメラファイルってTIFFがベースだと思うんだ。
Canon、Sony、Nikonのトップ3は全部TIFFベースで、これが市場のほとんどを占めてるんだ。『TIFF-based』で、https://exiftool.org/#supported を検索してみてよ。
古いSinarデジタルバックの.IAファイルはDOOM PWADsベースで例外だけど、それ以外なら、ほぼすべてのフォーマットでTIFFベースって話は合ってると思うよ。
GeoTIFFはNetCDFよりシンプルでJavaのBufferImageで扱いやすいから使ったんだけど、プロはNetCDF使ってるみたいだよね。GeoTIFFは画像にはいいけど、風速ベクトルみたいなデータには向かないし、多くの画像データで他のコンテナやメタデータが必要になるから、結局複雑さが移動してるだけな気がするな。
もっとコメントを表示（2）
TIFF系は画像フォーマットかすごく単純な数値データ用で、NetCDFは生データ、特に多次元データや時系列データ向きだよ。予報とか気候データならNetCDFが圧倒的に優れてるけど、CF Conventions（https://cfconventions.org/cf-conventions/release/v1.12.0/cf-…）見ればわかるように、その分、機能が多いから複雑なんだよね。オルソフォトとかの可視化ならGeoTIFFが毎日でも使いたいぐらいで、COGを使えばファイル内に空間インデックス持てるから、ファイル全体をスキャンしなくても一部分だけストリーミングできるんだ。
NetCDFが複雑すぎるのが嫌でGeoTIFFにしたんだ。フォーマットの細かいところまで理解したくなかったし、ユーザーを特定のサブセットに縛りたくなかったからね。NetCDFをGeoTIFFに変換する適当なスクリプトを山ほど書いたよ。「GeoTIFFファイルの部分読み込みができる」って話、すごい気になる。今、ユーザーが小さい領域を選ぶと、プログラムが数GBの全球降水マップ（IMERG）を読み込んで、小さな四角を切り出すのに2分くらい待たせちゃうのがパフォーマンスのボトルネックなんだ。これじゃ気軽に地域を選んで試せないよね。いつかCOG形式に変換してCOGリーダーを導入するの、検討してみようかな。
だから、TIFFは”Thousands of Incompatible File Formats”（互換性のないファイル形式が数千ある）って言われるんだよね。
残念だけど、それは解決策にならないんだ。ほとんどのデジタルカメラのRAWフォーマットって、中身はTIFFなんだよ。まともなメタデータライブラリが、それらを読み込むために、IFDからのオフセット、ファイル先頭からのオフセット、IFD内のフィールドからのオフセットなど、どれだけ手間のかかるハックが必要か見てごらん。TIFFをベースにヘッダーを変えて独自のフォーマットを作ると、このTIFFを正しく実装できなくなるんだ。DNG（これも中身はTIFF）でさえ、カメラファームウェアのせいでめちゃくちゃだよ！
Sam Leffler作のLibTIFFっていう、すごくよくできたライブラリが（初期から）利用可能だったってのも大きいんだ。俺は1995年からめちゃくちゃ使ってたんだけど、Wikipediaによると1988年からあったらしいね！
CarlsenのTIFFの拡張性って、MilneとLentcznerがAIFFを作る時の指導原則になったんだって。数年後にはLeakもQuickTimeを作る時、同じ考え方をしたらしいよ。
彼の訃報記事、すごく素敵だよ: https://www.mountainviewtacoma.com/obituaries/stephen-carlse…
「時は風のように飛ぶ。
フルーツのハエはバナナが好き。」
「生命、宇宙、そしてすべての答えは？ 42。」
シレプシスって、やっぱり最高だよね。
1985/86年頃、TIFFは地図や測地学の分野で早期から使われてたんだって。タグ付け形式のおかげで、測地情報なんかの埋め込みがすごく楽になったらしいよ。記事やWikipediaの記事には載ってなかったけどね。
俺、いろんな雑学を頭に入れるのが趣味なんだけど、たまに無駄かなって思うんだよね。でも今日は違ったよ。TIFF形式の発明者、Stephen Carlsenさんの名前は、可能な限り覚えておこうと思う。忘れ去られがちな才能あるエンジニアへの、せめてもの敬意さ。
あれ、なんか見落としてる？記事は素晴らしいんだけど、ウェブサイトが「inventing the future」って本に関連してるはずなのに、本がどこにも見当たらないんだよ。PDF版なのかな？登録しないと詳細がわからない感じ？なんで本がこんなに見つけにくいんだろ？
編集：やっと見つけた！Homeをクリックして、「Close Your Rings」記事を一番下までスクロールすると、このリンクがあったよ。
https://books.by/john-buck?ref=inventingthefuture.ghost.io
俺も似たような問題にぶち当たったよ。著者名をクリックすればまあまあ良いページには行けるんだけど、本をもっと簡単に買えるようにしてほしいな。この記事がすごく良かったから、今すぐ買うつもりだよ！
記事の雰囲気を考えて、あんまり本をゴリ押ししたくなかったんだ。フィードバックありがとうね。
なるほど、それはよくわかるよ。君は紳士だね。でも、このページ[0]のメイン画像をクリックすると、本の購入について書いてあるのにリンクがない、ちょっと変なページに飛んじゃうのは変わってないみたいだよ。
https://inventingthefuture.ghost.io/
Andre、フィードバックありがとう！記事の中に本へのURLリンクがあるんだよ。新しいセルフ出版サービスのbooks.byを使ってるんだ。
ああ、なるほどね、わかったよ。記事のクオリティも高いし、本のテーマも俺の専門分野にドンピシャ。ネットでの評判も良かったから、さっそく紙の本を注文したよ！読むのが本当に楽しみだね。
TIFFの話、懐かしいなぁ。Mac用のフロッピーディスクでTIFFの仕様が送られてきて、数週間後にはTIFF対応のグラフィックエディタが登場したのを思い出すよ。Carlsenの名前は今日まで知らなかったな。この記事に感謝！
