インターネット in a Box！ オフラインで情報にアクセス
引用元：https://news.ycombinator.com/item?id=43814433
Kiwixのボランティアだよ（https://kiwix.org）。オフラインWikipediaをたくさんやってるんだ。自分はMWOffliner（https://github.com/openzim/mwoffliner）っていうスクレイピングツールに携わってたよ。
ほぼ全プラットフォーム対応のアプリがあるし、PWAはIE 11もOK。
WP1（https://wp1.openzim.org/#/selections/user）を使えば、カテゴリやWikiProjects、SPARQLクエリでWikipediaのカスタム版を作れるよ。このツールの主要メンテナーなんだ。
あなたの会社以外の誰かにウェブサイトを見てもらうことを提案してもいいかな。私には何をしているのか、アプリは何をするのかなどがはっきりしないんだ。コピーも「世界をより良い場所にする」みたいな抽象的なものだよ。あなたのコメントからは良い仕事をしていると理解できるから、プロダクトを知らない人たちが何をやってるのか理解するのに苦労するのは残念だろうね。
英語Wikipediaの最新フルzimアーカイブ、wikipedia_en_all_maxi_2024-01.zimって16ヶ月前のもの？もっと新しいのある？
現米政権がWikipediaに干渉、検閲しようとしてるみたいだし、[1]もっと新しいアーカイブを公開する取り組みはあるの？
外部開発者が手伝うアドバイスもらえる？
[1] - https://news.ycombinator.com/item?id=43799302
前のコメントは皮肉じゃないと思うよ。彼の言いたいことは分かる。
私はターゲットユーザーじゃないから割り引いて聞いてほしいんだけど、ウェブサイトの表現「Stay Connected, Always」とか「Kiwix Hotspot」がオフライン向けなのに分かりにくいんだ。フッターの「Kiwix is an offline reader for online content like Wikipedia, Project Gutenberg, or TED Talks. It makes knowledge available to people with no or limited internet access」って要約の方がずっと明確だった。
何をしてるかすぐ分からないと、みんな深く掘り下げないかもね。ターゲットユーザー向けには最適化されてるかもしれないけど、ユーザーテストでメッセージを改善できると思うよ。
すごいね、ありがとう！私はAmeelio（非営利団体）のCTOで、Kiwixにはしばらく注目してたんだ。受刑者にコンテンツを届けるのは特別なセキュリティ要件があって独特な課題なんだけど、Kiwixみたいなオフラインソリューションはすごく合うかもしれない。カテゴリを絞り込めるのは私たちにとってすごく大きな機能だよ。ありがとう！
Kiwixチームはこれに近いことをやってるよ。Wikipediaと直接提携して新しいAPIや機能の信頼性を向上させてるんだ。
Mediawikiのツールを試したいなら、wikipediaは良いテスト対象だよ。小さいwikiと比べて、予想通りたくさんの機能を使ってるからね（一方、小さいwikiはカスタム拡張機能が多いから、それだけだと十分じゃないけど）。
WikipediaにAIが作った質の低いコンテンツが増える心配はある？ 僕は2024年1月のバージョンを持ってるんだけど、古いかもしれないけど、そういうのは少ないかもね。
フィードバックありがとう！すごく的確な意見だよ。Kiwixでボランティアしてるんだけど、サイトの問題点は認識してるって言えるよ。リニューアルしたり、コンテンツを更新したり、ユーザーテストもする計画があるんだ。コアチームは小さいけど、ユーザーにとって一番価値のあることに優先順位をつけて集中できるよう頑張ってるよ。
気軽に僕たち（Kiwix）に連絡してね。君が言ってるまさにその理由で、NGOが刑務所に僕たちのコンテンツを導入するのを手伝ったことがあるんだ。
ダウンロード可能なダンプがあるのに、巨大なウェブサイトをスクレイピングするのもマナーが悪いよね。自分自身も、そしてもっと重要なwikimediaも、大量の帯域幅＆CPUサイクルを節約できるよ。
念のために5年くらい前のwikipediaのオフラインコピーを持ってたんだ。最近必要になった時にkiwixアプリを開いたら、ひどいアップデートのせいで全部壊れてた。もう新しいスマホにはwikipediaのオフラインコピーはないな。
フッターにある引用文、結構いいね。あれはたぶん真ん中にドンと置くべきだよ。
まあ、そうだけど、親コメントは、そのツールは主にWikipediaをスクレイピングするために使われるって言ってるんだと思ったよ。
archive.orgにisoのミラーあるの？
ダンプをtorrentで共有するのも他の人に配るのに役立つよ。
Ameelioが素晴らしい使命を持ってるみたいだってコメントしたかったんだ！社会で最も見られない人たちを助けててよかったね。Kudos！
物作った人って、他の人にうまく説明できないことよくあるんだよね、で、自分の説明で十分だと思ってたりする。このサイトは説明が十分じゃないね。
「About Us」ページの冒頭の文はすごくいい感じだよ。問題は、それがホームページの真ん中じゃなくて、「About Us」ページにあるってことだね。
質問ありがとう、ちょうど第二次予約販売を始めたところだよ。Those will ship mid June.
プロダクトとミッション気に入ったよ。メッセージやコンテンツ作りを手伝うためにボランティアで時間を提供してもいいかな。Feel free to reach out to me on LinkedIn or X. - Jason Lankow
「Wired」の記事見てみてよ、ドイツの歴史書き換えと戦ってる人たちの話とか、George Gallowayの記事とか。最近有罪になった元国会議員も含めて、誰でも編集できちゃうんだよ。
Wikipediaって客観的な真実の集まりだよね，それがどうも”the right”の考え方とは根本的に合わないみたいだ。
似たアイデアで，友達が2007〜2012年頃ネットがなかったIndiaの地域でWikipediaをダウンロードして子供たちに教えてたよ。僕も故郷でやってみた。若い子たちがデスクトップを運んでプログラミング動画を見たりしてたんだ。今は辺鄙な場所にもネットが普及したけどね。”Internet in a Box”の写真も持ってるよ。
https://www.flickr.com/photos/brajeshwar/113742187/in/album-…
1. https://www.mars.college
素晴らしいコンセプトだね！ 最近，すごく似たものを作ってるBeekeeって人たちに会ったんだ。
https://beekee.ch/beekeebox/
一見簡単そうだけど，実現は大変だよね。以前，難民キャンプでネット接続前提の無線ネットワークやったけど，それでも管理大変だった。だから，ネットがほぼ使えない状況で安定提供するのがどれだけ大変か想像できるよ。
おお，見るべきものがまた一つ増えたな。こういうの，目的がいろいろ overlapping してるのが結構あるみたいだね。僕が知ってるのはあと2つ。
https://bibliosansfrontieres.gitlab.io/olip/olip-documentati…
https://wrolpi.org/
あと，PirateBoxのコンセプトもちょっと近い感じがするな。
地元の機関がPirateBoxをWildland firefightingに使ってるデモを見たよ。GISチームが火災ラインとか，伐採ライン，ドーザーの道，crew assignmentsなんかの地図更新をやってたんだ。で，必要に応じて全部PirateBoxにアップロードして，commanders／captainsがtabletにダウンロードしてた。Internetなしで全部やってるの，すごいよね。
BeekeeにはGenevaで会ったの？ 多分，同時接続が30以下とかなら，ああいう箱はすごくうまく機能すると思うよ。結局，役に立つ情報にアクセスするためのものなら，これはやっぱり brilliant だと思うな（君が書いたようにね）。
彼らは僕と同じくSwitzerlandに拠点を置いてるんだけど，偶然Dohaで会ったんだよ。IIRCだと，同時接続は40 users supportしてるらしい。彼らのmodelでは，それは常にschool classになるだろうから，どっちみちそれより大きくはならないだろうね。
この記事は，Internet accessを使わないdevicesについてのものだよ－彼らはwikipedia，learning sites，そしてdevicesがconnectして，まるでfull networkに繋がってるみたいにこれらを使えるようにするためのinfrastructureを提供してるんだ。
もっとコメントを表示（1）
最初，これのことかと思ったよ：
https://www.youtube.com/watch?v=iDbyYGrswtg
Chuckles aside，それはcool conceptだね。
インターネット、あの時から机の上に安全に保管してるんだぜ： https://jasoneckert.github.io/myblog/i-created-the-internet/…
それに、本物の写真も持ってるよ:-)https://www.flickr.com/photos/brajeshwar/113742187/in/album-…
The Henry Fordにもめっちゃ似てる写真があるよ. Ars Technicaが開封して試したんだって：https://arstechnica.com/information-technology/2014/10/openi…
シュリンクラップされたフロッピーの信頼性を著者が疑ってるのが面白いね. 俺はめっちゃ長持ちすると思ってたんだけど、テープバックアップみたいなもんでしょ、リボンじゃなくて丸いだけで
あのデバイス、絶対てっぺんにデカい赤いランプつけるべきでしょ
あと二日で言えるぜ： ”終わったな、エイプリル！”ってね
HNの読者の何パーセントが、これってそれ（この記事の内容）のことだって思ったんだろうね.
たぶんめっちゃ高いだろうね. タイトル読んだ時、俺も絶対それ（この記事の内容）のことだって思ったもん.
めっちゃ軽い！インターネットって重さゼロなんだ！うわー！
俺の超お気に入りの番組の一つなんだよ. マジ傑作 - https://www.youtube.com/watch?v=iDbyYGrswtg . 俺的に最高の部分の一つがこれ - https://www.youtube.com/watch?v=cj490uNht4o . 今まで見たことない人は - 楽しんでね :-)
こういうの、親とか学校向けに、子供が良い部分（Wikipediaとかe-booksとか）だけアクセスできて、毒になる部分は避けるみたいに売り出したら良いなーって思うんだよね。
Kiwix + Pi-hole + Activity Pubみたいな感じかな。許可リストのサイトだけアクセスできる独自のネットワーク作るの。誰かが出さないなら自分で作るかも。
EnglandかGBがまさにその目的のためにキュレーションされたデータを提供してなかったっけ（してるっけ？）
もし他に誰も情報出さなかったら、今夜調べてみるよ。
一番近いのは、SOS Childrenっていう団体ので、”Wikipediaの記事の選択がUK National Curriculumに合致してる”って書いてあるやつかな。
”記事全部チェックして、ちょっと手直しした”ってさ。
リンクは省略
これ絶対応援するよ（手伝ってもいい）
個人的な願いだけど、将来の子供には昔のBASICゲームみたいに手入力する現代版みたいなのをやらせたいな。プログラミングに入り込むのに楽しそうだし。
違う言語使ったり、Paintとかで絵を描いたりとかもできるようにしたい。
全部オフラインでシンプルにね。
NextDNSみたいなのインストールしてみたら？（無料版でもいけるかも）あれ主要なカテゴリ全部ブロックできると思うよ、君が言ってるやつも含めてさ。
今のインターネットはユーザー（特に若い子たち）を追跡したり、誤解させたり、操ったりするようなコンテンツでいっぱいなんだ。
だから、家族がコントロールを取り戻すためのツールを欲しがるのは、全然おかしくないと思うよ。
子供たちにキュレーションされたオンライン体験を与えるのは、完全にオフラインより現実的だけど、親に技術がないし、GoogleとかFBは興味ないんだ。
それ、私も最初に思ったんだ。
Wikipediaがオープンでパブリックでフリーである限り、ある程度の透明性があるよね。
でも、自分だけのオフライン版をダウンロードしたら、君が好きなようにできちゃうし、ユーザーはそれしか見れなくなる。
World Wide Web上の公式版Wikipediaとは違う状況だよ。
誰かがこれを使う理由や、どうやって実装して、自分の家で子供とどう話し合うかっていうのを正確に決めつけるのは建設的じゃないと思うし、そういう決めつけに基づいて彼らを攻撃するのも非生産的だよ。
それ、健康な社会のあり方とは全然違うでしょ。https://en.wikipedia.org/wiki/Paradox_of_tolerance
katabasis’の提案が社会に不健康だと思う？情報パンデミックの時代に、親が子供をイデオロギー的に守って、教育コンテンツだけ見せてソーシャルメディアから隔離するのは、むしろ健全だと思うけどな。
うん、俺もそう読んだよ。つまり、解釈としては…
katabasis: （子供向けの賢いガードレールを提案）
fritzo: 思想警察だーっ！！
検閲じゃなくてコンテンツ／キュレーションって言うのはどう？
Wikipediaは多くの人にとって有害なインターネットと言えるいくつかの理由があるよ：政治的・企業の利益のためにゴリゴリに操作されてるし、記事の信頼性を裏付けるリンクは質が悪くてよく切れてるし、Wikipediaの内部権力構造（利害関係者がどの記事を重点的に編集するかとかを決める仕組み）はほとんど公開されてない。どっちかというと、子供にはWikipediaは信頼できる情報源じゃないって教えるべきで、責任ある教育機関ならレポートの参考文献にWikipedia記事を引用するのは絶対許可すべきじゃないね。
俺も数年前に一次情報源を探して深く掘り下げる習慣を身につけるまで、このことは分かってなかったんだ。調べた情報源の半分くらいは、有料だったり絶版だったり、あるいはWikipediaの記事が主張してることと全然違うことが書いてあったりしたよ。
記事より実際の接続技術に興味あるな。Commotionの”Internet in a Suitcase”プロジェクト（～2012年頃）とか最高。あれこそState Departmentとかが資金提供すべき！OLSR、OpenWrtとかオープンソース技術で、メッシュ、wifi、セルラー、音声技術を手頃なハードにまとめたんだ。これこそ民主主義の価値観だし、情報統制と戦える本物だ。https://en.wikipedia.org/wiki/Commotion_Wireless
貧しい人には、WikipediaやKhan academyみたいな教育的な「ネットの役に立つ情報」だけを与えた方が絶対いい。西側先進国の金持ちみたいにネット全部を使わせて、SNSで中身なくなったり、贅沢に憧れて金のためなら何でもするようになるよりね。インターネットの有益な部分だけを提供するべきだと思う。
CambodiaでOne-Laptop-Per-Childとか色々見たけど携帯電話ほどインパクトなかった。USAIDのネットカフェも、政治情報じゃなく国際VoIP通話に使われたり。ネットでユーザーが何を求めるか、決めつけちゃダメ。最近は紛争地域（Afghanistan、Iraq経験）でも携帯会社がすぐ来て、ネットアクセスは電気並みに必須になってるよ。
まさにその通り！コメント欄の技術的な話ばっかの中でこれを聞けて嬉しいよ。そういえば、あのページのOLPC XOの画像は何？このプロジェクトと関係あるの？
＞ インターネットの役に立つ部分だけを渡す、というのは誰にとって役に立つか決めるのはフェアじゃないって話。盲点や著作権で大事なサイトが抜ける可能性もある。ページ一つなら簡単でも、サイト丸ごとの保存は技術を知らない人には難しい。Webアーカイブツールは、開発者だけじゃ解決できない問題もある中で、ユーザーが自分で情報を保存してフェアユースできるようにする上で大事な役割があるんだ。
もっとコメントを表示（2）
フェアじゃないかもだけど、正直言って、ウェブが金儲けしたい連中のせいで完全に台無しにされてるって事実もフェアじゃないよね。
一時期はアドブロッカーで勝ってたけど、今は分が悪い感じだね。ファームウェアに関する記事で広告が4つ連続してたし。もっと酷いのもきっとあるだろうな。
インターネットの一番役に立つ部分はAnna’s @®©hi3だね。ソーシャルメディアはZucが計画した通りに機能してて、君が商品になる監視国家だよ。ブラッスリーの広告は好きだけどね。
これってインターネットにアクセスできる人にも役に立つかもね。ネットは広告とかで気が散るし。個人的に役に立つサイトを集めて、Googleに頼らず調べられる強力な検索ツールがあれば最高だろうな。今使われてるKiwixの検索機能は大量コンテンツだと弱いから、精度上げるために生成AIとか埋め込みモデルを使うのが良いかもね。
こういうデバイスはLMを動かすにはめちゃくちゃ非力だよ。今の流行りの波よりずっと前に、結構まともな検索機能はあったんだ。Postgresには多言語対応のFTSが組み込まれてるし［1］： https://www.postgresql.org/docs/17/textsearch-intro.htmlそれ以外は同意だよ。
ADLinkがPocket AIを作ってるよhttps://www.adlinktech.com/en/pocket-ai-with-nvidia-rtx-a500…
うん、それは$350対$35だよーただテキスト検索するためだけに？
決定的な要因は値段じゃないと思うな、アプライアンスがいかに簡単か、手がかからないかだよ。どんなPostgres検索の実装にも、少なくとも一人、ネットに繋がったPostgresオタクが待機してるからね。
＞価格が決め手じゃないって言ってるけどさ
これって発展途上国で手軽に使えるようにってやつじゃん？ あっちじゃスマホが主流なんだし、価格も大事っしょ。先進国ならPCでホットスポットすりゃいいし。
＞it is how easy or hands off the appliance can be.
使いやすさ・手間がかからないかどうかが決め手って言ってるけど、俺DevOpsオタクなのにルーターにRasPi一個繋ぐのもやっとだよ。Mac miniでやるには面倒だからやってるだけ。普通の人は余計な黒い箱なんていらないって。SOHOルーターにスイッチとAPが内蔵されてるのがその証拠。
＞Every postgres search implementation has atleast one internet connected postgres nerd on standby.
Postgresの検索実装にはネットに繋がったPostgresオタクが待機してるって書いてたけど、Postgresじゃなくてもいいんだよ。ちゃんとしたFTSなんて何十年も前からあるコモディティソフトウェアじゃん。LMsを何でも解決済みの問題にぶつけるのがLMの問題なんだってば。
技術的な知識がない人やネットがない人にとっては、解決済みの問題じゃないんだよ。
Kiwixができたのはそのためだし。Wikipediaのためにrdbmsとか必要なフルウェブスタックを動かさなくていいようにね。
LMが答えかは分かんないし、電気がないとこじゃ無理だろうけど、rdbmsを動かすのは絶対ナシだよ。
＞running a rdbms
LM以外は全部同意だよ。ただ、FTSにはでっかいRDBMSが必要だっていう君の主張は違うかな。
俺はPostgresで経験あるけど、SQLiteだってFTS5があるし[1]。これってLMとか使うような問題じゃなくて、もう解決済みの問題なんだって。
[1]: https://www.sqlite.org/fts5.html
じゃあ、なんでPostgresを持ち出したの？
最近のヤバいニュース見てると、先進国でネットが”ガチで”（例えば数週間）止まったらどうなんのかな、ってマジで考え始めたんだ。WikipediaとかOpenstreetmapは簡単にDLできるけど、他は？ どうやってシェアすんの？
自宅でホットスポットはできるけど、隣人とか分かってくれるかな？ 繋いだら説明するキャプティブポータルとかいるよね。で、ホットスポットを中継してメッシュとか作れるん？
そういうプロジェクトあるのは知ってるけど、実際何ができるんだろ？ 10年前のUbutuのEmpathyみたいに、同じネットワークに繋がってる人とチャットできたの覚えてるわ。アカウントも登録もなし。あれめっちゃ便利だったろうな。
Pirate boxって全部できんの？ どこまで拡張できるんだろ？
あと、LLM（QwQ-32B）を混ぜるのもいいかもね。すげー量の知識が圧縮されてるわけじゃん。
保管場所はOscar the Grouchみたいなスチールのゴミ箱に入れたら、安いファラデーケージになって太陽フレアとかEMP攻撃からも守れるぜ。
俺はさらに一歩先を行ってて、50 TBのNAS組んで、マジでできるだけ大量に詰め込んでるところだよ。
＞簡単にダウンロードできるWikipediaとOpenstreetmap
OSMってタイル全部入れると2TBくらい必要なんじゃないの？ サイズがバカみたいに増える最後のレベルを飛ばせばいいかもしれないけど、それだとあんまり精度出ないよね。
君のセットアップ詳細、めっちゃ知りたいわ。どんなNAS？ どんなドライブ？ キーになるデータセットは？（俺も自分で作りたいんだよ）
もしネットが”ガチで”オフラインになったら、たとえ数日でもマジで大混乱になるぜ。停電ほどじゃないけど、今や同じくらいヤバいカテゴリ。クレカ支払いとか（飯、ガソリン）、物流もストップ。まさにprepper（備える人）の世界。
長期的な本当のシナリオは、Wikipediaみたいな質の高いコンテンツがオフラインになったり、AIで汚染されたり、権威主義者とか企業に検閲されたりする可能性ってこと。今のSNSとかネットの一部がそうなりつつあるようにね。だから、アーカイブはどっちみち良いことなんだ。
君の実際の質問だけど、質の高いノンフィクションの電子書籍が価値あるね。Wikipediaは人類の知識の表面をなぞってるだけ。本当のガチな知識（医学、農業、アルゴリズム、エンジニアリングとか）は本にあることが多い。
現実的には、家のWIFIって範囲めっちゃ狭いから、隣人に説明書渡すのが一番手っ取り早いだろうね。広範囲のメッシュネットワークは、そういう状況で何が進化するかにかかってると思うよ。
