Elixirで新しいBitTorrentトラッカー作ってみた！
引用元：https://news.ycombinator.com/item?id=44323253
ElixirとGoの勉強でBitTorrentトラッカーを3ヶ月で作ってみたよ！DHTとかPEXが普通だけど、パブリックトラッカーにはまだ意味あると思う。みんなopentrackerとか使う中、これはクラッシュしないのが売りさ（aquaticとtorrustは別ね）。今後も開発続けるよ。swarm_printout.ex以外は手書きさ。dockerイメージもあるから試してみて！
OTPファーストな設計を見たかったな。残念ながら、コードはほぼ手続き的で、ETSとかApplicationをほぼ全ての操作で使ってるね。ElixirやBEAM言語でOTP設計を学びたいなら、James Edward GrayとBruce Tateの”Designing Elixir Systems with OTP”と、Lance Halvorsenの”Functional Web Development with Elixir, OTP, and Phoenix”って本を読んでみるといいよ。
最初にもっとOTPっぽく書いたんだけど、この機能の特定フローにはスケーリングが合わなかったんだよね。結局トラッカーって特殊なデータベースみたいなもんで、データを最速で処理するのが一番の目標だからさ。まあ、教えてもらった本は読んでみるよ。
もし俺みたいにこの文脈でOTPって何？って人がいたら、これだよ。OTPはOpen Telecom Platformの略だけど、もう通信だけって感じじゃないね（通信アプリケーションみたいな性質のソフトウェアってことだけど）。Erlangの偉大さの半分がConcurrencyとDistributionにあるとして、もう半分がError Handling能力にあるなら、OTPフレームワークはその”第三の半分”さ。詳しくはこっち見て！
https://learnyousomeerlang.com/what-is-otp
BitTorrentトラッカーをGenServersで作るなんて全然意味ないよ。単一サーバー構成ならETSが100パーセント正しい選択だね。明らかに水平スケールはしないけど、垂直には月に届くくらい伸びるし、大抵の場合YAGNI（You Ain’t Gonna Need It）なんだってば。
ElixirとErlangのすごいところの多くは、すごく分かりやすいコードなのにパフォーマンスが良いってとこだよね。追加のGenServersとかgen_statemsがクールなケースもあるけど、ElixirとPhoenixを使う多くの場面で変に凝ったアーキテクチャを選ぶ必要はないんだ。だってランタイムがもう十分クールにしてくれてるからね。
ちょっと知りたいんだけど、「OTPファースト」な設計ってどんなの？ETSはOTPに組み込まれてるのに、どうしてETSを使うのが「OTPファーストじゃない」の？ETS使うのって何が悪いの？コード見たけど、手続き的ってほど全然近くないと思ったな。
面接のためにElixirを1週間だけ勉強したんだけど、落ちたんだ。でも、あの1週間でコードの書き方がマジで変わったよ。state isolationとか、shared dataなしとか、失敗してきれいに再起動とかね。今回のコード見て、派手なGenServersじゃなくて、速いプロセスとか生のETS、シンプルな流れだけどちゃんと障害考慮してる。同じ考え方だなって思ったよ。きれいだね。
よくやったね。いくつか簡単なアドバイスなんだけど、IO.putsじゃなくてLoggerに切り替えること。あとOTelを追加することも検討してみて。
Logger[0]とTelemetry[1]で十分だと思うな。OpenTelemetryとかもTelemetryのフックで後から追加できるから大丈夫だよ。
[0] https://hexdocs.pm/logger/1.18.4/Logger.html
[1] https://hexdocs.pm/telemetry/readme.html
Loggerはテーブルのきれいな表示以外で全部使ってるよ。
TelemetryはPrometheusとかHTML形式でもオプションで使えるみたいね: https://github.com/Dahrkael/ExTracker/tree/master/lib/ex_tra…
一番好きなOpenTelemetryのシンクって何？
Elixir超好き！今これでイケてる通知エンジン作ってるとこ。マジ最高。
それってOSS？それともプライベートなの？Elixirにはマジでもっと良い通知エンジンが必要とされてるよ。
通知エンジンが必要って具体的にどういうこと？PhoenixのPubSub使えばすごく簡単だし実績もあるよ。俺は何回か大規模で実装したし。どんな問題にぶつかってて、今のツールじゃダメだと感じるの？
自分で作らずに買うなら、Knock.appってのを見てみて。これもElixirでできてるよ: https://knock.app
リリースおめでとう！opentrackerと比べてどう？パフォーマンスとか詳細をぜひ教えてほしいな。
小さいトラッカーならopentrackerの方が多分速くてメモリも少し少ないかもね。
extrakerはCPUのコア数が2桁とかになった時に真価を発揮するはずだよ。
まだちゃんとしたベンチマークはできてないんだけどね。
いいね！いつかチェックしてみるよ。
俺も何年か前にElixirで簡単なトラッカー書いたことあるんだよね。コードはここにあるよ: https://github.com/aalin/mr_torrent
面白いね！なんで特にprivate trackerにしようと思ったの？
面白い！俺もBTをもっと知るためにTypescriptで似たようなことして、Rustを学ぶためにRustでやり直したよ（https://github.com/ckcr4lyf/kiryuu）。DBにはredisを使うことにしたんだ。君のは全部memory上のDBみたいだね？何か面白いdesignの決定とか、それで直面したproblemsとかあった？（俺のredis solutionは、その後のannounceでpeersをrandomiseしないみたいで、あんまり良くないんだ）
俺の場合は、in-memoryなETSを使うのが最高のdecisionだったよ。各processでconcurrentにpeerのデータをread＆writeできるから、contentionとlatencyがminimalで済むんだ。唯一sequentialなpartは新しいswarmがinitially createdされる時だけだけど、それはあんまりhappeningしないからfine。
there’s sadly no native support for taking random rows directly from the tables, so for now i grab the whole swarm and then take a random subset（https://github.com/Dahrkael/ExTracker/blob/master/lib/ex_tra…）
ETS tableがいくつのslotsを持ってるか見るwayがあったかrememberしてないけど、imperfectなdistributionでもokなら、maybe randomにslotを選んで、ets:slot＼2を使ってそのslotの全てのitemsを取得し、then selectするのはどうかな。maybe you can get the slot count from eta:table_info(Table, stats), although that’s not intended for production use, so the format may change without notice.
・https://en.m.wikipedia.org/wiki/Mainline_DHT
・https://en.m.wikipedia.org/wiki/Peer_exchange
DHT（Distributed Hash Table）とPEX（Peer Exchange）は、torrent clientsがcentralised trackersなしでpeersを見つけられるようにするものだよ。だから、もうcentralなplace ＼ public trackerは必要ないんだ。
You still need a central server though…
そうだよ、individualなtorrentsをtrackするだけじゃなくなるんだ。初期のpeer discovery stage（bootstrapping）の間だけroleを果たすんだよ。peersは自分でtorrent swarmsを見つけるから、bootstrap serversはそこからexcludedされるんだ。
If you are connected to the DHT network, you don’t. Unless you mean for DNS and such.
いや、ああいうネットワークに繋がるには、まず特定の集権的なノードに接続する必要があるってことだよ。
ブートストラップノードのことだね。でもあれらは、歴史的にある程度そうだったとしても、絶対に集権化されてる必要はないんだ。何百万ってあってもいいんだし。
もっとコメントを表示（1）
それでも、その一部のリストは必要でしょ？そして「同じネットワーク」に繋いでくれるって、そもそもその意味が通じるかどうか分からないけど、信頼するしかないんじゃない？
もしブートストラップノードが何百万もあったら、どうやって見つけるの？
もしよく知られたポートで待機してて、何百万ってあるなら、「ランダムな」IPv4アドレスに数千個プローブを送れば、たぶん一つは見つかるよ。
見つけたらブートストラップノードのリストを手に入れて保持すれば、全てのルーティング可能なIPv4アドレスから選ぶ代わりに、ブートストラップアドレスの中からランダムに選べるようになるね。
IPv6についてはどう考えてる？
IPv6のプロービングは結構難しいよ。/48のうち/64だけ使うとか::0や::1を仮定しても、現実的じゃないほどプローブが必要になるだろうね。NAT64経由でv4空間をプローブしてv6アドレスを交換するか、有効なv6アドレスリストをクライアントに入れる方法もあるけど、それはまた集権的になっちゃう。どうやって配布するの？たぶんスーパーノードを動かしてリストをクライアントソースにダンプする感じかな。最初はリストにそのノードだけとか。
ブートストラップノードは、トラッカーみたいにtorrentに埋め込めるよ。トラッカーは全部の状態を持つけど、ブートストラップノードはDHTネットワークのノードに繋ぐだけ。その後は完全に分散化されるんだ。
SRV DNSレコードに埋め込むとか、DNSサーバー取得と同じ問題。ISPからDHCP経由でノードアドレスをもらえるかもね（笑）。
うん、Elixirは選択肢の一つだよ。C++より絶対楽しめる自信あるな。
- どうやって始めたの？
- 他のプロジェクト参考にした？
- どれくらい時間かかった？
- qbittorrentとかと比べて、どれくらい機能すると思う？
別のプロジェクトでトラッカーが必要だったのがきっかけだけど、作るのが楽しくなっちゃってさ。
他のトラッカーのコードもちらっと見たけど、複雑すぎたりシンプルすぎてあんま役に立たなかったんだよね。
今のところ3ヶ月、寝る時間を削って頑張ってるよ。
qbittorrentみたいなクライアントじゃないけど、将来seedbox向けのクライアントも作りたいなって考えてる。
これはトラッカーであって、トレントクライアントじゃないよ。
トラッカーってどういう意味？
トレントトラッカーってのは、ファイル持ってる人は知ってるけど自分では何も保存しない、世界一付き合い悪いマッチングサービスみたいなもんかな。パーティの場所は知ってるけど絶対自分ではやらない友達みたいな。
あなたのBitTorrent clientが「Linux ISO持ってる人いるー？」って聞くと、トラッカーはスタートアップが資金調達失敗して方向転換するより早くIPアドレスのリストをくれる。
その後、clientはその人たち（seedersとかleechers）に繋がってデータ交換始めるんだけど、トラッカーは何食わぬ顔。ファイル共有版Tinderみたいな感じだけど、みんな匿名で、たぶん深夜3時に怪しいものダウンロードしてる。
全然匿名じゃないよ。トラッカーとのやり取りはHTTPSでもできるけど、peer同士の通信は全部暗号化されてないから。
オプションの暗号化拡張もあるよ。BitTorrent社（BEP発行してるところ）が暗号化に思想的に反対してるからBEPはないけどね。
試してみたけど、HTTPSが動かなかったな。
あと、コンソールにこれが出まくる：
04:43:20.160 [warning] invalid ’event’ parameter: size: 6 value: ”paused”
でも動いてるみたい。HTTPでの統計も見れたらよかったけど、UDPでもまあいいかな（無効にしてるけど）。
その”paused”イベントってのはBEP 21の一部だよ。
クライアントが、まだ全部終わってないけどこれ以上ダウンロードしないよ、ってトラッカーに知らせるやつ。例えば、torrentの一部のファイルだけ欲しい時とかね。
プロジェクトのREADME見たら、BEP 21はまだ実装されてないみたいだね。
README見たらBEP 21はまだ実装されてないって書いてあるね。あー、見落としてたわ。
HTTPのTelemetryはToDoリストだよ。webserverに3rd party library使ってるから、ちゃんとやる方法を考えなきゃね。
HTTPSは証明書が必要だけど、CaddyかNginxを前に置くのがおすすめかな。certbot連携も考えてるけど、みんなUDP使うから優先度は高くないんだ。
これマジでいいよ！コードざっと見たけど、すごく感動した。Elixir経験あるうちのsenior engineersが出すコードみたいだね。すごい仕事だよ！
へぇ、いいね！Beam VMってBitTorrent trackerにぴったりっぽいね。
これ、ETSがマジでキラーフィーチャーだった気がするな。protected tablesから並行で読み書きできるから、全体がめっちゃ並列になってる！
めっちゃクール！これってprivate trackerとして使うのに向いてるの？
そのままじゃ無理だけど、やればできるよ。必要な部品は全部揃ってるからね（hash whitelist support、udp path parsing、peer rejectionとか）。
すごい仕事だね！
マジでクールなプロジェクト！よくやったね。
これは本格的だね、プロジェクトおめでとう！Elixirに完璧にフィットするのがわかるよ…。
C++開発者ってGoとかElixir好きだよね〜（俺もだけど）。パフォーマンス重視な人がマルチスレッド性能に惹かれるのかな。クールなプロジェクトじゃん！
C++はわかんないけど、Erlang/Elixirはパターンマッチングでプロトコル解析マジ強い！コードもキレイになるし、let it crashで変なケース無視できるんだ（クラッシュしても一部だけ）。10年使っててダウンタイムゼロだよ！これで「Elixirでクラッシュしないサービスどう？」って顧客に勧めてるｗ 構造体とかでパターンマッチできるシステム言語欲しいな〜。
毎日メモリ破壊とかデッドロックとかと戦ってる身からすると、Elixirは「え、なんでこんなに簡単なの？勝手に動くじゃん？」って感じ。ネットワークプログラマだから、バイナリパターンマッチングもマジ最高！
Inko[1]見てみたら？パターンマッチング良い感じだよ（関数とかではできないかもだけど）。
[1] https://docs.inko-lang.org/manual/latest/getting-started/pat…
もっとコメントを表示（2）
「let it crashでコーナーケース無視できる」ってのは危ない考え方だよ。あとElixirって強く型付けされてないじゃん。
いや、違うよ。プロセスは監視できるし、クラッシュしても良い状態で再起動するだけなんだ。エラー全部無視するんじゃなくて、見落としてもシステムは落ちないって確信できるの。Elixirはほとんど強く型付けされてるって言われるよ。静的な型付けって言いたいのかな？
まあ、前よりは確信できるかもね。でもさ、昔Ericssonの交換機がいつものメッセージで落ちてネットワーク全体がダメになったことあったじゃん？Erlangでもああいう可能性はあると思うよ。
トラッカーは古いものじゃないよ。プライベートトラッカーサイトで今も使われてるんだ。パブリックなTorrentはDHTとかPEXで探すことが多いけどね。
でもさ、プライベートトラッカーも最近はそんなに流行ってないよね。俺は結構使うけど、ニッチなのはわかってるよ。
これ見てみて→ https://github.com/sergiotapia/magnetissimo 7年くらい前に人気だったやつだよ。
これに似てるよ：
https://news.ycombinator.com/item?id=44265851 ”Show HN: I wrote a BitTorrent Client from scratch” [2025-06-13]、
https://github.com/piyushgupta53/go-torrent-client
