0xf

日記だよ

日記

AI 秋田 日記 技術 自動車 食事

今日は最高気温20度!　とても暖かい。五月らしい春の日でしたね。海に行ったりしてました。

海

女川漁港の近く。鵜ノ崎海岸ってとこです。干潮時は鬼の洗濯板と呼ばれる岩肌が露出するらしい。知らなかった。近くにある鵜ノ崎テラスってカフェ的なところでコーヒー買って飲んでました。昼飯食べたあとだったので何も食えなかったけど、今度空腹のときに行きたい。

海はきれいでよかった。

たぶんあれ鳥海山だよね? 方向的に。うっすらと海の向こうに巨大な山が見えるというのは燃える絵面だよね。

御食事処 しぶき

潟上市役所の近くにある。ずっと「しぶき亭」だと思っていたけど「しぶき」が名前だった。隣にある北限亭ってホテルのレストランみたいな扱いなのかな?

初めて立ち寄って昼ごはんを食べた。

ランチ1800円～2000円で別に格安!お得!ってお店ではなく、大きな通りに面しているわけでも、別に観光客向けってわけでもない不思議な感じ。店内にポスターとかそういうものがぜんぜんないのがとても好感持てる。

メインの料理のほかはヒラメの汁物、たぶんエゴ草、ちょっとしたナムルのようなもの、とろろ芋、何かの海藻の和え物という組み合わせが基本のようですね。

これは刺身定食。ぱっと見で控えめに見えるけどヒラメとマグロがそれぞれかなり美味しくてよかった。また食べたい。妻が揚げ物三種盛を頼んでいたけど、エビ、ヒレカツ、キミヨって三種だった。キミヨ。ホウボウと呼ばれたりするあいつらしい。

車 / やっぱり物理キーが好き

なんだ～ってなった話題。いや、大したことではないんだけど。

こないだ、スマートも10年乗ったし、次の車どうするかなっていう話をしていたとき、メルセデスのタッチパネルメインの雰囲気が嫌いだなって思ったんですよね。で、メルセデスには積極的な気持ちになれなかったという経緯がある。

その気持ちを追っていった結果「シンプルな車がいいのでは」という納得に至り、あとはいろいろあってMAZDA3買うか、やっぱりディーゼルだよなって流れになったわけなんですが、そしたらMAZDAディーゼルやめるってよとか言われるし。いろいろだ。

まあ、メルセデスさんはあくまでも今後変更するよって話なので、じゃあ来月物理ボタン化した新車種が出回るってわけではないし、乗り換えの機運が高まるタイミングとめぐりあわせが悪かったという話ではありそうです。

ローカルLLM日記

Claude Code をお供にローカルLLM環境整備をしていた。

  • 普段使いのPCがRTX5060ti載せていて、小さいモデルくらいなら動くんだけど、今どきのちょっと大きいやつになるとメモリ不足が厳しい。
  • 今日は Gemma4 の投機推論による高速化の話題が盛り上がっていたがもちろん手が出せずにギギギという感じ。EvoX2のAMD 8060Sも、まだMPTモデルがROCm非対応ということでこちらも蚊帳の外であった。
  • 手元のPCだと結局 EvoX2 で Gemma4 26B-A4Bが一番軽快に動作するので、こいつを中心にいろいろ組むか～という気持ちになっている。

Gemma4 のLoRAによる強化学習を試す

  • 青空文庫の適当なデータをあくまでも個人用途として拾ってきて、文章類型を抽出させ、教師データを作る。
  • そいつを使って基盤となるモデルの重みとは独立した「アダプタ」を作る。実際の推論時はベースのモデルと軽量な「アダプタ」を用いて推論をするという塩梅らしい。
    • LoRA (低ランク適応) · Hugging Face
    • アダプタ自体はもとのモデルより全然小さい行列なんだけど、パラメータ数を合わせる変換行列とかけることでサイズを合わせてやるみたいな仕組みらしい。
  • EvoX2くんでGemma4-E4Bをベースに1000とか2000のテストデータを使ったアダプタを作ってみた。テストデータ全体を何度読むかをepochというらしい。あまり何度も繰り返し読ませると過剰学習して暗記状態になるのでほどほどがよいという。ふむふむ。
    • なんかそれらしい感じの出力は得られるのだけど、結局E4B自体の思考能力が限界あるのであんまり満足する結果は得られなかった。
    • LoRAのアダプタ型アーキテクチャのメリットとして「必要に応じてアダプタを入れ替えられる」というのが示されている。MoEみたいな考え方ぽい。
  • WSL2から8060Sが見えない問題はどうしようもなくてコンテナ実行してたのが EvoX2でWSL2内からGPU使うのに苦戦していたけどROCm公式コンテナですんなり動いた - 0xf の話

いろいろ試して、ようやく世間の「VRAMのメモリ帯域と、GPUのプロセッサ処理速度と、メモリサイズと...」っていう議論が理解できるようになってきました。プロンプト処理はGPUの性能がストレートに出るし、推論処理はVRAMに展開した重みを1トークンごとにまとめて転送して処理するからメモリ転送幅がネックになりやすい。ははーん。

  • EvoX2とかDGX Sparkは広大なメモリを扱えるけどVRAMとしては遅いので推論速度がでないし、プロセッサとしての速度も爆速ってわけでもないからプロンプト処理も遅い。という理解をした。Macは大容量メモリを扱えてメモリの転送幅が広いので有利なんだけど絶対的な演算速度ではRTX5090とかに勝てないと。渋い世界である。
  • 32GBのVRAM積んで20万円台のRADEON RX 9700 AI Proよさそうだけどさ、よさそうだけど...　こいつが動作するPCを考えるとけっきょくまるっと新調することになって、結局70万円とかのコースになってしまう。月$200使ったとして2年分かあ、そうかあ、でも結局クラウドAIくんは使うだろうしなあ、どうかなあ。

ドキュメントスキャナを買った

iCODIS っていう中国のメーカーのものです。すでに終売してそうなK2ってやつ。

フットペダルとシャッターボタンが独立してついてくるのが面白い。両手でドキュメントを撮影エリアにおいて、フットペダルでカシャってやる運用が想定されている。