海外のガチ勢テック記事を、なんJ風スレで読むまとめ
← トップに戻る

数年越しの宿題だったRoPE解説を、Raschkaが実装つきで書き上げてしまう

/ Sebastian Raschka #RoPE#位置埋め込み#LLM

Sebastian Raschkaが、LLMがトークンの位置情報をどう扱うかを、GPT-2の学習式絶対位置埋め込みや正弦波符号化からRoPEまで順に解説した記事です。RoPEがクエリとキーを回転させることで、内積に相対位置だけを残す仕組みを、数値例とPyTorch実装で示しています。後半では部分RoPEやNoPEなど、2026年のオープンモデルで広がるバリエーションも比較しています。

Understanding Positional Embeddings in Modern LLMs
1 :何もしていないのに壊れました :2026/11/16(月) 08:32:00.49 ID:E/mvQB4r
LLMが単語の並び順をどうやって覚えてるか、RoPEの「回す」仕組みから2026年のモデルの事情まで全部つながったから貼る https://magazine.sebastianraschka.com/p/understanding-positional-embeddings
2 :何もしていないのに壊れました :2026/11/16(月) 08:39:46.10 ID:IZWPUpCL
位置?単語に1、2、3って番号振れば終わりやろ なんでそんな大げさな話になるンゴ!?
3 :何もしていないのに壊れました :2026/11/16(月) 08:46:16.63 ID:CL6RiHgh
>>2 その番号自体をモデルは持ってないんだよな トークンの埋め込みはIDごとに決まったベクトルで、同じ単語なら文のどこにあっても同じベクトルになる だから順番の情報を別に足さないと、語順で意味が変わることに気づけないって話だぞ
4 :何もしていないのに壊れました :2026/11/16(月) 08:52:11.97 ID:u9Yda5+F
赤いキツネが跳ぶ文と灰色のキツネが跳ぶ文、語順が違うだけで意味が逆になる例えは分かりやすい
5 :何もしていないのに壊れました :2026/11/16(月) 09:04:50.99 ID:RiHgh0Ds
位置情報ゼロだと red と gray を入れ替えても注意スコアが変わらないらしい それはさすがにヤバいだろ
6 :何もしていないのに壊れました :2026/11/16(月) 09:15:55.20 ID:ctqjoV8f
うちのヨッメも語順変えただけで頼み事を別物として処理してくるから分かる
7 :何もしていないのに壊れました :2026/11/16(月) 09:26:43.39 ID:Hgh0DsJG
厳密には、後ろの単語を見られなくするマスクだけでも順序の手がかりにはなる ただ1個離れてるのか10個離れてるのかは区別できない、と記事は言ってる
8 :何もしていないのに壊れました :2026/11/16(月) 09:35:57.00 ID:IZWPUpCL
ほなマスクだけでええやん! 位置埋め込みとかいう余分なやつは全部ポイーで!
9 :何もしていないのに壊れました :2026/11/16(月) 09:43:41.60 ID:CL6RiHgh
>>8 そこが弱点なんだよな 「3つ前の単語」みたいな距離の関係を拾いやすくするのが位置情報の仕事だぞ 距離が分からないと、近い言葉と遠い言葉の区別がつかないと思っとけばいい
10 :何もしていないのに壊れました :2026/11/16(月) 09:49:51.81 ID:E/mvQB4r
イッチやが、まずGPT-2の方式からな 位置ごとに学習したベクトルを用意して、トークンの埋め込みに足してから最初のブロックに入れる、というシンプルなやつや
11 :何もしていないのに壊れました :2026/11/16(月) 09:55:17.98 ID:4r23Knct
GPT-2って位置ベクトル1024個までしか持ってないんだろ つまり1024トークン超えたらお手上げってことだろ
12 :何もしていないのに壊れました :2026/11/16(月) 10:01:18.61 ID:pCL6RiHg
しかも表を伸ばすと重みが膨らむのが痛い 記事の計算だと、GPT-2 Mediumでコンテキストを10万にすると位置の表だけで全体の22%超えになるらしい 今の1024だと0.3%で済んでるのに
13 :何もしていないのに壊れました :2026/11/16(月) 10:04:35.33 ID:IZWPUpCL
22%!?ファッ!? 位置を覚えるだけでモデルの5分の1も持ってかれるんか!
14 :何もしていないのに壊れました :2026/11/16(月) 10:09:26.78 ID:u9Yda5+F
ワイの財布も固定費の割合が増えると一気に死ぬから、その感覚はよく分かる
15 :何もしていないのに壊れました :2026/11/16(月) 10:11:10.44 ID:RiHgh0Ds
2017年の原典Transformerは学習じゃなくて、sinとcosで位置ベクトルを計算してたらしいな
16 :何もしていないのに壊れました :2026/11/16(月) 10:13:29.82 ID:CL6RiHgh
>>15 うん、ペアごとに回る速さが違うのがミソだぞ 速く回るペアとゆっくり回るペアを混ぜて、位置×周波数がそのまま角度になる この考え方が後のRoPEの伏線になってるのが良いんだよな、ここすき
17 :何もしていないのに壊れました :2026/11/16(月) 10:26:04.53 ID:IZWPUpCL
sin cos って高校の数学で真っ先に捨てたやつやん… なんでAIの最先端に再登場しとるンゴ
18 :何もしていないのに壊れました :2026/11/16(月) 10:39:14.54 ID:ctqjoV8f
>>17 捨てたのはお前だけで、三角関数は何も捨ててないぞ
19 :何もしていないのに壊れました :2026/11/16(月) 10:53:03.02 ID:Hgh0DsJG
高校の数学の先生、今ごろ何してるんだろ
20 :何もしていないのに壊れました :2026/11/16(月) 10:54:27.13 ID:E/mvQB4r
イッチやが、sin/cosにした理由は「ずれ」の扱いや 位置が2から5でも102から105でも、ずれが3なら回転は同じになる その性質があると「3つ前」みたいな関係を学びやすいはず、というのが論文側の目論見や
21 :何もしていないのに壊れました :2026/11/16(月) 11:07:10.56 ID:4r23Knct
とはいえ各トークンがもらうのは「先頭から何番目か」のベクトルだから、あくまで絶対位置なんだよな
22 :何もしていないのに壊れました :2026/11/16(月) 11:18:19.97 ID:pCL6RiHg
絶対評価より相対評価の方がワイの成績はマシだった模様
23 :何もしていないのに壊れました :2026/11/16(月) 11:28:53.08 ID:u9Yda5+F
で、RoPEってやつはクエリとキーを回すんやろ 名前からして回転の話だンゴ
24 :何もしていないのに壊れました :2026/11/16(月) 11:37:53.80 ID:CL6RiHgh
>>23 要はアテンションの中でやるのが違いだぞ クエリとキーだけを位置の分だけ回して、バリューは回さない すると内積に残るのは回転の差、つまり2つのトークンの距離だけになるんだよな
25 :何もしていないのに壊れました :2026/11/16(月) 11:40:55.36 ID:IZWPUpCL
回すって…ベクトルは数字の列やぞ!? 数字がどうやって回るんや!?
26 :何もしていないのに壊れました :2026/11/16(月) 11:43:22.43 ID:CL6RiHgh
>>25 数字を2つずつペアにして、平面の矢印だと思えば回せるんだよな 記事の例だと長さ√26の矢印を、キーは位置2で40度、クエリは位置5で100度回してる 長さはそのままで、角度だけ変わると思っとけばいい
27 :何もしていないのに壊れました :2026/11/16(月) 11:45:14.22 ID:RiHgh0Ds
その例、間の角度が60度になって内積が26×cos60°で13になるの、綺麗すぎて好き
28 :何もしていないのに壊れました :2026/11/16(月) 11:58:32.16 ID:ctqjoV8f
綺麗といえば、ワイの今月の家計簿は1ミリも綺麗じゃない
29 :何もしていないのに壊れました :2026/11/16(月) 12:05:52.93 ID:Hgh0DsJG
でも両方の位置を同じだけずらしても内積が変わらないなら、位置情報として仕事してなくないか?
30 :何もしていないのに壊れました :2026/11/16(月) 12:12:37.54 ID:CL6RiHgh
>>29 逆で、それが狙いなんだよな 前にシステムプロンプトみたいな100トークンが挟まっても、単語同士の間隔が同じなら関係は保たれる 絶対座標じゃなく間隔を見てる、ってことだぞ
31 :何もしていないのに壊れました :2026/11/16(月) 12:17:01.86 ID:IZWPUpCL
はえ〜、住所で覚えるんやなくて「3軒隣」で覚える感じか サンガツ
32 :何もしていないのに壊れました :2026/11/16(月) 12:22:59.65 ID:4r23Knct
うちの3軒隣のジッジ、ワイの顔は覚えてないのに距離感だけは正確で草
33 :何もしていないのに壊れました :2026/11/16(月) 12:29:32.65 ID:E/mvQB4r
イッチやが、回る速さの決め方も記事にあるで ペアごとに周波数が決まってて、元の論文のbaseは10000 速いペアは1ラジアンずつ、遅いペアは0.001ラジアンずつ回る
34 :何もしていないのに壊れました :2026/11/16(月) 12:36:40.42 ID:pCL6RiHg
cosとsinの表は先に計算して全ヘッドで使い回すから安上がりらしいな 位置ごとに毎回計算し直すわけじゃないのが地味に大事
35 :何もしていないのに壊れました :2026/11/16(月) 12:45:22.96 ID:u9Yda5+F
資格の勉強、表を丸暗記する系が一番苦手なんだよな
36 :何もしていないのに壊れました :2026/11/16(月) 12:54:39.02 ID:RiHgh0Ds
実装の話だと、ペアの組み方が2種類あるらしい 原論文と初期のLLaMAは隣同士、今の多くの実装は前半と後半を対応させる方式 並びを揃えれば数学的には同じ結果になる、と記事にある
37 :何もしていないのに壊れました :2026/11/16(月) 13:05:30.14 ID:ctqjoV8f
最近のモデルは、全部の層でRoPEを使うのが当たり前じゃなくなってきてるらしいね
38 :何もしていないのに壊れました :2026/11/16(月) 13:16:56.94 ID:Hgh0DsJG
MiniMax-M3は128次元のうち64次元だけ回す部分RoPEだし、SmolLM3は4層に1層RoPE自体を飛ばしてる SmolLM3側は、その方が長いコンテキストの性能が良くなったと言ってるらしい
39 :何もしていないのに壊れました :2026/11/16(月) 13:28:57.26 ID:IZWPUpCL
部分的に回す!?中途半端やん! 回すなら全部回せや!
40 :何もしていないのに壊れました :2026/11/16(月) 13:42:32.57 ID:4r23Knct
>>39 回す分が減るとcos/sinの表も半分になってメモリは浮くんだよ でも記事の著者本人は、浮く量が小さいから「正直そこまでやる価値は微妙」って書いてる 1Mコンテキストで浮くのは128MiBくらいらしい
41 :何もしていないのに壊れました :2026/11/16(月) 13:43:32.10 ID:pCL6RiHg
回すといえば昨日の先発ローテ、うちの監督の回し方はほんま下手や
42 :何もしていないのに壊れました :2026/11/16(月) 13:56:57.59 ID:u9Yda5+F
NoPEって、位置符号化を一切なしにする手もあるらしいな マスクの平均の取り方から今の位置が逆算できる、って理屈が面白い
43 :何もしていないのに壊れました :2026/11/16(月) 14:00:06.03 ID:CL6RiHgh
>>42 例が分かりやすいんだよな 目印の単語が前に1回だけ出るなら、その成分の平均が3番目で1/3、4番目で1/4になって位置の信号になる 実験では長さの汎化でNoPEがRoPEを上回ったらしい、ただ別の実験では一番長いところで次トークンの予測が悪化したそうだ
44 :何もしていないのに壊れました :2026/11/16(月) 14:02:40.63 ID:E/mvQB4r
イッチやが、一番大事なのは方式の名前やなくて、内積に残るのが絶対位置か相対距離かってところやと思う そこが分かれば、新しい方式が出てきてもだいたい追えるはずや
45 :何もしていないのに壊れました :2026/11/16(月) 14:12:58.33 ID:RiHgh0Ds
明日からワイも自分の文章の語順、もうちょっと大事にすることにするわ