Upload 4 files

AMP-compatible/emoclan.py

@@ -5,6 +5,8 @@ from typing import Callable, Union, Dict, Any, Tuple
 
 """
 AMP対応完了(202507) p.data -> p 修正済み
+memo : "optimizer = EmoClan(model.parameters(), lr=1e-3, use_shadow=False)"
+optimizer 指定の際に False にすることで shadow をオフにできる
 """
 
 # Helper function
@@ -12,13 +14,15 @@ def exists(val):
     return val is not None
 
 class EmoClan(Optimizer):
+    # クラス定義＆初期化 - 🔸Shadow True(有効)/False(無効) 切替え
     def __init__(self, params: Union[list, torch.nn.Module], 
                  lr: float = 1e-3, 
                  betas: Tuple[float, float] = (0.9, 0.999), 
                  eps: float = 1e-8, 
                  weight_decay: float = 0.01,
                  lynx_betas: Tuple[float, float] = (0.9, 0.99), # Lynx 固有の beta
-                 decoupled_weight_decay: bool = False
+                 decoupled_weight_decay: bool = False,
+                 use_shadow: bool = True
                 ):
         
         if not 0.0 <= lr:
@@ -42,6 +46,7 @@ class EmoClan(Optimizer):
         
         self._init_lr = lr # decoupled weight decay のために保存 (Lynx用)
         self.should_stop = False # 全体の停止フラグ
+        self.use_shadow = use_shadow # EmoClanインスタンス自身がuse_shadowを保持
 
     # --- 感情機構 (Emotion Mechanism) ---
     def _update_ema(self, param_state: Dict[str, Any], loss_val: float) -> Dict[str, float]:
@@ -213,19 +218,21 @@ class EmoClan(Optimizer):
                 # 各パラメータの state['ema'] は、それぞれの loss_val (全体で共通) を元に更新される
                 # ただし、現状の loss_val はクロージャから受け取った単一の値なので、
                 # 各パラメータ固有の「感情」を定義するより、全体としての感情が使われることになる。
-                param_ema = self._update_ema(param_state, loss_val) 
-                param_scalar = self._compute_scalar(param_ema) # 各パラメータ固有のスカラー
-
-                ratio = self._decide_ratio(param_scalar) # 各パラメータ固有の ratio
-
-                if ratio > 0:
-                    if 'shadow' not in param_state:
-                        param_state['shadow'] = p.clone()
-                    else:
-                        # Shadow を現在値にブレンド
-                        p.mul_(1 - ratio).add_(param_state['shadow'], alpha=ratio)
-                    # Shadow を現在値に追従させる
-                    param_state['shadow'].lerp_(p, 0.05)
+                # use_shadow が True の場合にのみ Shadow 関連の処理を実行
+                if self.use_shadow:  
+                    param_ema = self._update_ema(param_state, loss_val) 
+                    param_scalar = self._compute_scalar(param_ema) # 各パラメータ固有のスカラー
+
+                    ratio = self._decide_ratio(param_scalar) # 各パラメータ固有の ratio
+
+                    if ratio > 0:
+                        if 'shadow' not in param_state:
+                            param_state['shadow'] = p.clone()
+                        else:
+                            # Shadow を現在値にブレンド
+                            p.mul_(1 - ratio).add_(param_state['shadow'], alpha=ratio)
+                        # Shadow を現在値に追従させる
+                        param_state['shadow'].lerp_(p, 0.05)
 
                 # --- 最適化器の選択と勾配更新 ---
                 # 現在のglobal_scalar_histに記録された全体としての感情スカラーに基づいてフェーズを判断

AMP-compatible/emoneco.py

@@ -5,6 +5,8 @@ from typing import Tuple, Callable, Union
 
 """
 AMP対応完了(202507) p.data -> p 修正済み
+memo : "optimizer = EmoNeco(model.parameters(), lr=1e-3, use_shadow=False)"
+optimizer 指定の際に False にすることで shadow をオフにできる
 """
 
 # Helper function (Lynx)
@@ -15,10 +17,10 @@ def softsign(x):
     return x / (1 + x.abs())
 
 class EmoNeco(Optimizer):
-    # クラス定義＆初期化
+    # クラス定義＆初期化 -  🔸Shadow True(有効)/False(無効) 切替え
     def __init__(self, params: Union[list, torch.nn.Module], lr=1e-3, betas=(0.9, 0.99), 
     # neco用ベータ･互換性の追加(neco用beta1･beta2)
-                 eps=1e-8, weight_decay=0.01, decoupled_weight_decay: bool = False): 
+                 eps=1e-8, weight_decay=0.01, decoupled_weight_decay: bool = False, use_shadow: bool = True): 
 
         defaults = dict(lr=lr, betas=betas, eps=eps, weight_decay=weight_decay)
         super().__init__(params, defaults)
@@ -27,6 +29,7 @@ class EmoNeco(Optimizer):
         self._init_lr = lr
         self.decoupled_wd = decoupled_weight_decay
         self.should_stop = False # 停止フラグの初期化
+        self.use_shadow = use_shadow # 🔸shadowの使用フラグを保存
 
     # 感情EMA更新(緊張と安静)
     def _update_ema(self, state, loss_val):
@@ -42,6 +45,9 @@ class EmoNeco(Optimizer):
 
     # Shadow混合比率(> 0.6：70〜90%、 < -0.6：10%、 abs> 0.3：30%、 平時：0%)
     def _decide_ratio(self, scalar):
+        # 🔸use_shadow が False の場合は常に比率を 0 にする
+        if not self.use_shadow:
+            return 0.0
         if scalar > 0.6:
             return 0.7 + 0.2 * scalar
         elif scalar < -0.6:
@@ -76,10 +82,11 @@ class EmoNeco(Optimizer):
                 # EMA更新・スカラー生成(EMA差分からスカラーを生成しスパイク比率を決定)
                 ema = self._update_ema(state, loss_val)
                 scalar = self._compute_scalar(ema)
-                ratio = self._decide_ratio(scalar)
+                ratio = self._decide_ratio(scalar) # 🔸use_shadow に応じて ratio が 0 になる
 
                 # shadow_param：必要時のみ更新(スパイク部分に現在値を5%ずつ追従させる動的履歴)
-                if ratio > 0:
+                # 🔸self.use_shadow が True で、かつ ratio > 0 の場合のみ shadow を更新
+                if self.use_shadow and ratio > 0: 
                     if 'shadow' not in state:
                         state['shadow'] = p.clone()
                     else:
@@ -144,7 +151,7 @@ class EmoNeco(Optimizer):
 
 """
  https://github.com/muooon/EmoNavi
- Neco was developed with inspiration from Lion, Tiger, Cautious, softsign, and Lynx 
+ Neco was developed with inspiration from Lion, Tiger, Cautious, softsign, and EmoLynx 
  which we deeply respect for their lightweight and intelligent design.  
  Neco also integrates EmoNAVI to enhance its capabilities.
 """

AMP-compatible/emozeal.py

@@ -4,6 +4,8 @@ import math
 
 """
 AMP対応完了(202507) p.data -> p 修正済み
+memo : "optimizer = EmoNeco(model.parameters(), lr=1e-3, use_shadow=False)"
+optimizer 指定の際に False にすることで shadow をオフにできる
 """
 
 # Soft Sign 関数
@@ -11,14 +13,17 @@ def softsign(x):
     return x / (1 + x.abs())
     
 class EmoZeal(Optimizer):
-    # クラス定義＆初期化
+    # クラス定義＆初期化 - 🔸Shadow True(有効)/False(無効) 切替え
     def __init__(self, params, lr=1e-3, betas=(0.9, 0.999),
-                 eps=1e-8, weight_decay=0.01):
+                 eps=1e-8, weight_decay=0.01, use_shadow: bool = True): 
         defaults = dict(lr=lr, betas=betas, eps=eps, weight_decay=weight_decay)
+
         super().__init__(params, defaults)
+
         self.alpha_prev = getattr(self, 'alpha_prev', 1.0)
         self._init_lr = lr 
         self.should_stop = False # 停止フラグの初期化
+        self.use_shadow = use_shadow # 🔸shadowの使用フラグを保存
 
     # 感情EMA更新(緊張と安静)
     def _update_ema(self, state, loss_val):
@@ -34,6 +39,9 @@ class EmoZeal(Optimizer):
 
     # Shadow混合比率(> 0.6：70〜90%、 < -0.6：10%、 abs> 0.3：30%、 平時：0%)
     def _decide_ratio(self, scalar):
+        # 🔸use_shadow が False の場合は常に比率を 0 にする
+        if not self.use_shadow:
+            return 0.0
         if scalar > 0.6:
             return 0.7 + 0.2 * scalar
         elif scalar < -0.6:
@@ -59,10 +67,11 @@ class EmoZeal(Optimizer):
                 # 感情EMA更新・スカラー生成 (既存ロジックを維持)
                 ema = self._update_ema(state, loss_val)
                 scalar = self._compute_scalar(ema)
-                ratio = self._decide_ratio(scalar)
+                ratio = self._decide_ratio(scalar) # 🔸use_shadow に応じて ratio が 0 になる
 
                 # shadow_param：必要時のみ更新 (既存ロジックを維持)
-                if ratio > 0:
+                # 🔸self.use_shadow が True で、かつ ratio > 0 の場合のみ shadow を更新
+                if self.use_shadow and ratio > 0: 
                     if 'shadow' not in state:
                         state['shadow'] = p.clone()
                     else:

AMP-compatible/profile.txt

@@ -14,15 +14,15 @@ Through our efforts to enhance this, we developed a novel mechanism: the emotion
 We'll introduce them in order, starting with emonavi.
 
 三姉妹 ／ The Three Sisters
-emonavi：長女／Adam参考　The eldest daughter, referencing Adam.
-emofact：次女／Adafactor参考　The second daughter, referencing Adafactor.
-emolynx：三女／Lion･Tiger参考　The youngest daughter, referencing Lion and Tiger.
+emonavi：長女／Adam参考 The eldest daughter, referencing Adam.
+emofact：次女／Adafactor参考 The second daughter, referencing Adafactor.
+emolynx：三女／Lion･Tiger参考 The youngest daughter, referencing Lion and Tiger.
 
-emoclan：統合／三姉妹に役割分担をさせた統合型　An integrated model where roles are assigned to the three sisters.
+emoclan：統合／三姉妹に役割分担をさせた統合型 An integrated model where roles are assigned to the three sisters.
 
 従妹の双子 ／ Cousins of the Three Sisters
-emozeal：双子の姉／emofact参考　The elder twin sister, referencing emofact.
-emoneco：双子の妹／emolynx参考　The younger twin sister, referencing emolynx.
+emozeal：双子の姉／emofact参考 The elder twin sister, referencing emofact.
+emoneco：双子の妹／emolynx参考 The younger twin sister, referencing emolynx.
 
 emoclanという統合から三姉妹の従妹へ発展します
 emozeal と emoneco はそれぞれ場面に応じて更新方法を選択します
@@ -34,4 +34,12 @@ emozeal は Adafactor系に情熱を持たせました
 emoneco は Lion系にしなやかさを持たせました
 Each possesses the same "emotional mechanism." 
 emozeal imbues Adafactor-based models with passion. 
-emoneco instills flexibility in Lion-based models.
+emoneco instills flexibility in Lion-based models.
+
+shadow 切替機能 ／ shadow switching function 
+emoclan、emozeal、emoneco、は、shadow 機能の 有効/無効 切替を可能にしました
+allows enabling/disabling of the shadow function
+
+memo : "optimizer = EmoNeco(model.parameters(), lr=1e-3, use_shadow=False)"
+optimizer 指定の際に False にすることで shadow をオフにできる
+Shadow can be turned off by setting it to False when specifying the optimizer.