avatar
tkat0.dev
JA
Published on

Weekly Report 2021/01/18-01/24

今週の振り返り。

Table of Contents

振り返り

Keep

  • 英語力の成長は感じている
    • モチベーションは保てている
  • 英語の発音練習を始めた
    • ELSAを毎日やってる
      • すぐフィードバックがあるのは重要
      • 苦手な音素がわかってきた（ほとんど苦手...）
    • shadowing の学習の中でも丁寧に発音練習をやってみたが、しんどい
    • 会話力向上についても、こういうアプリあるといいんだけどなあ
  • 技術的なキャッチアップも頑張った
    • やっぱり好きことは楽しい
    • 気分転換の役割として、英語学習とうまくバランスさせたい

Problem & Try

Try は ★

  • 英語の表現力を増やすのが難しいと感じている（先週に引き続き）
    • 会話時に、言いたいことがすっと口から出ることを目指したい
    • 少なくとも１月中は今の勉強の仕方を継続 ★

気になったこと

 同調しない組織文化のつくり方

同調しない組織文化のつくり方 DIAMOND ハーバード・ビジネス・レビュー論文 | アダム・グラント, DIAMOND ハーバード・ビジネス・レビュー編集部 | ビジネス・経済 | Kindle ストア | Amazon

  • イノベーションを促進するためには、組織が同じ思考を押し付けては駄目
  • 同調しない組織文化を、リーダーが意識して作る必要がある
  • 多様なアイディアをたくさん出させる機会が必要
    • 個人が意見を言いやすくなる方法
    • 言いたくなるような報酬
  • 大量のアイディアを正しく評価する仕組みが必要
    • 価値ある意見を評価するには多数決では NG
    • わかる人に評価させるべき
    • 意見へのフィードバックがないと、失望して意見ださなくなるよ
  • 組織の団結と意見対立を両立させることが必要
    • 批判的な意見を言いやすくする仕組み
    • 対立時の指針として、組織が求める価値の優先度は明確にすべき
      • ぜんぶ優先は無理

感想

  • 先週読んだEXTREME TEAMSと親しい
  • 違う意見を言いにくい or 言っても無駄と思われる雰囲気や環境をつくってないか？
  • 自分では気が付きにくいので気をつけたい
  • とはいえどうやって？

 研究を売れ！　ソニーコンピュータサイエンス研究所のしたたかな技術経営

研究を売れ！　ソニーコンピュータサイエンス研究所のしたたかな技術経営 | 夏目 哲, 所 眞理雄 | ビジネス・経済 | Kindle ストア | Amazon

  • 「研究営業」という役割は、研究者の成果の実用化（事業部への売り込み）を推進
  • 研究が先進的であるほど製品化は難しい
  • コストが割りに合わないことや、周辺技術が不足し製品品質を達成できないことも
  • だから、環境や関連技術が育つのを待つことも重要
  • 常に先端の基礎研究は粛々と進め、時間差で研究営業が製品化を推進

感想

  • 先端技術を製品化していく上で、部門を超えたコミュニケーションに関する学びを得たく読んだ
  • 時期を待つ、という視点は忘れがちなので覚えておきたい
    • 新しいものをすぐ本番で使おうとしがち

 Hardware/Software Co-Exploration of Neural Architectures

[1907.04650] Hardware/Software Co-Exploration of Neural Architectures

モデルアーキテクチャだけでなく、それを動かす HW の構成も同時に探索する手法。先行研究のように HW 固定でモデルだけ探索するのと比べて、HW の効率とモデルの精度両方の良いトレードオフを取れる。同じモデル精度でスループットやエネルギー効率が良くなった。

この研究では、1 モデルを複数台の FPGA のパイプラインとして実装する。生成した候補モデルのどのレイヤーをどの FPGA に割り当てるか、をBLAST アルゴリズム（わからない）で動的に決めている。正確に言うと、候補モデルをパーティション、1 つ以上のレイヤーからなるグループ、に分けてからパーティション毎に FPGA に割り当てる。

候補モデルを生成するのは、NAS では一般的な RNN のコントローラー。2 つの探索フェーズでそれぞれ異なる Reward で強化学習する。 正確ではないが以下のイメージ。

  1. Fast Exploration
    • FPGA の構成を変えながら、要求する速度を満たすモデル候補を生成するようにコントローラーを学習
    • Reward = efficiency
  2. Slow Exploration
    • モデル候補を val データで学習し、高速に加えて精度の高いモデルが出るようにコントローラーを学習
    • Reward = β _ accuracy + (1 - β) _ efficiency

1 つの RNN ですべてのレイヤーのパラメータを生成するのではなく、FPGA 毎（パーティション毎）に RNN を用意することで探索空間を抑えている。これにより、探索時間（GPU 時間）は先行研究より 100 倍以上高速とのこと（Table IV）。

この分野の先端は追えていないので、気が向いたらキャッチアップする予定。