4月からUbie株式会社で働き始めました。入社して1ヶ月が立ったので, 入社に至るまでの経緯と入っての感想を簡単にまとめようと思います。こういう記事でエモい内容書くの苦手だし, 自分が長い文章読むのも苦手なので, 簡潔めにまとめています。気になった部分あった方はぜひ直接お話しましょう! (TwitterDMなどで気軽に連絡いただければ @Schumi543)Ubieの選考に進んだきっかけUbieに決めた理由実際に働いての感想入社前の懸念と実際カルチャーオンボーディングこの1ヶ月でやっていた業務まとめUbieの選考に進んだきっかけ2年ほど前に参加した勉強会で @nantani4 さんと知り合った、その後youtrustで声がけいただいて, カジュ面で何人か話を伺っていたもともとブログを見ていた, ＠shiraj_i さんや @yohei_kikuta さんが転職してたのをtwitter で見かけて気になっていたpodcast 聞いて, 一緒に働いて楽しそうな人が多そうだと思っていたカルチャーガイド や noteの発信 見てユニークな組織設計をしているなと思って興味が湧いたUbieに決めた理由他にはスタートアップといわゆる大手外資系企業を数社受けて内定をいただいていました。最終的にUbieに決めたのは以下の理由です。選考でのやり取りやメンバーの普段の発信(note, podcast)を見て一緒にはたらいて楽しそうな人が多いと思った自分の価値観とマッチした価値観は詳細に書くと長くなるので端的に書くと, 人がやりたいことできている(少なくともやりたくないことをやらなくてよい)社会つくりたいなと思っています。実際にプロダクトや事業の話を聞いて, 自分の身の回りの人の生活をよくできそうなものが作れそうだと感じた待遇が十分良かったビジネスロジック的なところを聞いておもしろそうだと感じた大手外資系企業はJrの立場で行ける年齢的には最後そうかなーと思いつつ, ライフステージ的なところも考えて, 今しかできない経験ができるのはUbieの方だなと思った。実際に働いての感想入社前の懸念と実際懸念についてはだいたい面接時点で聞けてたのでそこまでなかったんですが, 以下の点だけ気にしていました。前職ではスクラムやホラクラシーなどは取り入れてなかったので, 定例mtgが多くなることで調査, 分析やエンジニアリング的な作業が細切れになってしまいそう実際働いてみた感想としては以下の対策がされていたので, 全く問題なさそうでした実際は前職が少なすぎただけでそこまでmtg多くはなさそう会議体のあり方も教条的にやるのではなくscrumの原則に従って適応的に更新されている加えて, ホラクラシーのロールで 生産性最大化に向けた社内Mtg最適化 というのもあって, 全社員のmtg時間モニタリングして適宜振り返ってアクションをうっているnotionに ホラクラシーの会議が溢れることを恐れているあなたへ という記事があって, まさしく参考になる情報があったまた, 実際に入って気づいたこととしては, DX(Digital Transformation)をやっているという会社ということでPublic Affairs(公共政策渉外)をやっている人がいるのは, 今まで見てきたApp, Web系の企業ではあまり見かけてこなかったので, 新鮮でしたnote.comカルチャー想像していた以上に カルチャーガイド の通りでした。特に普段の業務で感じる部分は以下です。当たり前のレベルが高く, 投資対効果(RoI)あうなら, 方法論にはこだわらずやりきる諸々の効率化のためののレールとしての決まりはあるが, 目的に適さなかったらすぐ変えていくカルチャーガイドのUbienessやDo's, Don'ts が徹底されている印象各所にカルチャーについて振り返る機構があるのでポジティブフィードバックが起こりやすい  note.comコミュニケーションの共通規格として, UbienessとDo's, Don'ts 浸透しているので, 人で話し方を変えるというのが少なくてやりやすい少し意外だったところでいうと, ドメインが医療DXということで, 少し硬めの人が多いかなという印象だったが, いい意味で真面目さと普段のラフさのgapが大きい人が多いオンボーディング以前のnote記事にあったようにオンボーディングはかなりしっかりしていました。note.com3日間に渡って, 会社のカルチャー, ドメイン, チームなどに関してみっちり教わった3-2-1リストという, 入社3日以内, 2週間以内, 1ヶ月以内にやることリストがまとまっていたので, 事務的な作業のチェックがしやすかった初日オンボーディングで個人OKRを立てたのが, 休み明けで仕事の仕方忘れてたのを切り替えるのに良かった最後にアンケートでオンボーディングのフィードバックや　能力発揮度, 心理的安全性, Value発揮度 について回答, 答えた内容についてメンターと話し合いました。自分の今の立ち位置が整理されてよかったこの1ヶ月でやっていた業務一旦DSの直近のOKRに基盤改善系のPBIがつまれていたので, その辺りを扱っていました。オンボーディングタスクとしてドキュメントやツールのアップデートA/Bテスト基盤の開発開発効率改善のためのissue作成検証用のシミュレータの整理ロジックの検証採用ポジション的にはデータエンジニアで入ったのですが, 前職でもロジックの改善と基盤改善両方やっていたので, その辺りを両方やっている感じです。いわゆる検証, 開発, 運用のプロセスをすべて扱えるのはこの職種の面白いところだな〜と思っています。まとめ発信されている情報といい意味でギャップが少なくて, とても働きやすい環境です。ubie.hubspotpagebuilder.comrecruit.ubie.life

Ubie株式会社(Ubie Discovery)に入社しました

統計数理研究所75周年のオープンハウスに参加してきたので手元のメモ公開します。イベントHPwww.ism.ac.jp人工知能の歴史, 発展, 社会への影響(甘利先生)イントロ宇宙史と脳の生成のアナロジー人工知能と脳のモデルAIの第一次ブームAIの第二次ブームAIの第三次ブーム深層学習の数理(digest)深層学習の問題点1. 原理を発見しない -> モデルの数理的解釈が難しい2. 1000 層も必要か?3. 局所解と大域解最近の甘利先生の研究統計神経力学数理脳科学は脳の基本原理を探求する意識の発生人工知能が脳に学ぶべきこと心を持ったロボットがつくれるか社会への影響深層生成モデルによる統計的推論(福水先生)イントロ深層生成モデル数理的な話深層生成モデルによるベイズ推論おわりに深層学習の理論を明らかにする理論の試み(今泉先生)イントロ深層学習がもたらす謎謎1. なぜ多層で性能が上がる謎2. パラメタ数の謎謎3. なぜ学習が収束する?原因究明のための理論の試み1. 多層構造が必要な関数2. モデル自由度の再評価3. 大域解を保証する仕組みおわりに人工知能の歴史, 発展, 社会への影響(甘利先生)前半は一般の方向けのライトな話でした。メモは若干自分の解釈が入ってます。イントロ第四時産業革命生命技術と方法技術の進化技術は止めようと思っても止まらない宇宙史と脳の生成のアナロジー物理学 (ビッグバン)->生命科学 (生命の誕生, 事故を複製し次世代に伝える物質, 遺伝)->神経科学 (多細胞生物は環境情報を利用する)->文化人類学, 心理学 (人類の誕生と発展)人工知能と脳のモデルAIの第一次ブーム万能機械, Perceptron, 脳モデル神経回路ネットワークモデル(ローゼンブラッド)計算機の性能が足りなかったAIの第二次ブームエキスパートモデル, MLP(backprop), 連想記憶モデルAIの第三次ブーム深層学習, パターン認識, 強化学習深層学習の数理(digest)多層回路網の学習理論は甘利先生が約50年前に提案深層学習の問題点1. 原理を発見しない -> モデルの数理的解釈が難しい理想のモデルの設計, 潜在変数の特定までは難しい, 例えばケプラーの法則を発見できるか?モデル選択の話?2. 1000 層も必要か?layor 数の暴力で問題を説いている, 情報表現としては抽象化が進めば構造が捉えられる敵対的例題と脆弱性3. 局所解と大域解次元の呪いと局所解simulated annealingで何とかしようという話はあるが, approachが工学的...大規模系の特徴 n->∞ での関数空間での評価 Jacot et.al最近の甘利先生の研究統計神経力学例えばinitial weightを適当な確率分布で初期化したときにマクロな何らかの数理的な特徴が捉えられないかStanford, Google の人たちも最近やり始めている引き戻し計量(リーマン計量, 距離)フラクタルと敵対的例題 Poole et al. 2016(甘利先生がやりたかったらしい)中心極限定理, 大数の法則を使いたいが, 層には方向があるので一様収束しないNatural Gradient計算機的に逆行列計算が現実的でない(1M * 1M parameters)Fisher Information,Unitwise natural gradient Y.Ollivierquasi-diagonal nartural gradientneural tangent kernel (No local minima, uniform convergence)$n -> \inf K_t -> K_0$数理脳科学は脳の基本原理を探求する進化によるランダムサーチGA, MCMC?歴史的な制約, ゴタゴタの設計の中で絶妙な実現意識の発生Libetの実験予測と後付, 神経科学的ダイナミクス <=> 意識による反省, 正当化人工知能が脳に学ぶべきこと数理的理解, 意識と心の役割, 連想式記憶システム心を持ったロボットがつくれるかロボットが心を持つように見える(感情移入)社会への影響人間の家畜化, ベーシックインカム仕事がないと人は生きられない, Amateur Scientist, Enginnerが増えていく?深層生成モデルによる統計的推論(福水先生)最近の深層生成モデルによる統計的推論のsurvey的な話イントロ神経回路網の数理がきっかけで統計的機械学習に興味を持ったNN -> SVM -> DNNDNNの発展にはプラットフォームの起用もある(RF, PyTorch Theano, Chainer)"Artifucuak Intelligence is the new electricity" by Andrew Ng深層生成モデルGAN-> ProgressiveGAN->StyleGANStyleGAN (which face is real?)良い原理が発見できれば, 改善は速い現在のSoAとして以下を紹介CycleGAN(2017)Everybody Dance Now (2018)数理的な話生成モデル自体は昔からあるi.e. Graphical model, Mixture model, カーネル密度推定距離尺度i.w. f-divergence(2016), wasserstein(2017), MMD(2018)GANはJensen-Shannon divergenceを利用, 確率密度関数の構成が困難-> JS距離を識別問題に還元-> 識別はDNNが得意GANはminimaxによる学習, DiscriminatorはLogistic Classify, Genrator は判別できないようにモデルを生成深層生成モデルによるベイズ推論ベイズ問題の一つは分母の積分をどう計算するかGANは高性能なサンプラーと考えられる, ベイズ推論に使えないか? Yang et.al. 2018分布の距離尺度は KL-d, 変分ベイズからの導出Hierarchical Impicit Models and Likelihood-Free VI密度比の対数の推定をLogictic Classify で行う(like GAN)実験の比較対象はABC系の手法Lotca-Volterra Predator-Prey Simulator の推論おわりに今後の研究対象は以下GANによるサンプリング+Bayes推論非線形時系列モデルGANによるサンプリングを利用した粒子フィルターおもしろそう深層学習の理論を明らかにする理論の試み(今泉先生)イントロ深層学習の登場膨大な計算コストとブラックボックスな挙動が未だに実用化の課題深層学習のモデルに関するイントロAlexNet #layer = 8,  #parameter=60MVGG #layer =19, #parameter =100M深層学習がもたらす謎なぜ性能が良いのか?従来法: フーリエ法, スプライン, カーネル法これらは大雑把には特徴写像-> 線形変換の二層の構造と考えられる一方でDNNは #layerが多いので表現力が高い(?)謎1. なぜ多層で性能が上がる関数推定の最適性原理, 普遍近似原理 .. etc. があるにもかかわらず #layerと性能は正の相関がある謎2. パラメタ数の謎統計理論の原則としては, 大量のパラメータを持つモデルは過学習により精度が下がるはず, but DNNはパラメータ数と性能に正の相関がある既存手法は変数選択, スパースモデリング, 正則化, 適応化などでモデルのパラメータ数を減らす方向でモデリングしてきた謎3. なぜ学習が収束する?次元の呪いがあるはずなのに, 適当なパラメータで精度が向上している(従来の統計理論とConflict)パラメータは大域解でないのに信頼できるか?原因究明のための理論の試み1. 多層構造が必要な関数斉一的な性質を持つ関数 -> 局所構造を持つ関数多層は局所構造を持つ関数の表現に必要i.e. 相転移現象の特異関数(Imaizumi 2019), 信号, 音声のBesov 関数空間(Suzuki 2019)supportが分離されているような局所構造のある関数を保表現するにはDNNの多層構造が有用なことが理論的に示された2. モデル自由度の再評価既存の解釈ではモデル自由度=パラメータ数, か適合しやすい(VC次元, R複雑正)深層学習の経験値によるとパラメータ数が増えてもモデルの自由度は低い自由度 = f(パラメータ) の f' >0 ∧ f" < 0では?とう言う話実際の自由度を何で決めるかという点について, 近年研究されている Bartlett(2017), Arora(2018)多様な自由度の尺度が提案されているが, 汎用的・統一的な理論は今後の課題3. 大域解を保証する仕組みOver-Parameterization損失が押し下げられるため, 大域解への到達が容易になる(?)Allen-Zhu(2019), Liang(2018), Kawaguchi(2019)Over-Parameterization に必要なパラメタ数は データ数Dに対して O(D30)解決への一つの方針が発見されたが, 詳細は非現実的で研究が必要おわりに統計理論は何をするべき?昔は理論的な保証を与えたが, 現在は計算機が保証を作れる理論側は現象から問題を輸入, 既存理論を再構築していく必要があるそのうえで現象に知見を提供, 計算機科学, 物理学との理論的貢献の競争発見を理論で体系化する, 体系化されない知見は忘却されやすい新しいパラダイムに対応していく必要がある, 統計モデル=> AIC, 深層学習=> ?

統計数理研究所 オープンハウス 基調講演メモ

Splinger link でCCライセンス で公開されていた Rethinking Productivity in Software Engineering | SpringerLink が面白そうだったので, Chap. 4 "Defining Productivity in Software Engineering" を読んだメモを公開する。自分の解釈が入ったメモなので正確に内容を追いたい方は原文を参照されたし。Introduction部門によらず生産性の定義は output/inputとして考えられるinput に関してはソフトウェアの文脈では比較定義が簡単。(human resource, computation resource にかかる資本投下?)output の定義が難しく一般的には数量, 品質が定義になるがこれらを普遍的に測定する方法を定義するのが難しいそのうえoutputに影響を与えうる 要因の分析, 測定, 比較などに有効な方法やツールが明確に定義されていない本文献では ソフトウェア開発における生産性改善のために, 関連する用語(効率性、有効性、パフォーマンス、および収益性) の定義の確認とそれらの関連性について説明する。用語の定義生産性(Productibity)Introで述べられたように分野によらず, 普遍的に定義されるものProductivity = Output / Input古典的な製造業においては, (単位時間当たりに生産される単位数)/(生産で消費される単位数) で直接的に表現できるが, 作家, 科学者, SWEなどのナレッジワークではアウトプットに品質、適時性、自律性、プロジェクトの成功、顧客満足度 など複数の考慮すべき要素があるため未だ普遍的な定義は存在しない。収益性(Profitability)収益性と生産性はしばし混同される。収益性は生産性の Input を得るためのCost, Output を取引することで得るProfitまで考える。Profitability = Profit / Cost従って生産性は変わらずとも物価の上昇や, 資源価格の変動など外部条件によって収益性は変動しうる。収益性の変動要因は生産性より多い。パフォーマンス(Performance)パフォーマンスは収益性より更に広範な企業の成功に影響を与える要因を含む指標。顧客の認識度, 満足度などを含む。効率性と有効性(Efficiency and Effectiveness)しばし, 混同されるが, 効率と有効性は別の概念であり, 効率はinput に作用するもの, 有効性はoutputに作用するもの として本文中では定義されている。以下の図がわかりやすい。品質(Influence of Quality)生産性の項で述べたように, ナレッジワーカーの生産性を定義する要素として存在するもの。いくつかの文献で定義を行おうと試みられているものの未だ生産性との関連性を運用可能な概念として明確に定義したものは存在しない。PEモデル前節で定義した用語に対して, Tangen の triple-P-model の拡張モデルとして本文献では以下のPEモデルが提案されている。PEモデルによって前節で定義したモデルのすべての用語の関連付けができる。追加された要素は以下収益性とパフォーマンスを関連付けるものとして, 顧客の認識度を追加生産性と収益性を関連付けるものとして, インフレーションと価格設定を追加有効性と効率性の位置づけを追加感想抽象的な話が多くて理解しにくかったが, PEモデルの図自体は納得いくものだったQuality とFunctionality の境界が曖昧なのは納得, 機能要件と非機能要件の線引は難しいshort paper なのもあって関連研究も見ないとイマイチピンとこない。 Customer Perception はマーケティング文脈の話だと思われるが, PEモデルの分割において対称性がうまく反映できていないように思った。

読書メモ Defining Productivity in Software Engineering

最近, Quoraで尊敬するエンジニアの方々の回答を眺めるのが趣味なのだが, 回答で少し気になったものがあった。これから間違いなく需要があるプログラミング言語はどれになりますか？ - QuoraこちらのMatzの回答で, 「未来に需要が高まると良いな」と思っている言語として Julia, Crystal, V, Zig があげられている。Juliaは研究で使っていた, Crystalは趣味で少し書いた, VはTwitterで見かけたので知っていたがZigは聞いたことないなと思ったので少し調べてみた。ググったり, qiita検索しても日本語の記事は見当たらなかったので, まだマイナーな模様。はてぶで何人か言及しているくらい。 http://b.hatena.ne.jp/entry/ziglang.org/対抗言語は 同じく Cのreplace狙っている C++, Rust, Dあたりぽい。公式ドキュメントのFeature Highlight から特に気になったものを抜粋する.https://ziglang.org(調べただけで実際に動かしてはないので勘違いがあるかも)Small, simple languageプログラミング知識のデバッグではなく, アプリケーションのデバッグに集中するための言語 とある。実際文法の仕様も500行に収まっている模様。https://ziglang.org/documentation/master/#Grammarまた, C++, D, Rust の以下のような 隠された制御フローを持たないoperator overloadingthrow, catch による異なるmethod呼び出しPerformance and Safety: Choose Two パフォーマンスと安全性を両立しているパフォーマンスに関して, Cより高速 (すごい)LLVM backendを利用C compiler にはできない未定義動作の許容による, パフォーマンスチューニングが可能ref. https://godbolt.org/z/n_nLEUlink time optimizationの自動化また, 安全性の観点からは overflowなどはbulid optionを付けることでコンパイル時に詳細に検出することが可能になっている。test "integer overflow at runtime" {    var x: u8 = 255;    x += 1;}$ zig test test.zig1/1 test "integer overflow at runtime"...integer overflow/home/andy/dev/www.ziglang.org/docgen_tmp/test.zig:3:7: 0x2040f0 in test "integer overflow at runtime" (test)    x += 1;      ^/home/andy/dev/zig/build/lib/zig/std/special/test_runner.zig:13:25: 0x22752a in std.special.main (test)        if (test_fn.func()) |_| {                        ^/home/andy/dev/zig/build/lib/zig/std/special/bootstrap.zig:126:22: 0x226cb5 in std.special.posixCallMainAndExit (test)            root.main() catch |err| {                     ^/home/andy/dev/zig/build/lib/zig/std/special/bootstrap.zig:47:5: 0x226a20 in std.special._start (test)    @noInlineCall(posixCallMainAndExit);    ^Tests failed. Use the following command to reproduce the failure:/home/andy/dev/www.ziglang.org/docgen_tmp/testパフォーマンスのボトルネックになりそうなら未定義動作を許容することも可能test "actually undefined behavior" {    @setRuntimeSafety(false);    var x: u8 = 255;    x += 1; // XXX undefined behavior!}A fresh take on error handlingtry catch による例外処理を持っている, errorが起きないというケースのassert をunreachableで行うというのは他の言語ではあまり見ない仕様かもしれない。unreachable.zigconst std = @import("std");const File = std.os.File;pub fn main() void {    const file = File.openRead("does_not_exist/foo.txt") catch unreachable;    file.write("all your codebase are belong to us\n") catch unreachable;}$ zig build-exe unreachable.zig$ ./unreachableattempt to unwrap error: FileNotFound/home/andy/dev/zig/build/lib/zig/std/os.zig:530:33: 0x206411 in std.os.posixOpenC (unreachable)                posix.ENOENT => return PosixOpenError.FileNotFound,                                ^/home/andy/dev/zig/build/lib/zig/std/os/file.zig:37:24: 0x2061c7 in std.os.file.File.openReadC (unreachable)            const fd = try os.posixOpenC(path, flags, 0);                       ^/home/andy/dev/zig/build/lib/zig/std/os/file.zig:50:13: 0x21c8e3 in std.os.file.File.openRead (unreachable)            return openReadC(&path_c);            ^???:?:?: 0x2272a7 in ??? (???)/home/andy/dev/www.ziglang.org/docgen_tmp/unreachable.zig:5:58: 0x2271d5 in main (unreachable)    const file = File.openRead("does_not_exist/foo.txt") catch unreachable;                                                         ^/home/andy/dev/zig/build/lib/zig/std/special/bootstrap.zig:116:22: 0x226bda in std.special.posixCallMainAndExit (unreachable)            root.main();                     ^/home/andy/dev/zig/build/lib/zig/std/special/bootstrap.zig:47:5: 0x2269d0 in std.special._start (unreachable)    @noInlineCall(posixCallMainAndExit);    ^Generic data structures and functions多言語にもよくある型変数とジェネリクスによるシンプルなデータ構造の定義が可能test.zigconst std = @import("std");const assert = std.debug.assert;test "types are values" {    const T1 = u8;    const T2 = bool;    assert(T1 != T2);    const x: T2 = true;    assert(x);}$ zig test test.zig1/1 test "types are values"...OKAll tests passed.generics.zigconst std = @import("std");fn List(comptime T: type) type {    return struct {        items: []T,        len: usize,    };}pub fn main() void {    var buffer: [10]i32 = undefined;    var list = List(i32){        .items = &buffer,        .len = 0,    };    std.debug.warn("{}\n", list.items.len);}$ zig build-exe generics.zig$ ./generics10おわりにプログラミング言語 Zigについて, 公式ドキュメントを参照して主な機能について簡単に紹介した。https://ziglang.org/#Feature-Highlights に主要な機能がまとまっているので, 気になった人はぜひ読んでみて(あわよくば解説記事を書いて)ほしい。所有権で挫折していたので, Zigもドキュメント読みながら軽く触ってみる予定。

プログラミング言語 Zigについて簡単に調べた

TL;DR;plugin managerを zplugから zplugin に乗り換えた.  結果, 起動時間は1/2 ~ 1/3 程度になった.zpluginの簡単な紹介setopt print_exit_value はzshの設定ファイルから外さないとバグる※ドキュメントはまだそこまできちんと読んでないので, 記述に間違いがあるかもはじめに少し前にzshの起動が遅いのが気になってプロファイル取ったら plugin のloadで時間くってることが判明したため, plugin managerを zplugから zplugin に乗り換えた.zpluginとは?Zdharma Initiative のプロジェクトの一つで zplug などと同様のplugin managergithub.com特徴として, 透過的かつ自動的に pluginをコンパイルしてくれる + 遅延読み込みの記述が容易 なため, zsh の起動が他plugin と比べて著しく速い.意外とまだzsh のplugin managerの中ではマイナー な模様.  google のsearch trendだとこんな感じだった.world-wide  trends.embed.renderExploreWidget("TIMESERIES", {"comparisonItem":[{"keyword":"zplug","geo":"","time":"today 12-m"},{"keyword":"zplugin","geo":"","time":"today 12-m"},{"keyword":"oh-my-zsh","geo":"","time":"today 12-m"}],"category":0,"property":""}, {"exploreQuery":"q=zplug,zplugin,oh-my-zsh&date=today 12-m,today 12-m,today 12-m","guestPath":"https://trends.google.co.jp:443/trends/embed/"}); Japan  trends.embed.renderExploreWidget("TIMESERIES", {"comparisonItem":[{"keyword":"zplug","geo":"JP","time":"today 12-m"},{"keyword":"zplugin","geo":"JP","time":"today 12-m"},{"keyword":"oh-my-zsh","geo":"JP","time":"today 12-m"}],"category":0,"property":""}, {"exploreQuery":"geo=JP&q=zplug,zplugin,oh-my-zsh&date=today 12-m,today 12-m,today 12-m","guestPath":"https://trends.google.co.jp:443/trends/embed/"}); Qiitaだとzpluginの記事は7件ほどhttps://qiita.com/search?q=zpluginどれだけ早くなったか論より証拠で time benchmarkの結果を示す, およそ起動は 1/2 ~1/3 になった印象.zplug~❯ for i in {1..10}; do time ( zsh -i -c exit ); done( zsh -i -c exit; )  0.36s user 0.44s system 52% cpu 1.530 total( zsh -i -c exit; )  0.39s user 0.44s system 65% cpu 1.258 total( zsh -i -c exit; )  0.37s user 0.41s system 65% cpu 1.197 total( zsh -i -c exit; )  0.36s user 0.40s system 65% cpu 1.170 total( zsh -i -c exit; )  0.37s user 0.42s system 66% cpu 1.197 total( zsh -i -c exit; )  0.38s user 0.41s system 65% cpu 1.198 total( zsh -i -c exit; )  0.36s user 0.39s system 65% cpu 1.142 total( zsh -i -c exit; )  0.37s user 0.40s system 64% cpu 1.194 total( zsh -i -c exit; )  0.35s user 0.39s system 63% cpu 1.163 total( zsh -i -c exit; )  0.31s user 0.33s system 64% cpu 0.992 totalzplugin~❯ for i in {1..10}; do time ( zsh -i -c exit ); done( zsh -i -c exit; )  0.17s user 0.19s system 69% cpu 0.513 total( zsh -i -c exit; )  0.18s user 0.20s system 72% cpu 0.527 total( zsh -i -c exit; )  0.17s user 0.18s system 73% cpu 0.464 total( zsh -i -c exit; )  0.17s user 0.19s system 72% cpu 0.489 total( zsh -i -c exit; )  0.17s user 0.18s system 72% cpu 0.468 total( zsh -i -c exit; )  0.17s user 0.19s system 71% cpu 0.509 total( zsh -i -c exit; )  0.17s user 0.19s system 71% cpu 0.506 total( zsh -i -c exit; )  0.17s user 0.18s system 73% cpu 0.477 total( zsh -i -c exit; )  0.16s user 0.18s system 74% cpu 0.460 total( zsh -i -c exit; )  0.17s user 0.18s system 74% cpu 0.469 totalzplg だとmodule 毎に読み込み時間を出せる, autopairは機能の割に読み込みが遅い気もする.❯ zplg timesPlugin loading times:0.043 sec - sindresorhus/pure0.007 sec - sorin-ionescu/prezto0.020 sec - zsh-users/zsh-history-substring-search0.002 sec - junegunn/fzf-bin (command)0.050 sec - zsh-users/zsh-autosuggestions0.003 sec - zsh-users/zsh-completions0.035 sec - zdharma/fast-syntax-highlighting0.017 sec - b4b4r07/enhancd0.003 sec - desyncr/auto-ls0.042 sec - hlissner/zsh-autopair0.009 sec - zdharma/zui0.003 sec - zdharma/zplugin-crasis0.003 sec - zdharma/history-search-multi-word0.002 sec - zdharma/zsh-diff-so-fancy (command)Total: 0.239 sec踏んだbugzplugin を入れた直後 exit code が0以外だと繰り返しexit code が表示されるbug が発生した.以下は ctrl+c でsigint を送信した場合debug でやったことzplugin を含む最小の構成でzshrc を記述  -> bug発生singal 周りの記述を確認, 本家zshからコードを移植していたようなので, 本家とのdiffを確認zshrcの他の設定に問題ないか binary chopでsearch setopt print_exit_value が原因だった ため設定を削除結論コレと同様だった https://github.com/zdharma/zplugin/issues/45TODO memoなぜzplug が遅くて, zpluginの方が高速なのかsetopt 周りの設定がだいぶ汚いので prezto併用しつつきれいにしていきたいついでにpecoからfzfに乗り換えたり, fast-syntax-highlightingを入れたりしたがそれはまた別の記事でベンチマークツールは統計値で出してくれるものがほしいref. https://metacpan.org/pod/Benchmark二分探索デバッグ効率化できないかと思って調べていたらこんな論文を見かけたので後で読むSemi-Automated Debugging via BinarySearch through a Process Lifetime

zplug -> zplugin に乗り換えた話 (+ exit code のbug調査)

TL;DR;4/23 にRetty で行われた Redash Meetup にお邪魔してきたので, 参加レポートもどきの手元のメモ公開させていただきます。。イベントURLredash-meetup.connpass.comTwitter ハッシュタグはこちらtwitter.comRedashとはRedash とは Python製の の OSS/SaaS のBIツール (Tableau, Looker などの仲間)  いろいろなデータソース(BQ, Athena, MySQL, SpreadSheet)に対して, ユーザライクなinterfaceを提供して可視化などを行うツールです。自分も普段の業務で仮説検証のための集計やABテストのための集計などで日頃からお世話になっています。以下, 登壇内容についてです。OP talk参加者へのアナウンスで拍手のお願いがあったのが斬新でした 笑良さそうなので主催側の勉強会でも取り入れたいです。改めて振り返る Redashの使いどころ (ユニトーン 有田)有田さんはOSS版のRedash のメンテナの一人会場内でver7.0 使っている人3割くらいバージョンアップの歴史, 国内で話題になったイベントの歴史などの振り返りRedash の良さの振り返りOSSかつwebベースユーザーフレンドリクエリをURLで共有できる様々なデータベースの集計クエリが集約されるクエリが集約されるので, 秘伝のクエリが生まれにくいhackablepython data source利用, クエリランナー拡張でSQLだけではないデータ処理が可能OSSだから自分たちで手を入れられるQuery をVCS管理するより, APIで撮ってきた加工のプロセスをVCS管理するほうが楽  <-  わかるクエリランナー については存在を全然知らなかったです。登壇者の有田さんがブログを書いているようなので, あとで読ませていただこうと思います。ariarijp.hatenablog.comRetty における Redash の活用事例 (Retty 田中 さん)    RettyにおけるRedashの活用事例  from Daito Tanaka www.slideshare.netRetty さんの取り組みに関する過去の技術ブログ記事はこちらengineer.retty.meデータ量が増加, ステークホルダの増加, 意思決定難易度の上昇から, 瞬時に多様な観点からの分析が必要なフェーズになってきたRedash, DataPotal, SpreadSheet などを組み合わせて分析を行っている, それぞれの用途は以下の通りData PotalDataPotal ではチャネル遷移の分析の可視化dailyで更新させているので, ad-hoc にクエリ打たなくても気になった時に結果を見に行けるSpread Sheet細かな数値間の確認Redash変化を瞬時に察知するのに利用(= ログからサービスの健康診断)ex. CV, 離脱率, 直帰率, 滞在時間などをad hoc に分析 時系列情報の可視化は実感としてもRedashの方がやりやすいなと思いますRedash 利用の課題感数値を見る習慣をどうやって作る?ツールの使い分けScheduled Query の増加に伴う実行コスト増加(Retty だとBQ利用のため辛かったよう)こちらtweetしたところリプでスキャン件数事前に見れると教えていただけました  :pray:データソースがBQの場合はスキャンされる行数や件数が都度redash実行時に確認する事ができます。ただ、自分以外に公開する時は注意が必要ですね。 https://t.co/tfqGnjUI7h— 塚田 純人@レアジョブ(engineer) (@19840209) 2019年4月23日[MEMO] A/Bテストの効果測定はスプレッドシートなどで行っている, SpreadSheet, DataPotal で済むならそちらを使ったほうが効率的 Redash で何を見るのか？(エブリー 島田 さん)普段は DWH アーキテクト としてお仕事されているそう。インフラ構成インフラ構成とクエリ数紹介などSpark で以下のようにETLDataRake S3-> DWH TD ->DataMart Redash上記のDataRake, DWH, Data Mart の概念の話は yuzutas0さんの記事がとてもわかりやすかったです。yuzutas0.hatenablog.comユーザはPO, アナリスト, 機械学習エンジニア, マーケターなど何を見るのか実際に見ているKPI紹介継続率認知プレファレンス配荷率課題感データガバナンスSQLクエリの管理と権限設定管理という観点から言えば特にBQ使うのであれば, エンジニア的にはレビューしたい  <- わかる協力会社へのデータ提供が難しい (Looker使ってみたが...)LT1 チームの BI や可視化強化に Redash はどうかと雑談した時の話 (はてな koudenpa さん)    チームのBIや可視化強化に Redashはどうかと 雑談した前後の話  from 浩一 太田 www.slideshare.netBQをRedash に持ってくるのではなくて, BQの方にサービスログをembulkで持っていくのを検討中らしい。DPCT で伺った話だと多かったが未経験なので感覚がわからないです。。。LT2 Ruby エンジニア選ぶ Redash の好きなところ Top10 (フリーランス samemuraさん)特に共感したのはこの辺り逆にGUI凝っていないからSQL書いて可視化までが早い他のクエリの結果を使って負荷の軽減と再利用ができる, クエリの結果がキャッシュできる管理画面が不要になる, 簡単な分析依頼ならRedash 内で完結する感想ユーザ側とデータエンジニア側の方両方いらっしゃったみたいでいろいろなお話が伺えて楽しかったです。欲を言えばもう少し深い話が聞きたかったので, 懇親会があると嬉しかったかもです 笑Redash のメジャーバージョンに追いつくまでは開催していただける ということなので, 次回も楽しみにしています!クエリ管理の話 とか オンプレ非DockerのRedashのバージョン上げる話 とか機会あればLTなどで話したいなと思いました。

Redash meetup #5 参加レポート

新卒だった頃の自分に薦めたい本の一覧とそれらに対してのコメントを書いていきます。  自分が新卒だったのは2年前なので最近だともっと良い本があるかもしれません。　ちなみに 自分がここ数年で読んだ本一覧はこちらにまとめています。https://booklog.jp/users/schumi543想定読者ソフトウェア基礎Linux, shellgit正規表現データ構造とアルゴリズム集団開発の基礎テストコードの書き方開発手法設計web開発基礎ドメイン知識SQLエンジニアとしての心構え的なもの想定読者自分と同様, 大学の研究で簡単な数値計算や機械学習のコードは書いたことがあるが, 大きめのソフトウェアを書いたことがない新卒MLエンジニア。ソフトウェア基礎Linux, shell　IDE (Matlab, Rstudio, Pycharm)) などに慣れていてまともに Linux触ったことなかったので最初厳しかった気がします。  以下の2冊は自分で実際にCやgo で低レイヤのAPI触りながら仕組みが理解できるのでオススメです。[試して理解]Linuxのしくみ ~実験と図解で学ぶOSとハードウェアの基礎知識作者: 武内覚出版社/メーカー: 技術評論社発売日: 2018/02/23メディア: 単行本（ソフトカバー）この商品を含むブログ (1件) を見るGoならわかるシステムプログラミング作者: 渋川よしき,ごっちん出版社/メーカー: ラムダノート発売日: 2017/10/23メディア: 単行本（ソフトカバー）この商品を含むブログを見る　スクリプトを書くのはad-hocになりがちですが, 別のコマンド, APIを知っていると より効率的に書ける ということは割とよくあります(shell以外も)。  一度リファレンスをざっと通読しておくとよいかなと思います。[改訂第3版]シェルスクリプト基本リファレンス ──#!/bin/shで、ここまでできる (WEB+DB PRESS plus)作者: 山森丈範出版社/メーカー: 技術評論社発売日: 2017/01/20メディア: 単行本（ソフトカバー）この商品を含むブログ (1件) を見るgit　学生の時はバージョン管理システムをまともに使ってなかったので, 慣れるのに苦労しました。。。  概念に慣れるまでが一番厳しかったのですがとっつきやすかったのは以下の本でした。  マンガだと逆に抵抗感ある方もいるかも知れませんが, 内容と説明両方の面から今見ても十分オススメできる本ですわかばちゃんと学ぶ Git使い方入門作者: 湊川あい,DQNEO出版社/メーカー: シーアンドアール研究所発売日: 2017/04/21メディア: Kindle版この商品を含むブログを見る正規表現　コードやログを読むときに普通に検索するより正規表現の知識があると効率がとても良くなります。正規表現辞典 改訂新版 (DESKTOP REFERENCE)作者: 佐藤竜一出版社/メーカー: 翔泳社発売日: 2018/05/24メディア: 単行本（ソフトカバー）この商品を含むブログ (1件) を見るデータ構造とアルゴリズム　情報系あるいはそれに近い分野が専門だった場合, 大学で理屈は学んでいるかと思いますが, 実際にコードに落とすには慣れが必要なので オンラインジャッジ系の競技プログラミングの問題を解いてみるのはオススメです。AtCoderがとっつきやすくて良いかなと思います。以下の入門記事から初めてステップアップしていくのが良さそうです。qiita.com集団開発の基礎　テスト, コードの書き方, 開発手法というトピックで何冊か選びました。テストテスト駆動開発作者: Kent Beck,和田卓人出版社/メーカー: オーム社発売日: 2017/10/14メディア: 単行本（ソフトカバー）この商品を含むブログ (1件) を見るJUnit実践入門 ~体系的に学ぶユニットテストの技法 (WEB+DB PRESS plus)作者: 渡辺修司出版社/メーカー: 技術評論社発売日: 2012/11/21メディア: 単行本（ソフトカバー）購入: 14人 クリック: 273回この商品を含むブログ (69件) を見るコードの書き方リーダブルコード ―より良いコードを書くためのシンプルで実践的なテクニック (Theory in practice)作者: Dustin Boswell,Trevor Foucher,須藤功平,角征典出版社/メーカー: オライリージャパン発売日: 2012/06/23メディア: 単行本（ソフトカバー）購入: 68人 クリック: 1,802回この商品を含むブログ (140件) を見る新装版 リファクタリング―既存のコードを安全に改善する― (OBJECT TECHNOLOGY SERIES)作者: Martin Fowler,児玉公信,友野晶夫,平澤章,梅澤真史出版社/メーカー: オーム社発売日: 2014/07/26メディア: 単行本（ソフトカバー）この商品を含むブログ (11件) を見る開発手法　見積もりとコミュニケーションのための本です。アジャイルサムライ−達人開発者への道−作者: Jonathan Rasmusson,西村直人,角谷信太郎,近藤修平,角掛拓未出版社/メーカー: オーム社発売日: 2011/07/16メディア: 単行本（ソフトカバー）購入: 42人 クリック: 1,991回この商品を含むブログ (257件) を見る設計　小規模なコードだといきなり書き始めてもなんとかなりますが, ある程度以上のコードは設計せずに書き出すと論理の不整合などで厳しくなってきます。  運良く完成できたとしても, 保守性が厳しいコードになりがちなので設計は少し勉強しておいたほうが良いでしょう。UMLモデリングの本質 第2版作者: 児玉公信出版社/メーカー: 日経BP社発売日: 2011/05/26メディア: 単行本購入: 6人 クリック: 23回この商品を含むブログ (6件) を見る現場で役立つシステム設計の原則 ~変更を楽で安全にするオブジェクト指向の実践技法作者: 増田亨出版社/メーカー: 技術評論社発売日: 2017/07/05メディア: 単行本（ソフトカバー）この商品を含むブログ (1件) を見る　また、オブジェクト指向のSOLID原則の解説について学ぶには, 最近技術書典で出されていた以下の本がオススメです。  (自分が今まで見た中で一番わかり易いと感じました)booth.pmweb開発基礎　開発するソフトの全体像掴むためにもwebの基礎技術については勉強しておいたほうが良いかと思います。Webを支える技術 -HTTP、URI、HTML、そしてREST (WEB+DB PRESS plus)作者: 山本陽平出版社/メーカー: 技術評論社発売日: 2010/04/08メディア: 単行本（ソフトカバー）購入: 143人 クリック: 4,320回この商品を含むブログ (183件) を見るドメイン知識　自分の場合はアドテクなので以下をオススメします。web業界は特に変遷激しいので各々の会社の先輩に聞くのが良いかと思います。アドテクノロジーの教科書 デジタルマーケティング実践指南作者: 広瀬信輔出版社/メーカー: 翔泳社発売日: 2016/03/11メディア: 単行本（ソフトカバー）この商品を含むブログ (4件) を見る　上記はどちらかと言うとビジネス職の人向けの話が多いので, 個人的にはこちらのほうがわかりやすかったです。booth.pmSQL　データベースの利用者としてみるか, 設計者としてみるかでオススメの本変わってきますが, 利用者の場合以下２冊がおすすめです。10年戦えるデータ分析入門 SQLを武器にデータ活用時代を生き抜く (Informatics &IDEA)作者: 青木峰郎出版社/メーカー: SBクリエイティブ発売日: 2015/06/30メディア: 単行本この商品を含むブログ (7件) を見るビッグデータ分析・活用のためのSQLレシピ作者: 加嵜長門,田宮直人,丸山弘詩出版社/メーカー: マイナビ出版発売日: 2017/03/27メディア: 単行本（ソフトカバー）この商品を含むブログ (1件) を見るエンジニアとしての心構え的なもの　エンジニアの哲学, 仕事の作法や向き合い方, キャリアなどの話題に触れているもので今も度々読み返している書籍たちです。プリンシプル オブ プログラミング3年目までに身につけたい一生役立つ101の原理原則作者: 上田勲出版社/メーカー: 秀和システム発売日: 2016/03/23メディア: 単行本この商品を含むブログ (11件) を見るSOFT SKILLS　ソフトウェア開発者の人生マニュアル作者: ジョン・ソンメズ出版社/メーカー: 日経BP社発売日: 2016/06/02メディア: Kindle版この商品を含むブログ (8件) を見るベタープログラマ ―優れたプログラマになるための38の考え方とテクニック作者: Pete Goodliffe,柴田芳樹出版社/メーカー: オライリージャパン発売日: 2017/12/15メディア: 単行本（ソフトカバー）この商品を含むブログ (4件) を見るxn--97-273ae6a4irb6e2hsoiozc2g4b8082p.com

新卒(ML)エンジニアにオススメの書籍・Web サイト等

TL;DR;世の中のエンジニアのalias設定 - Qiita の記事がqiitaでバズっていたので自分の gitの エイリアス設定を整理, 見直しがてら公開してみようと思った。参考元この辺りを参考にして人のdotfilesとかを見て適宜付け足していった気がする。ぎっとぎとにしてやんよ · GitHub人間らしいGitのエイリアス | POSTD一覧 gist.github.comalias一覧最近は使わなくなったが alias設定した当初は, これを使ってちょこちょこエイリアスを確認していた。  # aliasの一覧を表示  alias = !git config --get-regexp '^alias\\.' | sed 's/alias\\.\$[^ ]*\$ \$.*\$/\\1\\\t => \\2/' | sort省略形# abbr  # interactive にadd    a = add -p  # 作業中のものを 全部addして status確認    aa = !git add -A && git s    b = branch  # 最新のcommit とcommit hashをあわせて表示    bb = branch -vv    c = checkout    cam = commit --amend    cm = commit -m    cp = cherry-pick    s  = status --short --branch    ss = status    sh = showdiff系# diff    d  = diff    d1 = diff HEAD~  # staging(addした) diffを確認    dc = diff --cached  # 単語単位でdiffを確認    df = diff --word-difflog系  #log    l = log  # merge履歴などをグラフィカルに表示    lt = log --graph -n 20 --pretty=format:'%C(yellow)%h%C(cyan)%d%Creset %s %C(green)- %an, %cr%Creset'  # git log + commit ごとの diff --stat    ll = log --stat --abbrev-commit  # 直近のcommit 確認用     lo = log --oneline -n 20  # head commit log    ls = log --stat --abbrev-commit -n 1  # head commit log + diff --stat    lss = show HEADtig を使うほどでもない時に使うgithub.comwip系たしか自作。割り込みのタスクが入ったときなどに現在の作業状況をwipでcommitするのに使う。# wip    wip = !git add -A && git commit -m 'wip'    unwip = reset --soft HEAD~stash系# stash    st = stash    sp = stash popfix系# fix    amend = commit --amend -C HEAD    unstage = reset -q HEAD --    # 編集中のfileを HEADと同じ状態に戻す    discard = checkout --    uncommit = reset --mixed head~hub系hub はgithub とcli連携するためのtoolhttps://github.com/github/hub## hub alias  # github でリポジトリを開く    open = !hub browse  # 自分が作ったPRを開く    byme = !hub browse -- pulls/$(git config user.username)  # 自分にassignされたPRを開く    tome = !hub browse -- pulls/assigned/$(git config user.username)  # 現在いるブランチのPull Requestを確認する    see  = !hub browse -- pull/$(git symbolic-ref --short HEAD)  # 指定したcommitを追加した PRを開く    openpr = "!f() { hub browse -- `git log --merges --oneline --reverse --ancestry-path $1...master | grep 'Merge pull request #' | head -n 1 | cut -f5 -d' ' | sed -e 's%#%pull/%'`; }; f"

git のエイリアス紹介

最近 アルゴリズムとデータ構造 の重要性を業務で意識させられることがあって, ちょこちょこ Atcoder Beginners Contestの過去問を解いている。atcoder.jp解説PDF https://img.atcoder.jp/abc123/editorial.pdf解説配信AtCoder Beginner Contest 123 解説配信 - YouTube結果問題振り返りA考えたこと解説での学びAC 回答B考えたことRE回答解説での学びAC 回答C考えたこと解説での学びAC 回答D考えたこと解説での学びAC回答他の人の回答を見て終了後の雑多な感想結果利用言語は Python3問題振り返りA考えたこと入力の時点で sort されているので, 最大の差分は 先頭の要素と末尾の要素の差分直接回答書き始めたら for の後の : 書きそこねてて  RE くらった. 最低限の local debug はしましょう...最近 Python 以外書くことが多かったから, 3項演算子 の書き方忘れててググった, ドキュメントの該当箇所は以下6. 式 (expression) — Python 3.7.3 ドキュメント最初は 配列初期化 + append で入力作っていたが, 内包表記 で書ける解説での学びAは想定通りだったので, 特になかったAC 回答beforea = []for i in range(5):    a.append(int(input()))f = a[-1] - a[0] <= int(input())print("Yay!" if f else ":(")aftera = [int(input()) for i in range(5)]d = a[-1] - a[0] <= int(input())print("Yay!" if d else ":(")B考えたことBは 全探索 で間に合うパターンが多いのは過去問見てて思ってたいので最初考えたが, 下一桁が0以外のもので最小のものを探せば良いことに気づいた。下一桁が0以外のもので最小のものを探す 関数を map, filter 使って作ったが, テストケースで最後のものだけ RE RE の原因気づくのに時間がかかったが, すべての入力の下一桁が 0のとき min([]) するような関数を作っていたからだった。python の map or filterで 無名関数 使いたいとき lambda の文字列タイプするのはやや面倒RE回答a = []for i in range(5):    a.append(int(input()))def ceil10(n):    if n % 10 == 0:        return n    else:        return ((n // 10) + 1) * 10def min_1(a):    a2 = list(filter(lambda a: a > 0, (map(lambda e: e % 10, a))))    return min(a2)ans = sum(map(ceil10, a)) - 10 + min_1(a)print(ans)解説での学び切り上げの実装は, 下一桁が0 のケースで場合分けする方法もあるが, 9を足して ((n + 9) // 10) * 10 のようにする方法もある。わざわざmap, filter使わなくても, loopで書けるしその方が読みやすい(解説がC++だからというのはあるかもしれない)AC 回答beforea = []for i in range(5):    a.append(int(input()))def ceil10(n):    if n % 10 == 0:        return n    else:        return ((n // 10) + 1) * 10def min_1(a):    a2 = list(filter(lambda a: a > 0, list(map(lambda e: e % 10, a))))    if len(a2) == 0:        return 10    return min(a2)ans = sum(map(ceil10, a)) - 10 + min_1(a)print(ans)aftera = [int(input()) for i in range(5)]def ceil10(n):    return ((n + 9) // 10) * 10ans = 999 # > 123 * 5for i in range(5):    t = 0    for j in range(5):        if j == i:            t += a[j]        else:            t += ceil10(a[j])    ans = min(ans, t)print(ans)C考えたこと入力範囲が <= 10 ** 15 なので, O(N) くらいのアルゴリズムでも難しそうだと思った。あとから計算量について参考になりそうな資料を見たので以下に貼っておく。計算量の目安は以下のまとめがとてもわかりやすかった計算量のはなし - Hello Wor.logこういうのをブックマークに入れてると便利Big-O Algorithm Complexity Cheat Sheet (Know Thy Complexities!) @ericdrowellalgorithm complexity cheatsheet(fromhttp://bigocheatsheet.com/)python だと 計算量 の一覧はこの辺TimeComplexity - Python Wiki正攻法を諦めて, 数値が小さいケースで 手元のホワイトボードに書き出して状況を整理最も容量が小さい経路がボトルネック になりそう -> ボトルネックになる経路で何回運搬が必要かに注目して実装証明はできなかったが, テストケース通ったので提出 -> AC解説での学びだいたい想定通りpdf回答には証明も書いてあったので, 後から確認したhttps://img.atcoder.jp/abc123/editorial.pdfAC 回答n = int(input())a = [int(input()) for i in range(5)]ans = n // min(a) + 4 + (1 if n % min(a) != 0 else 0)print(ans)D考えたこと愚直な 全探索 は (10 ** 10) ** 3 なので間に合わない出力が大きい順なので, 入力は sort desc しておいたほうが効率が良い.10 ** 10 の sort の O(NlogN) はセーフ出力はuniqueなので, 今まで計算した値は cache しておきたい和を考えるため, 各配列の最大の要素を比較して, 最大のものから取り出して行けば大きい順に出力が構成されるそれぞれの値は A なら Y * Z 回使われる, B,Cについても循環的に考えて同様, 利用回数も cache=== この辺りでコンテスト終了解説での学び回答を見て, 出力の制限 (K<3000) にも着目するべきだった点に気づいた.回答には4種類の解法があったが, まだ解法1しか見ていないので後ほど それぞれ 確認, 実装する予定AC回答解法#1  O(k2 log k) 制限2000ms に対して max 1945ms かかっていたのでギリギリfrom itertools import productx, y, z, k = list(map(int, input().split()))a = sorted(list(map(int, input().split())), reverse=True)b = sorted(list(map(int, input().split())), reverse=True)c = sorted(list(map(int, input().split())), reverse=True)ab = [ai + bi for (ai, bi) in product(a[:k], b[:k])]ab.sort(reverse=True)abc = [abi + ci for (abi, ci) in product(ab[: min(k, x * y * z)], c[:k])]abc.sort(reverse=True)for abci in abc[: min(k, x * y * z)]:    print(abci)他の人の回答を見てコード長が短いコード を見て, パット見でに気になったものは以下c_r_5 さんの回答 よりa,*_,e,k=eval('int(input()),'*6);print(':('*(e-a>k)or'Yay!')eval で 文字列として 'int(input())' と 書けるif-else ではなくて or で表現できる終了後の雑多な感想参加者 が過去最大規模(約4000人!) だったらしく, コンテスト開始直後アクセスちょっと重かった最近資格試験など受けたりもしていないので, 時間制約付きで問題を解く機会がなかなかなかったので楽しかった入力だけでなく, 出力の制約 にも着目して解法考えるの大事Python が比較的慣れているから, 書きやすいが map, filter辺り使い始めると method chaining ないのが辛い。この辺り書きやすい言語は模索してみる。 script 言語で時間問題なさそうなら Rubyとかかな? Dで時間, メモリ的にだめなら Julia, Kotlin あたりが候補以下のpodcast で聞いてデバッガちゃんと使おうという気持ちになったので,  pdb  をちゃんと使ってみた。今まで IDE debuggerに慣れてたけどこれは便利。anchor.fmGCJ は出そびれたのでまた来年...データ構造については, Open Data Structure の邦訳がありがたいことに無料公開されているので, そちらで勉強中一人でやるとダレそうなので, お互い進捗報告しあうやつやりたいsites.google.com

Atcoder Beginers Contest 123 の解法ふりかえり

@pseudo_finite さんより, 経営システム 28巻2号をいただいたので, @pseudo_finite さんの解説記事　「ビジネスでインパクトが出せるデータサイエンティストになるには」の感想などを書いていきます。本記事では, まず自分の立ち位置を示した上で記事の各章について本文の主張に関連して感想や実務を通して身につけた自分の考え方を述べていこうかと思います。解説記事の章立ては以下のとおりです1. はじめに2. データサイエンティストが力を発揮する場3. 課題設定4. 解決方法の設計5. 検証6. 育成7. まとめこのフォーマットはu++ さんのものを大幅に参考にさせていただきました :bow:【書籍メモ】「ビジネスでインパクトが出せるデータサイエンティストになるためには」 - u++の備忘録また一旦勢いで書いたのでこの記事はdraft に近いです。参考になるリンクなど随時追記していきたいと思います。自分の立ち位置アドテク会社のData Mining (Machine Learning) Engineer 新卒2年目(もうすぐ3年目)です。1. はじめにいわゆる序論で導入と記事の構成の説明を行っています。近年データサイエンス自体に注目が集まっているのはもちろんだが, 本来的にビジネスの場で必要とされているのは広義のサイエンティストである という要旨の記述があり, とても同意しました。2. データサイエンティストが力を発揮する場企業という場に絞って, 表題通りの内容について解説しています。データサイエンスによってスケールさせられるビジネスドメインである十分な量と質のデータを保有している1 について, DS, MLは0->1や1->10というよりは 100000 を10000 * 1.01 にするような役割を果たすことが多いため, 解説記事中にあるようにニッチな産業あるいは十分なデータがない新規事業だとビジネスインパクトを出すのは難しいと思っています.2 について, 量については割と当たり前なので質の部分に触れていきます。自分の業務(アドテク)周りだと, アドフラウドなどで不正なclick除外したり, conversion はユーザによって定義が違うので気をつける必要があります。実務のML Engineer の業務は前処理がほとんどと言われるのもこの辺りの所以なのかなと思います。3. 課題設定適切な課題設定が大事だと言う話でそもそも解くべき問題か?を考えるのが重要だと述べられています。伝え聞く話では Japanese Traditional Big company などでは, "Deep Learningでいい感じにしてくれ" というようなオーダーがお偉方から降ってくるらしいですが, そのような方にこそ本章を読んでいただくのが良いのではないでしょうか。  フレームワーク,ライブラリ, アルゴリズム が使いたい)ということはあるなと思ったので気をつけようと思いました。4. 解決方法の設計前半部では, 手法の検討において, ML, 数理計画, 確率モデリングなどを解決手法として公平に考える必要がある旨が述べられています。こちらの主張もほぼ同意で, 自分の意見を加えるとプロジェクトの期限やリソースに寄ってはルールベースのロジックで設計するのも検討する必要があるなと考えています。  後半部ではML, 数理モデリングにおいて重要なことがおおまかに以下のように述べられています。実装可能性(いわゆる feasibility)不可能な場合は問題の方の性質を変更する実装容易性, 保守, 運用の容易性近似の精度それぞれについて, 自分の考えを述べます。実装可能性これはちょうど最近あまり考えず雑にタスクを進めてしまったせいで, アプリケーションエンジニア, インフラエンジニアとのコミュニケーションコストが増大して余計に開発期間を要したということあったので耳が痛い話でした。実現容易性, 保守, 運用の容易性本文中にも述べられていますが, 実務だとモデリングの手直しが必要なことはままあります。オンライン検証の結果モデルに問題があることが判明した, 本番運用において入力データが想定しない形で変更された などです。本来はモデリングの際に考慮できていればよいのですが, 完璧な考慮は無理です。リファクタリング周りの勉強はDS, ML Engineer でもしておくと良いと思います。リーダブルコード ―より良いコードを書くためのシンプルで実践的なテクニック (Theory in practice)作者: Dustin Boswell,Trevor Foucher,須藤功平,角征典出版社/メーカー: オライリージャパン発売日: 2012/06/23メディア: 単行本（ソフトカバー）購入: 68人 クリック: 1,802回この商品を含むブログ (140件) を見る新装版 リファクタリング―既存のコードを安全に改善する― (OBJECT TECHNOLOGY SERIES)作者: Martin Fowler,児玉公信,友野晶夫,平澤章,梅澤真史出版社/メーカー: オーム社発売日: 2014/07/26メディア: 単行本（ソフトカバー）この商品を含むブログ (11件) を見るUMLモデリングの本質 第2版作者: 児玉公信出版社/メーカー: 日経BP社発売日: 2011/05/26メディア: 単行本購入: 6人 クリック: 23回この商品を含むブログ (6件) を見る近似の精度実務において何がしかの近似は必ず必要になってくるので, その影響を考えるのは大事です。5. 検証本章で重要だと述べられているのは主に以下2点です。スピード重視で検証をおろそかにするのはNG施策の「良さ」の評価スピード重視で検証をおろそかにするのはNGこれはもちろんで要件定義の段階で検証でモニタリングするKPIはビジネスの意思決定者と握っておくのが望ましいでしょう。また, ないとは思いますがMLのフリーランス, SIでPoCまともにやらないところは避けたほうが良いです(社会性フィルタ)どの程度の確信度で検証を行いたいか。DS, ML では特に 施策の良さの評価が難しい. 常にmore better の施策が存在することが多いうえにそれを確かめるすべがないという旨が書かれていました。本文ではよりよい施策の探索法として以下二点が挙げられていました。仮説を元に網羅的に施策を走らせる複数のDSに施策を競わせるこれは業務上では前者は時間や後者は人的リソースの制約で厳しいパターンが多く, (DS, ML Enginner にとって)十分な検証ができないまま開発が進んでしまうのが多いのかなと感じています。OSS, SaaSが生まれてくれればよいのですが...6. 育成サイエンスの能力 と 実務遂行能力 の二点を育てるのが大事だと書いてあります。実務遂行能力 については,いろいろな人にレビューをしてもらうように著者は心がけていると記述があり, この点についてはとても同意できました。実務においてまず身につけないといけないのはドメイン知識でありその部分はレビューの中で質問するのが身につくのが早いと考えています。あとちょうど昨日こんなツイートが流れてきて, そうだなーと思いました。「コンサルタント型のデータサイエンティストや一部の機械学習エンジニアは直接の開発部隊から部署が離れていることがあり，開発経験が積みにくいことがあります」「開発力のないデータサイエンティストは自分の技術の出口を持てないため価値を出すのが難しいです」 https://t.co/ugiVHVdpJz— kng (@kng_ac) 2019年3月29日新人でDS職の人でも最低限のproduction deploy くらいは経験積んでおいたほうが良いかと思います。サイエンスの能力 については正直アカデミアでないと満足な教育が難しいため各自大学時代に勉強するのが一番大事だと思います。企業の中では社内での書籍, 論文の紹介仕合いや有識者による勉強会などがあると良いのかなと思いました。全体を通しての感想ML, DSは新しい分野であるが故に企業で成果を出すためのノウハウは形式知化してないことが多く, その点で本解説記事はとてもよくまとまっていて良いと思いました。久々に長めの文章を書いて疲れた

書籍レビュー   経営システム  28巻2号「ビジネスでインパクトが出せるデータサイエンティストになるには」

ちょいちょい聞かれるのでまとめてみる。結構いろいろ試したが, 最近は個人wiki -> Inkdropタスク管理 -> ClickUpで落ち着いた感がある。簡単に今まで試したものと今使っているものの使い方についてまとめていく。今まで使った事あるやつの個別の使用感は直接聞いてください。個人wikihttps://inkdrop.app/が個人的には今の所ベスト, 有料サービスで 4.99$/mo今まで試したものmarxicodropbox paperesascrapboxdynalisthackmdcrowiこの辺自分が使う上で欲しかった機能クロスプラットフォーム対応マークダウン記法のショートカット機能クラウド同期全文検索タグ機能revision管理機能動作が軽い準WYSWIG使い方とりあえずなんでもメモを放り込む感じ, 全文検索があるのでタグ付けとかは気が向いたときにする。昔はslackやissue投稿の下書きもやっていたが, そちらは最近 editaro を使っているタスク管理https://clickup.com/ こちらは個人利用は基本無料。無料でも十分だが, ヘビーユーザ向けの機能が50$/year ほどで使える.今まで試したものtodoistany.dokanbanflowtrellohavitica自分が使う上で欲しかった機能クロスプラットフォーム対応kanban形式でのタスク管理他サービスとのAPI連携time trackingpomodoroサブタスク作成タスクの繰り返し機能使い方タスクの階層構造workspace仕事個人プロジェクトプライベートのタスクlist仕事, 個人プロジェクト通常業務(ここでGTD)後で調べることリスト掛け持ちしているプロジェクトごとのissueためとく場所プライベートのタスクこれも大きいタスクごとにプロジェクトを切っているプロジェクト化するまでもないやつは any.do を使っている. 昔から使っていてUXがかなり好み少なくとも朝10分, 晩10分タスク整理と振り返りの時間をとる[MEMO] メインの仕事がredmine 使っているのでいい感じにチケット流せるやつを作成中

よく使うツールまとめ - 個人wiki, タスク管理編

社内勉強会で紹介したやつです。数式埋め込みの都合で限定共有でQiitaに投稿しました。論文紹介 - Managing Risk of Bidding in Display Advertising - Qiita

論文紹介 - Managing Risk of Bidding in Display Advertising

(発生した問題)zsh のプラグインとか設定周りを整理していたときに, いろいろやってから セッション再起動したら pure prompt のvcs情報が出なくなった。以下と似た症状github.com(対応)一応コミットはちゃんと整理していたので, checkout しながら 2分探索して問題のcommit を発見こいつが悪さをしていた模様+if type "bat" > /dev/null 2>&1; then+       alias cat='bat'+fi根本原因は特定できていないが, 削除して対応。後で原因は細かく調べる。(余談)2分探索はテスト用のscript を用意できるなら git bisectするのが良さそう。Git - git-bisect Documentation

pure prompt で vcs の情報が出なかった問題

esa と typora で個人wiki 的な感じのもの作って満足 して public なoutputをサボっていたので 小ネタを書くauto-lsgithub.comcd したときに デフォルトで 自動的に ls  と  git status してくれるやつ, history が汚染されにくくなるし便利。不満点出力が冗長, scipy に適当にfile を追加してみる~/gitrepos/github.com/scipy/scipy master*❯ touch hoge && cd .appveyor.yml  CONTRIBUTING.rst  hoge             MANIFEST.in  README.rst   setup.py          toolsbenchmarks    doc               INSTALL.rst.txt  pavement.py  runtests.py  site.cfg.example  tox.inicodecov.yml   HACKING.rst.txt   LICENSE.txt      pytest.ini   scipy        THANKS.txtOn branch masterYour branch is up to date with 'origin/master'.Untracked files:  (use "git add <file>..." to include in what will be committed)    hogenothing added to commit but untracked files present (use "git add" to track)対策git status --short  と exa を使うexa についてbetter ls, rust製github.comzshrc に以下を追加export AUTO_LS_COMMANDS=(exa git-status-short)auto-ls-exa () {if type "exa" > /dev/null 2>&1; then;                exa        fi}auto-ls-git-status-short () {  if [[ $(git rev-parse --is-inside-work-tree 2> /dev/null) == true ]]; then    git status --short  fi}結果出力が簡潔になっていい感じ, コードべた張りなのでわかりにくいが, exa 使ってるので色分けもいい感じ。~/gitrepos/github.com/scipy/scipy master*❯ cd .appveyor.yml  CONTRIBUTING.rst  hoge             MANIFEST.in  README.rst   setup.py          toolsbenchmarks    doc               INSTALL.rst.txt  pavement.py  runtests.py  site.cfg.example  tox.inicodecov.yml   HACKING.rst.txt   LICENSE.txt      pytest.ini   scipy        THANKS.txt?? hoge一言はてなの シンタックスハイライト 結構マイナーなのにも対応しているのに, なんで bash ないんだ...help.hatenablog.com

auto-ls をいい感じにする

シャワー浴びてるときとか散歩してるときとかにいいアイデア思いついても, パッとメモ取れないのが微妙にストレスだったのでいい方法がないか少し調べて試してみた。 fastever とか使っていたんですが. 色々あってevernote使わなくなってしまったので。Captiofastever のメール版, どっかのpodcastで最初紹介されてて良さそうだと思ったけど, メールあまり見ないしなーと思って放置していたのだが, 最近以下の記事で言及があって存在を思い出した。タベリー | とある仕様書 – Yamotty – Medium自分はメインのコミュニケーションツールはslackを使っているのでそちらと連携できないか, 少し調べてみた。slackへのメール転送普通に公式ドキュメント記載の手順で設定した。こちらの手順で転送用のメールアドレスを取得できるので Captioの送信先にそちらを指定する。Slack でメールを受信する – Slack設定した感想良かったところCaptio立ち上げ早いので, パッとかけて良い。これくらいならストレス感じない情報がslackに集約される微妙なところ通知バーでは 件名を表示してくれないslackbotから送られてくるのでmuteできない。keyword notificationくらいで十分ついでにgithubとredmineのissueで自分がassignされているもの+watchされているものをgmail経由でslackに送るようにした。この辺もうちょい活用するならチャンネル分けて転送したい感アイデアをすばやくメモする方法がほしいという話, この前ご飯いった起業家学生とも話したのだが, 結局今の所電子媒体に記録するときに最もレイテンシが少ないインターフェイスが発話だよねという話になった。なんか顔の筋肉の動きで発話内容読み取って記録するデバイスを知り合いが研究してるとか言ってて面白そうだった。

Captio + slackでアイデアメモ

dein周りの設定をいじっていたら, mallocのerrorが出てきて困ったのでその時の対処のメモ。根本的な原因はわかっていない 😢後ほどわかれば追記バージョン情報macOS 10.13.3neovim 0.2.2vim 8.0error内容$ vi a[dein] Invalid toml format: /path/to/.config/nvim/dein.toml[dein] Text.TOML: No such file `/path/to/.config/nvim/dein.toml'.nvim(72526,0x7fffb059b340) malloc: *** error for object 0x7fba90702470: pointer being freed was not allocated*** set a breakpoint in malloc_error_break to debugzsh: abort      /usr/local/bin/nvim a$ type -a vivi is an alias for /usr/local/bin/nvimvi is /usr/bin/viどうやらdein関係のキャッシュが問題?対処dein の各種リポジトリが入ってる削除を一旦対比させて, 素のvim経由でdein.toml読んでplugin入れ直したら直ったググって確認したissueはこの辺とかhttps://github.com/Shougo/dein.vim/issues/270https://github.com/NixOS/nixpkgs/issues/18466こういうことかも, neovim側のバグ?kiooss commented 10 days ago@ZackC I think the "the latest version of neovim" from Shougo is the latest unstable version of neovim, but not the latest stable version^^

neovim0.2.2で `pointer being freed was not allocated` 

TL;DR;macOS High Sierra にupdateするとファイルシステムが変わってハードリンクしてたディレクトリが使えなくなりました。とりあえず復旧できましたが, 同じような使い方している人はupdate気をつけたほうが良さそうです。背景と起こっていた問題alacritty使うのにOS のバージョン上げろと言われたのでそろそろいいかなと思って上げた。結果 hardlinkしてた一部のローカルリポジトリのファイルが使用不可になりました原因ファイルシステムの変更でハードリンクをサポートしなくなっていたApple File System Guide - Frequently Asked QuestionsDoes Apple File System support directory hard links?Directory hard links are not supported by Apple ****  File System. All directory hard links are converted to symbolic links or aliases when you convert from HFS+ to APFS volume formats on macOS.解決策以下にあるように, /.HFS+/dir_***** にハードリンクしてたディレクトリは退避されているので, そちらからコピーhttps://github.com/selkhateeb/hardlink/issues/31#issuecomment-333149665備考Can you install High Sierra and not convert to APFS? | Page 2 | MacRumors Forums に書かれてるように手動アップデートするとfile systemは変えずにアップデートできるらしい一言OSのアップデート内容はきちんと確認しましょう。

macOS High Sierra updateでハードリンクしてたディレクトリが消える問題まとめ

今更感ありますが, 社内ブログに書いたネタを使いまわしました。イベントの内容はこんな感じで, 2日目13日の方にお邪魔しました。手元のメモを元に気になったポイントなどをまとめます。基調講演Mooreの法則の話CPUにおけるMooreの法則は終演を迎えつつあるが, NVIDIAのGPUは依然Mooreの法則と同様のペースで高性能化が進んでいるNVidia HolodeckVR内で共同作業を行えるシステム。物理シミュレーションなども可能。DEMO https://youtu.be/hUsP7fsjrdgDeep Learningにより作曲した曲のオーケストラ演奏AI Composer Creates Music for Films and Games – NVIDIA Developer News CenterRemedyとの共同研究による発話からの表情生成Nvidia and Remedy use neural networks for eerily good facial animation | Ars Technica発話認識の精度向上のために表情とのマルチモーダル学習を行う話は聞いたことあったが, 逆の話も進んでいたのは知らなかった...Tesla V100の紹介対応フレームワークのベンチマークは以下open NMTで140倍程度高速化とのことProgressive GANの話Progressive Growing of GANs for Improved Quality, Stability, and Variation | ResearchGANによる超解像。日本語解説はこの辺【Progressive Growing of GANs for Improved Quality, Stability, and Variation】を読んだのでまとめる - St_Hakky’s blogProgressive Growing of GANs for Improved Quality, Stability, and Variation · Issue #475 · arXivTimes/arXivTimes日本企業に対してのsales talkがすごかった🎉 More buy GPU, More save money 🎉ディープラーニングの本番運用への課題を解決する「ABEJA platform」データ分析コンサルっぽい話でした以下memoAbejaは国内で唯一nvidiaから出資受けている現状, アノテーション作業を付加価値高いデータサイエンティストの方がやっているアノテーションデータがどれだけ必要かがわからない精度が何%あれば成立するのか品質の評価のすり合わせが難しいannotation用のソフトウェアを制作annotation以外でも人力AIでデータ貯めるためにオペレータが使用するソフトを内製している会社は結構あるイメージ。名刺のあの会社とかAIタクシー, リアルタイム人口統計データを用いた深層学習によるタクシー需要予測研究概要https://www.nttdocomo.co.jp/info/news_release/2016/05/31_00.html今回講演のメディアまとめhttp://monoist.atmarkit.co.jp/mn/articles/1712/18/news044.html現状の課題新人ドライバーは需要の高いエリアがわからないベテランドライバーは土地勘のないエイアから得意エリアに帰ろうとしてしまう使用データについて携帯電話の基地情報データ500mグリッドで推定docomo携帯電話所持率に合わせて補正した値を利用データは30分毎にバッチ取得用いた手法について高次元の特徴量の抽象化のためにstacked denoising AEを使用, AEで抽象化されたデータをpredictorに入れて30分後の需要予測ParameterOptimizationHyperopt でrandom searchrelu,  batch normarization,  adamを使用計算環境DGX-1 P100 16GB * 8工夫他地点のデータを取り入れることで汎化性能を高めたタクシーデータ, 人口データ, 気象データを利用気になった点他の手法との検討比較がなかった。そもそもdeep でやる必要あるのか?グラフをパット見た感じdailyのseasonalityの影響が大きい。周期はyearlyで考慮したとのことだがその他は?研究, 計算コストと実際の売上への寄与機械学習による視覚情報理解東大原田先生の公演研究室の最近のDL関係の成果報告今回の発表テーマは以下の3つwebDNNNeural rendererbetween class learning以下で概要をまとめますが, Deepの話あまり詳しくないのでテキトーな箇所もあると思うので, 詳細気になった方は元の論文読んでください。webDNN概要紹介ページの内容をGoogle翻訳に突っ込んだだけディープニューラルネットワーク（DNN）は、多くのアプリケーションで使用することに大きな注目を集めています。しかし、多くの計算資源が必要であり、GPGPUなどの実行環境に基づくハードウェアアクセラレーションを設定するには膨大な処理が必要です。したがって、エンドユーザにDNNアプリケーションを提供することは非常に困難です。 WebDNNは、Webブラウザをインストール不要のDNN実行フレームワークとして使用することで、この問題を解決します。このフレームワークは、訓練されたDNNモデルをモデルデータを圧縮し、実行を加速するように最適化し、WebAssemblyやWebGPUなどの新しいJavaScript APIを使用してゼロオーバーヘッド実行を実現します。実証的評価では、200倍以上の加速を達成しました。PCなどのカメラで取り込んだ画像をリアルタイムで変換, 分類ONNXにも対応実際に以下のページで試せるMIL WebDNNNeural Style Transfer上記ページのデモでは葛飾北斎風の絵に変換可能ResNet50OSSとして公開されている :ideograph_advantage:https://github.com/mil-tokyo/webdnnNeural renderer概要2d画像から, 3dモデルへのレンダリングをDNNで実現既存のBoxel baseよりスムーズに3dモデルを再現著者による紹介ページ3dモデルのレンダリングをDNNで行うにあたって微分不可能な領域が存在するため, backpropの計算が困難。提案手法ではblurしてから微分。詳細は元論文fig.2, fig.3, chap.3あたりを参照3d版deep dreamなどが紹介されていた。between class learningpaper(概要)画像識別のための新しい学習法。CIFAR10, CIFAR100などでShake-Shake Regularizationを拡張することでSOTA達成ベースのアイデアはMITとFAIRが出したmixupと同様。(ref. unsky/mixup: mixup: Beyond Empirical Risk Minimization )(雑な説明)異なる2つのクラスt1,t2に属する, imageの特徴x1, x2を r~U(0,1) でmixinして, 特徴を (1-r)x1+rx2, クラスを (1-r)t1+rt2 として学習を行う。(なぜうまく行ったか)CNNは内部表現として画像をwaveformでも扱っているため, 音声識別におけるmixinと同様に良い作用を及ぼしたと考えられる。ポスターセッション富士通, デンソー, Mathworks, Brainpad, ABEJAあたりを聞きに行きました。ABEJAのmachine learningのモデルを管理するプラットフォームはなかなか良さそうでした。公演ではDeep押しでしたがその他のモデルも管理できる模様その他人多すぎて疲れました。Deeplearningでいい感じに動線管理してほしい。。。ハードよりの方の話が多かったので新鮮でした。NVIDIA Carかっこいい

GTC Japan 2017 参加メモ

いい感じのタイトルが思いつかないとかいって, なんだかんだ初めてなかったブログ始めます。技術ネタ中心に書く予定。文章書くのに慣れていないので, 最初のうちはカジュアルに書いていって, 経験積むうち洗練していければ良いかなと思っています。とりあえず初回は今年の振り返りと来年の抱負から。振り返り仕事はじめました。都内のアドテク会社でML engineerやってます。家賃手当が出る関係で会社の近くに住めたのはラッキーでした。私服徒歩通勤サイコー。やっぱり東京はソフトウェアエンジニアリングの勉強会多くてよいですね。参加基準もゆるいので知らないことを知るためにあちこち顔出させていただいていました。来年は主催したい。Twitterでしか絡んだことなかった人の正体がわかったり, OSS, 技術ブログ, Podcastなどの著名人と実際にあって直接質問できたのが良かったです。仕事の反省前半はドメイン知識がなさすぎて, 後半は調べだすと止まらないくせのせいで, 自分が目標においていたような成果を出せなかったので, 余裕ある今のタイミングで仕事の進め方整理してます。抽象的な話になってしまうが, 自分が書きながら, 話しながら思考を整理するタイプなので, 接し方によってはコミュニケーションロスが生じてしまうケースがあった。来年の抱負オープンな場でのアウトプットを増やすもともと良くも悪くも勉強好きなので, 自分である程度理解して満足してしまうフシがあるのでちゃんとコード書くなりブログ書くなり外で話すなりしてアウトプットする。巧遅拙速大事。人はマサカリを投げつけられて強くなる。とりあえず年始に二件ほど登壇予定。kaggle参加最近の手法ながめて手元で試したり, kaggler-jaで知見もらっているくらいでコンペにはあまり参加できてなかったので出ます。masterになりたい。なにか１つプロダクト作るアプリケーションとして完結したものを作ったことないのが, 微妙にコンプレックスなので作る。被りそうなネタしか思いついてないけど。。。

Schumi543

Ubie株式会社(Ubie Discovery)に入社しました

統計数理研究所オープンハウス基調講演メモ

読書メモ Defining Productivity in Software Engineering

プログラミング言語 Zigについて簡単に調べた

zplug -> zplugin に乗り換えた話 (+ exit code のbug調査)

Redash meetup #5 参加レポート

新卒(ML)エンジニアにオススメの書籍・Web サイト等

git のエイリアス紹介

Atcoder Beginers Contest 123 の解法ふりかえり

書籍レビュー経営システム 28巻2号「ビジネスでインパクトが出せるデータサイエンティストになるには」

よく使うツールまとめ - 個人wiki, タスク管理編

論文紹介 - Managing Risk of Bidding in Display Advertising

pure prompt で vcs の情報が出なかった問題

auto-ls をいい感じにする

Captio + slackでアイデアメモ

neovim0.2.2で `pointer being freed was not allocated`

macOS High Sierra updateでハードリンクしてたディレクトリが消える問題まとめ

GTC Japan 2017 参加メモ

雑な今年の振り返りと来年の抱負

Ubie株式会社(Ubie Discovery)に入社しました

統計数理研究所 オープンハウス 基調講演メモ

読書メモ Defining Productivity in Software Engineering

プログラミング言語 Zigについて簡単に調べた

zplug -> zplugin に乗り換えた話 (+ exit code のbug調査)

Redash meetup #5 参加レポート

新卒(ML)エンジニアにオススメの書籍・Web サイト等

git のエイリアス紹介

Atcoder Beginers Contest 123 の解法ふりかえり

書籍レビュー 経営システム 28巻2号「ビジネスでインパクトが出せるデータサイエンティストになるには」

よく使うツールまとめ - 個人wiki, タスク管理編

論文紹介 - Managing Risk of Bidding in Display Advertising

pure prompt で vcs の情報が出なかった問題

auto-ls をいい感じにする

Captio + slackでアイデアメモ

neovim0.2.2で `pointer being freed was not allocated`

macOS High Sierra updateでハードリンクしてたディレクトリが消える問題まとめ

GTC Japan 2017 参加メモ

雑な今年の振り返りと来年の抱負

統計数理研究所オープンハウス基調講演メモ

書籍レビュー経営システム 28巻2号「ビジネスでインパクトが出せるデータサイエンティストになるには」