本稿は Ubie Engineering Advent Calender の6日目の記事です。Ubieで機械学習エンジニアをやっている @hagino3000 です。今回はなんらかの予測を行なうWebAPIのテストについて書きます。https://adventar.org/calendars/9416 背景ユーザーの入力を受けとってなんらかの予測を行なうWebAPIをマイクロサービスとして日々運用していると、予測結果自体には影響の無い修正をリリースすることが度々あります。ライブラリのバージョンアップが最も多く、他にはリファクタリング、予測モデルのデプロイパイプラインの変更や前処理...

推論WebAPIの予測結果が変わっていない事をリグレッションテストで担保する

因果推論ネタが好きなのでCaucal MLを医学的診断に取りいれた論文を読んだ。Babylon Health社メンバーによる論文。https://www.nature.com/articles/s41467-020-17419-7Richens, Jonathan G., Ciarán M. Lee, and Saurabh Johri. "Improving the accuracy of medical diagnosis with causal machine learning." Nature communications 11.1 (2020): 3923. Abstr...

[論文メモ] Causal Machine Learningによる医学的診断の精度向上

8月に受験した医療情報技師能力検定試験に合格していたので感想を書く。 モチベーションシンプルに「この業界はどんなデータがあるのか知りたい」というのが1つ。筆者は去年からヘルステックスタートアップのデータサイエンスチームにいる。その前はインターネット広告業界だったので医療ドメインに関する知識は無い状態で医療業界に来た。転職してしばらく経ったが業務に直接関わらない領域は理解が曖昧なのと、限られた知識で仕事を回す事の課題感が強まってきたので網羅的な知識をインプットすべく取り組んだ。医療情報技師はテキストが非常に充実しているので試験を受けなくとも学習は可能。とはいえ学習期間にリミットを設...

ヘルステックスタートアップのエンジニアが医療情報技師の試験を受けた感想

医療用LLMの性能評価で使われるのを良く目にするMedQA自体の論文を読んだ。https://arxiv.org/abs/2009.13081Jin, Di, et al. "What disease does this patient have? a large-scale open domain question answering dataset from medical exams." Applied Sciences 11.14 (2021): 6421.https://github.com/jind11/MedQA MedQAとは何かOpen Domain Qu...

MedQA - 医師国家試験問題データセットについて

https://arxiv.org/abs/2307.14334 Abstract医療は本質的にマルチモーダル (テキスト、画像、ゲノム)それらを柔軟に扱える汎用的なバイオメディカルAIは大きなインパクトをもたらす可能性があるマルチモーダルなメディカルベンチマークを作成したMultiMedBench質問応答、マンモグラフィーや皮膚科画像の解釈といった14のタスク汎用的なバイオメディカルAIのPoCMed-PaLM Multimodal (以降 Med-PaLM M)すべての MultiMedBench タスクにおいてSOTAに匹敵か越える性能を出した特定の...

[論文メモ] Towards Generalist Biomedical AI 読んだ

Entrez Programming Utilitiesについて。PubMedのフィルタ条件指定の方法などが公式ドキュメントに書いてなかったので。https://www.ncbi.nlm.nih.gov/books/NBK25500/なんらかの病名を指定してcase reportを取得する場面を想定します。 API Keyの取得 (Optional)アカウント作成後のページ で。何度も叩かないのであれば無くて良い。 PubMed IDの取得こんな感じのコードを書いて ESearch API を叩く。自分はPythonにしたけどHTTPがしゃべれてXMLがパースできれば...

NCBIのAPI経由でPubMedから症例報告を取得する

概要Google Colaboratory(以下 Colab)ではBigQueryのクエリ結果を直にPandas DataFrameに変換できる。ちょっとした調査でColabを使う事が多いのだが、過去に作成した調査用Colabノートが軒並エラーが出て動かなくなったので対応内容をメモしておく。具体的にはPandas DataFrameの query メソッドがそのままでは動作しなくなったのでdtypeを変換する処理を挟んで回避した。 再現コード%%bigquery df_sample --project xxxselect  `DATE` as pub_date,  ...

ColaboratoryでBigQueryのクエリ結果をDataFrameにしてqueryメソッドを実行したときのエラー対応

takayanagi-san に恵贈賜りまして。一通り読んだ感想になります。https://www.kyoritsu-pub.co.jp/book/b10018389.html Federated Learning (連合学習) とは連合学習は個別分散したデータ保有者の元からデータそのものを持ち出さずに、グローバルな機械学習モデルを構築する手法です。本書は連合学習についてその分類、構成技術、発展の歴史や未解決問題、公開された実装、応用といったさまざまな視点から俯瞰したサーベイ論文の様な作りになっています。 目次と構成第1章　イントロダクション第2章　プライバシー保護機械学...

Federated Learning ―プライバシー保護下における機械学習― を読んだ

Ubie Discovery で機械学習エンジニアをしている @hagino3000 です。医療用AIの歴史および動向をキャッチアップするために調査した内容をまとめました。特に画像を入力として診断支援を行なうAIと比較して、自然言語で表現された自覚症状などを入力とするものを構築する上での課題に焦点をあてています。Keywords: コンピューター支援診断システム(Computer Aided Diagnosis: CAD), Medical Diagnostic Systems, 症状チェッカー(Symptom Checker), 機械学習(ML), 自然言語処理(NLP) 背景...

Takashi Nishibayashi