noriho137’s diary

機械学習, 時々Web

Transformers, LangChain & Chromaによるローカルのテキストデータを参照したテキスト生成

前回はHugging FaceのTransgormersとLangChainを用いたテキスト生成を実装しました。 今回はさらにChromaを用いて、ローカルのDB上のデータを参照して質問応答を行うテキスト生成を実装してみます。 ChromaはいわゆるベクトルDBの一種です。 ベクトルDBは埋…

Transformers PipelineとLangChainによるテキスト生成

前回は Hugging FaceのTransgormers Pipelineを用いたテキスト生成を実装しました。 今回はTransgormers Pipelineに加えてLangChainも使用したテキスト生成を実装してみます。 LangChain を利用すると大規模言語モデルを用いたアプリケーション開発が容易に…

Transformaers Pipeline によるテキスト生成

Hugging Face の Transformers には推論を簡単に行うための Pipeline という仕組みがあります。 PyTorch や TensorFlow のような面倒なコードを書かずに、わずかなコーディング量で推論することができるので、ちょっとしたことを試すのにはとでも便利です。 …

PyCharmでプロジェクトの改行コードを一括変換

PyCharmでプロジェクトの改行コードを一括変換する方法をいつも忘れてしまうのでメモ。 プロジェクトをクリックして選択した上で、メニューから、File → File Properties → Line Separators と選択すればOK。 PyCharmの画面 ※注:上記はWindows版です。

二値分類の評価指標

機械学習の二値分類の評価指標について、ついつい忘れがちなのでメモしておこう。 混同行列 二値分類の混同行列は次のとおり。 陰性と予測 陽性と予測 実際は陰性 真陰性 (True Negative; TN) 偽陽性 (False Positive; FP) 実際は陽性 偽陰性 (False Negativ…

Django + PyTorch で画像認識 Web アプリを作る

DjangoとPyTorchで画像認識Webアプリを作ろうと思ったところ、Djangoのクラスベースビューを使いつつAjaxでグラフ描画するという例が見つからなかったので、試行錯誤して実装してみました。今回はその内容の共有をしたいと思います。 ソースコードはhttps://…