日記2024-11-24

ピアソンの相関係数

スピアマンの順位相関係数

自動混合精度演算

パラメータや計算結果を32ビットや16ビットを上手に使い分けて学習を精度よく効率的にするやつ

LoRA

knowledge enhanced language model

知識強化言語モデル

https://scrapbox.io/files/6742b968b59e4ceba3393cc3.jpeg

セマンティックデータベース構想の整理

セマンティックデータベースとは、複数のサービス間で柔軟にデータを利活用できる仕組みであり、LLM（大規模言語モデル）を活用してデータの形式や内容の相互変換・更新を管理するものです。この構想を以下のように整理しました。

1. 構想の概要

• サービス1 と サービス2 は、それぞれ独立した機能を持つ。

• これらのサービスで使用されるデータ（データa と データa’）は、共通の元データ（元データA）から生成される。

• データa と データa’ は形式や内容が異なる場合があるが、いずれも元データAを基に生成されている。

2. データの参照プロセス

• 元データA は、サービスに応じた形式（データaやデータa’）に変換され、サービス1およびサービス2で使用される。

• LLMは、元データAを基に各サービスの要件に適した形式や内容を生成。

3. データの更新プロセス

• サービス1または2でデータが変更された場合

• 変更が発生したデータ（データaまたはデータa’）の影響が元データAに及ぶかをLLMが判断。

• 元データAが影響を受けると判断された場合、元データAを更新。

• 元データAの変更に応じて、データaまたはデータa’も自動的に再生成される。

• 元データAが直接変更された場合

• サービスごとのデータ（データaやデータa’）をLLMが自動変換し、更新内容に適応。

4. セマンティックデータベースの利点

• 一貫性の維持: 元データAを基準とすることで、サービス間でデータの矛盾を回避。

• 柔軟性: サービスごとに異なる形式のデータを生成可能。

• 効率性: LLMを活用して、データ更新・変換のプロセスを自動化。

• データの再利用性: 共通の元データAを基に、複数のサービスで同じデータ資源を利活用。

5. 想定される課題

• LLMによるデータ変換の精度や一貫性の保証。

• 元データAの変更による、各サービスへの影響範囲の制御。

• データ更新のタイミングやトリガーの設計。

この構想により、複数のサービスで共通のデータ資源を効果的かつ柔軟に活用できる環境が実現できます。次に、さらに具体的な技術アーキテクチャや設計案を詰めるとよいでしょう。