モデル。ldamodel–潜在的なディリクレ割り当て¶

使用例¶

Gensimコーパスを使用してLDAモデルをトレーニング

>>> from gensim.test.utils import common_texts>>> from gensim.corpora.dictionary import Dictionary>>>>>> # Create a corpus from a list of texts>>> common_dictionary = Dictionary(common_texts)>>> common_corpus = >>>>>> # Train the model on the corpus.>>> lda = LdaModel(common_corpus, num_topics=10)

モデルをディスクに保存するか、事前に訓練されたモデルをリロードする

>>> from gensim.test.utils import datapath>>>>>> # Save model to disk.>>> temp_file = datapath("model")>>> lda.save(temp_file)>>>>>> # Load a potentially pretrained model from disk.>>> lda = LdaModel.load(temp_file)

クエリ、新しい、目に見えない文書を使用してモデル

>>> # Create a new corpus, made of previously unseen documents.>>> other_texts = ,... ,... ... ]>>> other_corpus = >>>>>> unseen_doc = other_corpus>>> vector = lda # get topic probability distribution for a document

増分新しいコーパスにトレーニングすることにより、モデルを更新

>>> lda.update(other_corpus)>>> vector = lda

パラメータの多くは、あなたの特定のためのトレーニングを最適化するために調整することができますケース

>>> lda = LdaModel(common_corpus, num_topics=50, alpha='auto', eval_every=5) # learn asymmetric alpha from data

>>> from gensim.test.utils import common_corpus>>>>>> lda = LdaModel(common_corpus, num_topics=10)

>>> doc_bow = >>> doc_lda = lda

>>> # In practice (corpus =/= initial training corpus), but we use the same here for simplicity.>>> other_corpus = common_corpus>>>>>> lda.update(other_corpus)

>>> from gensim.models.ldamulticore import LdaMulticore>>> from gensim.test.utils import datapath>>>>>> m1 = LdaMulticore.load(datapath("lda_3_0_1_model"))>>> m2 = LdaMulticore.load(datapath("ldamodel_python_3_5"))>>> mdiff, annotation = m1.diff(m2)>>> topic_diff = mdiff # get matrix with difference for each topic pair from `m1` and `m2`

log_perplexity（chunk、total_docs=None）per

計算して-評価コーパスとして文書の塊を使用して、バインドされた単語の尤度。また、perplexity=2^(-bound)を含む計算された統計を出力して、情報レベルでログに記録します。

Parameters

• chunk(list of list of(int,float))–推論ステップが実行されるコーパスのチャンク。

• total_docs(int,optional)–当惑の評価に使用されるドキュメントの数。

は、各単語に対して計算された変分境界スコアを返します。戻り値の型

numpy。ndarray

print_topic(topicno,topn=10)¶

フォーマットされた文字列として単一のトピックを取得します。

パラメータ

• topicno(int)–トピックid。

• topn(int)–使用されるトピックからの単語の数。’-0.340*”category”+0.298*”$M$”+0.183*”algebra”+…’のように、トピックの文字列表現を返します。

  戻り値の型

  str

  print_topics(num_topics=20,num_words=10)¶

  最も重要なトピックを取得します(show_topics()メソッドのエイリアス)。

  Parameters

  • num_topics(int,optional)–選択されるトピックの数、-1の場合-すべてのトピックが結果になります(有意性順)。

  • num_words(int,optional)–トピックごとに含める単語の数(重要度順)。

  は、(topic_id,)で

  シーケンスを返します。(fname,ignore=(‘state’,’dispatcher’),separately=None,*args,**kwargs)model

  モデルをファイルに保存します。

  save(fname,ignore=(‘state’,’dispatcher’),separately=None,*args,**kwargs)model

  モデルをファイルに保存します。

  save(fname,ignore=(‘state’,’dispatcher’),separately=

  大きな内部配列は、接頭辞としてfnameを使用して、別々のファイルに格納することができます。

  注意事項

  Python2/3のバージョン間でモデルを使用する場合は、いくつかのことを念頭に置いてtokeepがあります:

  1. ピクルス化されたPython辞書は、Pythonバージョン間では動作しません

  2. saveメソッドは、すべてのnumpy配列を自動的に保存するわけではありません。save()で設定されているsep_limitを超えるもののみです。 ここでのmainconcernは、たとえばalpha=’auto’を使用している場合のアルファ配列です。

  これらの問題を回避する方法の例については、wiki recipesセクションを参照してください。/p>

  ロードモデルも参照してください。

  load()

  ロードモデル。

  パラメータ

  • fname(str)–モデルが永続化されるシステムファイルへのパス。

  • ignore(tuple of str,optional)–タプル内の名前付き属性はpickledモデルから除外されます。 内部状態がデフォルトで無視される理由は、このメソッドによってoneprovidedではなく、独自のシリアル化を使用するためです。別々に（{list of str,None}、optional）–なしの場合-大きなnumpy/scipyを自動的に検出します。格納されているオブジェクト内のスパース配列、および別々のファイルにstorethem。 これにより、pickleメモリエラーが回避され、負荷時に大きなarraysbackを効率的にmmapすることができます。 Str-この属性のリストが別々のファイルに格納される場合、この場合は自動チェックは実行されません。*args-位置引数をsave()に伝播します。**kwargs-キーワード引数はsave()に伝播されます。

  show_topic(topicid,topn=10)single

  単一のトピックの表現を取得します。 ここでの単語は、語彙IDで単語を表すget_topic_terms()に変換された実際の文字列です。

  パラメータ

  • topicid(int)–返されるトピックのID

  • topn(int,optional)–トピックに関連付けられている最も重要な単語の数。

  は、トピックによって生成された最も関連性の高い単語の

  単語-確率ペアを返します。

  戻り値の型

  (str,float)のリスト

  show_topics(num_topics=10,num_words=10,log=False,formatted=True)¶

  選択したトピックの表現を取得します。

  Parameters

  • num_topics(int,optional)–返されるトピックの数。 LSAとは異なり、LDAのトピック間に自然な順序はありません。したがって、返されるすべてのトピックのトピックサブセットは任意であり、2つのLDAtraining実行の間で変更される可能性があります。

  • num_words(int,optional)–各トピックに表示される単語の数。 これらは最も関連性の高い単語になります（各トピックの可用性）。

  • log(bool,optional)–出力が返される以外にもログに記録されるかどうか。

  • formatted(bool,省略可能)–トピック表現を文字列として書式設定するかどうか。 Falseの場合、それらは(word,probability)の2タプルとして返されます。

  トピックのリストを返します。

  戻り値の型

  {strのリスト,タプルの(str,float)}

  sync_state(current_elogbeta=None)inner

  状態トピックの確率を内部オブジェクトの属性に伝播します。

  パラメータ

  current_elogbeta(numpy.ndarray)-各トピックの事後確率。省略すると、状態からElogbetaが取得されます。

  top_topics(corpus=None,texts=None,dictionary=None,window_size=None,coherence=’u_mass’,topn=20,processes=-1)¶

  各トピックのcoherenceスコアが最も高いトピックを取得します。

  パラメータ

  • コーパス（（int、float）のリストの反復可能、オプション）–弓形式のコーパス。

  • texts(list of list of str,optional)–スライディングウィンドウベースを使用するcoherenceモデルに必要なトークン化されたテキスト(つまり、スライディングウィンドウベースを使用するcoherenceモデルに必要なトークン化されたテキスト coherence=’c_something’)確率推定器。

  • dictionary(Dictionary,optional)–コーパスを作成するためのIdワードのGensim辞書マッピング。Model.id2wordが存在する場合、これは必要ありません。 両方が指定されている場合は、渡された辞書が使用されます。

  • window_size(int,optional)–booleanスライディングウィンドウをprobability推定器として使用するコヒーレンス測定に使用するウィンドウのサイズです。 ‘U_mass’の場合、これは問題ではありません。Noneの場合-デフォルトのウィンドウサイズが使用されます:’c_v’-110,’c_uci’-10,’c_npmi’-10。coherence({‘u_mass’,’c_v’,’c_uci’,’c_npmi’},省略可能)–使用するコヒーレンス測定値。最速の方法-‘u_mass’、’c_uci’はc_pmiとしても知られています。’U_mass’コーパスを提供する必要があります,テキストが提供されている場合,それは辞書を使用してcorpusに変換されます. ‘C_v’の場合、’c_uci’と’c_npmi’のテキストを提供する必要があります（コーパスは必要ありません）

  • topn(int,optional)–各トピックから抽出される上位単語の数に対応する整数。processes(int,optional)-確率推定フェーズに使用するプロセスの数、1未満の値はnum_cpus-1として解釈されます。

  を返しますリスト内の各要素は、トピック表現とそのコヒーレンススコアのペアです。 トピック表現単語の分布であり、単語Idとその確率のペアのリストとして表されます。

  戻り値の型

  list of(list of(int,str),float)

  update(corpus,chunksize=None,decay=None,offset=None,passes=None,update_every=None,eval_every=None,iterations=None,gamma_threshold=None,chunks_as_numpy=False)¶

  新しいドキュメントでモデルを訓練します。コーパストピックが収束するまで、または許可された反復の最大数に達するまで。 corpusはiterableでなければなりません。

  分散モードでは、Eステップはマシンのクラスタに分散されます。

  注意事項

  この更新プログラムは、新しいドキュメントで既に訓練されたモデルを更新することもサポートしています。 この機能は、静止していない入力ストリームではまだ実験的です。 一方、静止入力（新しい文書にはトピックドリフトがない）については、Matthew D.Hoffman,David M.Blei,Francis Bach:”Online Learning for Latent Dirichlet Allocation NIPS’10″のオンライン更新に等しい。とは、(0.5,1.0)の任意の減衰に対して収束することが保証されています。 さらに、コーパスサイズが小さい場合は、オフセットの増加が有益である可能性があります（同じ論文の表1を参照）。

  パラメータ

  • コーパス((int,float)のリストの反復可能,オプション)–ドキュメントベクトルのストリームまたは形状のスパース行列(num_documents,num_terms)themodelを更新するために使用

  • chunksize(int,optional)–各トレーニングチャンクで使用されるドキュメントの数。

  • decay(float,optional)–

    新しいドキュメントが検査されるたびに、前のラムダ値の何パーセントが忘れられるかを重みにする(0.5,1]の間の数値。 Hoffman,David M.Blei,Francis Bach:”潜在的なディリクレ配分のためのオンライン学習NIPS’10″からのカッパに対応している。

  • offset(float,optional)–

    最初の数回の反復で最初のステップを遅くする量を制御するハイパーパラメータです。Matthew D.Hoffman,David M.Blei,Francis Bach:”Online Learning for Latent Dirichlet Allocation NIPS’10″のTau_0に対応しています。

  • passes(int,optional)–トレーニング中にコーパスを通過した回数。

  • update_every(int,optional)–更新ごとに反復処理されるドキュメントの数。バッチ学習の場合は0に設定し、オンライン反復学習の場合は>1に設定します。

  • eval_every(int,optional)–ログの当惑は、その多くの更新ごとに推定されます。 これを1に設定すると、トレーニングが~2倍遅くなります。

  • iterations(int,optional)–コーパスのトピック分布を推論するときのコーパスを通る反復の最大数。

  • gamma_threshold(float,optional)–反復を継続するためのガンマパラメータの値の最小変化。chunks_as_numpy(bool,optional)–推論ステップに渡される各チャンクがnumpyであるかどうか。ndarrayかどうか。 Numpyはいくつかの設定で用語Idを浮動小数点数に変換することができますが、これらは推論で整数に変換されます。 分散コンピューティングでは、チャンクをnumpyとして保持することが望ましい場合があります。ndarray。

  update_alpha(gammat,rho)¶

  ドキュメントごとのトピックの重みの前のディリクレのパラメータを更新します。

  パラメータ

  • gammat(numpy.ndarray–-前のトピックの重みパラメータ。

  • rho(float)–学習率。

  アルファパラメータの

  シーケンスを返します。

  戻り値の型

  numpy。ndarray

  update_eta(lambdat,rho)¶

  トピックごとの単語の重みの前のディリクレのパラメータを更新します。

  パラメータ

  • lambdat(numpy.ndarray–-以前のラムダパラメータ。

  • rho(float)–学習率。

  は、更新されたetaパラメータを

  返します。

  戻り値の型

  numpy。クラスgensim.models.ldamodel.LdaState(eta,shape,dtype=<クラス’numpy.float32′>)Bases

  Bases:gensim.utils.SaveLoad

  LdaModelオブジェクトの分散計算のための情報をカプセル化します。

  このクラスのオブジェクトはネットワーク経由で送信されるため、トラフィックを減らすようにしてください。

  パラメータ

  • eta(numpy.ndarray)-各項に割り当てられた事前確率。形状（（int、int）のタプル）–十分な統計の形状：（発見されるトピックの数、語彙内の用語の数）。dtype(type)–numpy配列のデフォルトの型を上書きします。

  add_lifecycle_event(event_name,log_level=20,**event)¶

  このオブジェクトのlifecycle_events属性にイベントを追加し、log_levelにイベントを追加します。

  イベントは、”モデルが作成された”、”モデルが保存された”、”モデルがロードされた”など、オブジェクトの寿命の間の重要な瞬間です。

  lifecycle_events属性は、オブジェクトのsave()load()操作間で永続化されます。 これはモデルの使用には影響しませんが、デバッグやサポートの際に役立ちます。

  自己を設定します。この動作を無効にするには、lifecycle_events=Noneを指定します。 Add_lifecycle_event()を呼び出すと、イベントはselfに記録されません。その後、lifecycle_events。

  パラメータ

  • event_name(str)–イベントの名前。 任意のラベルを指定できます。 “作成”、”保存”など

  • イベント(dict)–

    selfに追加するキーと値のマッピング。lifecycle_events. JSON-serializableである必要があるので、単純にしてください。空にすることができます。

    このメソッドは自動的に次のkey-valuesをeventに追加するので、指定する必要はありません。

    • datetime:現在の日付&time

    • gensim:現在のGensimバージョン

    • python:現在のPythonバージョン

    • platform：現在のプラットフォーム

    • イベント: このイベントの名前

  • log_level(int)–指定されたログレベルで、完全なイベント辞書もログに記録します。 ログをまったく記録しない場合はFalseに設定します。

  blend(rhot,other,targetsize=None)¶

  十分な統計の加重平均を使用して、現在の状態を別の状態とマージします。

  ドキュメントの数は、両方の状態オブジェクトに引き伸ばされているため、同等の大きさになります。この手順は，ｈｏｆｆｍａｎらの確率的勾配更新に対応する。 ：”潜在的なディリクレ配分のためのオンライン学習”、式（5）および（9）を参照してください。

  パラメータ

  • rhot(float)–計算された平均内の他の状態の重み。 0.0の値は、otherが完全に無視されることを意味します。 1.0の値は、selfが完全に無視されることを意味します。other(LdaState)–現在の状態オブジェクトがマージされる状態オブジェクト。

  • targetsize(int,optional)–両方の状態をストレッチするドキュメントの数。

  blend2(rhot,other,targetsize=None)sufficient

  十分な統計の重み付き合計を使用して、現在の状態を別の状態とマージします。p>blend()とは対照的に、十分な統計は集計にscaledpriorではありません。

  パラメータ

  • rhot(float)–未使用。other(LdaState)–現在の状態オブジェクトがマージされる状態オブジェクト。

  • targetsize(int,optional)–両方の状態をストレッチするドキュメントの数。

  get_Elogbeta()(

  各トピックのログ（事後）確率を取得します。

  各トピックの事後確率を返します。戻り値の型

  numpy。ndarray

  get_lambda()(

  また、”トピック”と呼ばれるトピック上の事後のパラメータを取得します。

  トピックに対する事後確率の

  パラメータを返します。

  戻り値の型

  numpy。ndarray

  classmethodload(fname,*args,**kwargs)¶

  ディスクから以前に保存された状態をロードします。

  オーバーライドload下位互換性を確保するためにdtypeパラメータを強制します。

  パラメータ

  • fname(str)–必要なオブジェクトを含むファイルへのパス。args(object)–クラス~gensimに伝播される位置パラメータ。ユーティルスセーブロードload

  • kwargs(object)–クラスに伝播されるキーワードパラメータ~gensim。ユーティルスセーブロードload

  は、指定されたファイルからロードされた状態を返します。

  は、指定されたファイルからロードされた状態を返します。

  戻り値の型

  LdaState

  merge(other)(

  あるノードからのEステップの結果を別のノードの結果とマージします（十分な統計を合計します）。

  マージは簡単で、すべてのクラスターノードをマージした後、計算が単一のノードで実行された場合と同じ結果が得られます（noapproximation）。

  Parameters

  other(LdaState)–現在の状態オブジェクトがマージされる状態オブジェクト。

  reset()(

  新しいEM反復の状態を準備します（十分な統計をリセットします）。

  save(fname_or_handle,separately=None,sep_limit=10485760,ignore=frozenset({}),pickle_protocol=4)object

  オブジェクトをファイルに保存します。パラメータ

  • fname_or_handle(str or file-like)–出力ファイルまたは既に開かれているファイルのようなオブジェクトへのパス。 オブジェクトがファイルハンドルの場合、特別な配列処理は実行されず、すべての属性が同じファイルに保存されます。

  • 別々に（strまたはNoneのリスト、オプション）–

    なしの場合は、大きなnumpy/scipyを自動的に検出します。格納されているオブジェクト内のスパース配列、および別々のファイルにstorethem。 これにより、ラージオブジェクトのメモリエラーを防止し、ラージアレイをメモリマッピングして、複数のプロセス間でRAM内のラージアレイを効率的にロードし、共有することができます。strのリストの場合：これらの属性を別々のファイルに格納します。

    strのリストの場合：これらの属性を別々のファイルに格納し この場合、自動化されたサイズチェックは実行されません。sep_limit(int,optional)–これより小さい配列を別々に格納しないでください。 バイト単位で。

  • ignore(strのfrozenset,optional)–まったく格納すべきではない属性。

  • pickle_protocol(int,optional)–pickleのプロトコル番号。

  も参照してください

  load()

  ファイルからオブジェクトをロードします。

  gensim.models.ldamodel.update_dir_prior(prior,N,logphat,rho)Newton

  ニュートンの方法を使用して、inJで説明されている特定の前に更新します。 Huang:”ディリクレ分布パラメータの最尤推定”.

  Parameters

  • prior(floatのリスト)–前の反復で可能な各結果のprior(更新される)。

  • N(int)–観測値の数。logphat(floatのリスト)–現在の推定のログ確率。「観測された十分な統計」とも呼ばれます。

  • rho(float)–学習率。

  は、更新された前の

  を返します。

  戻り値の型

  浮動小数点数のリスト