modeller.ldamodel – latent Dirichlet-allokering

>>> lda.update(other_corpus)>>> vector = lda

>>> lda = LdaModel(common_corpus, num_topics=50, alpha='auto', eval_every=5) # learn asymmetric alpha from data

>>> from gensim.test.utils import common_corpus>>>>>> lda = LdaModel(common_corpus, num_topics=10)

>>> doc_bow = >>> doc_lda = lda

>>> # In practice (corpus =/= initial training corpus), but we use the same here for simplicity.>>> other_corpus = common_corpus>>>>>> lda.update(other_corpus)

>>> from gensim.models.ldamulticore import LdaMulticore>>> from gensim.test.utils import datapath>>>>>> m1 = LdaMulticore.load(datapath("lda_3_0_1_model"))>>> m2 = LdaMulticore.load(datapath("ldamodel_python_3_5"))>>> mdiff, annotation = m1.diff(m2)>>> topic_diff = mdiff # get matrix with difference for each topic pair from `m1` and `m2`

Se även

save()

spara modell.

>>> from gensim.test.utils import datapath>>>>>> fname = datapath("lda_3_0_1_model")>>> lda = LdaModel.load(fname, mmap='r')

log_perplexity(chunk, total_docs=beräkna och returnera sannolikheten per ord bunden, med hjälp av en bit av dokument som utvärderingskorpus.

matar också ut den beräknade statistiken, inklusive förvirringen=2^(-bunden), för att logga på informationsnivå.

parametrar

• chunk (lista över lista över (int, float)) – den korpusbit som inferenssteget kommer att utföras på.

• total_docs (int, valfritt) – antal dokument som används för utvärdering av förvirringen.

returnerar

den variationsbundna poängen beräknad för varje ord.

returtyp

numpy.ndarray

print_topic(topicno, topn=10) osk

få ett enda ämne som en formaterad sträng.

parametrar

• topicno (int) – ämne id.

• topn (int) – antal ord från ämne som kommer att användas.

returnerar

Strängrepresentation av ämne ,som ’-0.340 *” kategori ”+ 0.298 * ”$m$ ”+ 0.183 * ”algebra”+…’.

returtyp

str

print_topics(num_topics=20, num_words=10) aug.

få de viktigaste ämnena (alias för show_topics() metod).

parametrar

• num_topics (int, valfritt) – antalet ämnen som ska väljas, om -1 – alla ämnen kommer att vara i resultat (ordnade efter betydelse).

• num_words (int, valfritt) – antalet ord som ska inkluderas per ämnen (ordnade efter betydelse).

returnerar

sekvens med (topic_id,).

returtyp

lista över (int, lista över( str, float))

save(fname, ignore=(’state’, ’dispatcher’), separat=None, *args, **kwargs) Australia

spara modellen i en fil.

stora interna matriser kan lagras i separata filer, med fname som prefix.

anteckningar

Om du tänker använda modeller över Python 2/3 versioner finns det några saker att tänka på:

1. de inlagda Python-ordböckerna fungerar inte över Python-versioner

2. spara-metoden sparar inte automatiskt alla numpy-arrayer separat, barade som överstiger sep_limit som anges i save(). Mainconcern här är alpha-arrayen om du till exempel använder alpha=’auto’.

se avsnittet wiki receptför ett exempel på hur man kan kringgå dessa problem.

parametrar

• fname (str) – sökväg till systemfilen där modellen kommer att kvarstå.

• ignorera (tupel av str, valfritt) – de namngivna attributen i tupeln kommer att lämnas utanför den inlagda modellen. Anledningen till att det interna tillståndet ignoreras som standard är att det använder sin egen serialisering snarare än den som tillhandahålls av denna metod.

• separat ({lista över str, ingen}, valfritt) – om ingen-upptäcker automatiskt stor numpy/scipy.sparsamma arrayer i objektet som lagras och lagrasdem i separata filer. Detta undviker pickle minnesfel och tillåter mmap ’ ing stora arraysback på belastning effektivt. Om Lista över str-detta attribut kommer att lagras i separata filer, är den automatiska kontrollen inte utförs i detta fall.

• * args-Positionsargument som sprids till save().

• * * kwargs-nyckelord argument sprids till save().

show_topic(topicid, topn=10) brasilian

få representationen för ett enda ämne. Ord här är de faktiska strängarna, i constrast tillget_topic_terms() som representerar ord med deras ordförråd ID.

parametrar

• topicid (int) – ID för ämnet som ska returneras

• topn (int, valfritt) – antal av de viktigaste orden som är associerade med ämnet.

returnerar

ord-sannolikhetspar för de mest relevanta ord som genereras av ämnet.

returtyp

lista över (str, float)

show_topics(num_topics=10, num_words=10, log=False, formaterad=True) Portugals

få en representation för utvalda ämnen.

parametrar

• num_topics (int, valfritt) – antal ämnen som ska returneras. Till skillnad från LSA finns det ingen naturlig ordning mellan ämnena i LDA.Den returnerade ämnen delmängd av alla ämnen är därför godtycklig och kan ändras mellan två ldatraining körningar.

• num_words (int, valfritt) – antal ord som ska presenteras för varje ämne. Dessa kommer att vara de mest relevanta orden (tilldelas högstasannolikhet för varje ämne).

• log (bool, valfritt) – om utmatningen också loggas, förutom att returneras.

• formaterad (bool, valfritt) – om ämnesrepresentationerna ska formateras som strängar. Om falskt returneras de som2 tuples av (ord, Sannolikhet).

returnerar

en lista med ämnen, var och en representerade antingen som en sträng (när formaterad == True) eller word-probabilitypairs.

returtyp

lista över {str, tuple of(str, float)}

sync_state(current_Elogbeta=None) brasilian

sprida tillstånden ämnessannolikheter till det inre objektets attribut.

parametrar

current_Elogbeta (numpy.Ndarray) – Posterior sannolikheter för varje ämne, valfritt.Om utelämnas, det kommer att få Elogbeta från staten.

top_topics(corpus=None, texts=None, dictionary=None, window_size=None, koherens=’u_mass’, topn=20, processer=-1) occupy

få ämnen med högsta koherens poäng koherensen för varje ämne.

parametrar

• corpus (iterable av listan över (int, float), valfritt) – Corpus i bågformat.

• texter (lista över lista över str, valfritt) – tokeniserade texter, som behövs för koherensmodeller som använder glidande fönsterbaserade (dvs. koherens= ’c_something’) sannolikhetsuppskattare .

• ordbok (Dictionary, valfritt) – Gensim ordbok kartläggning av id ord för att skapa corpus.Om model. id2word är närvarande behövs det inte. Om båda tillhandahålls kommer godkänd ordbok att användas.

• window_size (int, valfritt) – är storleken på fönstret som ska användas för koherensåtgärder med hjälp av booleskt skjutfönster som deras sannolikhet estimator. För ’u_mass’ spelar det ingen roll.Om ingen-standardfönsterstorlekar används som är: ’c_v’ – 110, ’c_uci’ – 10, ’c_npmi’ – 10.

• koherens ({’u_mass’, ’c_v’, ’c_uci’, ’c_npmi’}, valfritt) – Koherensåtgärd som ska användas.Snabbaste metoden – ’u_mass’, ’c_uci’ även känd som c_pmi.För’ u_mass ’ corpus bör tillhandahållas, om texter tillhandahålls, det kommer att konverteras till corpusanvända ordlistan. För’ c_v’,’ c_uci ’och’ c_npmi ’ bör texter tillhandahållas (corpus behövs inte)

• topn (int, valfritt) – heltal som motsvarar antalet toppord som ska extraheras från varje ämne.

• processer (int, valfritt) – antal processer som ska användas för sannolikhetsbedömningsfas, något värde mindre än 1 kommer att tolkas somnum_cpus-1.

returnerar

varje element i listan är ett par av en ämnesrepresentation och dess sammanhållnings poäng. Ämnesrepresentationerär fördelningar av ord, representerade som en lista över par av ord-ID och deras sannolikheter.

returtyp

lista över (lista över (int, str), float)

update(corpus, chunksize=None, decay=None, offset=None, passes=None, update_every=None, eval_every=None, iterations=None, gamma_threshold=None, chunks_as_numpy=False) Portugals

träna modellen med nya dokument, genom em-iterering över Corpus tills ämnena konvergerar, eller tillsdet maximala antalet tillåtna iterationer uppnås. corpus måste vara en iterabel.

i distribuerat läge fördelas e-steget över ett kluster av maskiner.

anmärkningar

den här uppdateringen stöder också uppdatering av en redan utbildad modell med nya dokument; de två modellerna slås sedan samman i proportion till antalet gamla vs. nya dokument. Denna funktion är fortfarande experimentell för icke-stationärinmatningsströmmar. För stationär ingång (ingen ämnesdrift i nya dokument), å andra sidan, motsvarar dettaonline-uppdatering av Matthew D. Hoffman, David M. Blei, Francis Bach:”Online Learning for Latent Dirichlet Allocation NIPS’10”.och garanteras att konvergera för varje förfall i (0,5, 1,0). För mindre korpusstorlekar kan dessutom en ökande förskjutning vara fördelaktig (se Tabell 1 i samma papper).

parametrar

• corpus (iterable av listan över (int, float), valfritt) – ström av dokumentvektorer eller gles matris av form (num_documents, num_terms) används för att uppdatera themodel.

• chunksize (int, valfritt) – antal dokument som ska användas i varje träningsbit.

• decay (float, optional) –

  ett tal mellan (0.5, 1] för att väga vilken procentandel av föregående lambda-värde glöms bortnär varje nytt dokument undersöks. Motsvarar Kappa frånmatthew D. Hoffman, David M. Blei, Francis Bach:”online-lärande för Latent Dirichlet Allocation NIPS’10”.

• offset (float, tillval)-

  Hyper-parameter som styr hur mycket vi kommer att sakta ner de första stegen de första iterationerna.Motsvarar Tau_0 från Matthew D. Hoffman, David M. Blei, Francis Bach:”online-lärande för Latent Dirichlet allokering NIPS’10”.

• passerar (int, valfritt) – antal passerar genom corpus under träning.

• update_every (int, valfritt) – antal dokument som ska itereras för varje uppdatering.Ställ in på 0 för batchinlärning, > 1 för online iterativt lärande.

• eval_every (int, valfritt) – Log förvirring uppskattas varje att många uppdateringar. Att ställa in detta till en saktar ner träningen med ~2x.

• iterationer (int, valfritt) – maximalt antal iterationer genom corpus när man drar slutsatsen om ämnesfördelningen av en corpus.

• gamma_threshold (float, valfritt) – minsta förändring i värdet på gamma-parametrarna för att fortsätta iterera.

• chunks_as_numpy (bool, valfritt) – om varje bit som skickas till inferenssteget ska vara en numpy.ndarray eller inte. Numpy kan i vissa inställningarvända termen ID till flottor, dessa kommer att konverteras tillbaka till heltal i inferens, vilket medför aperformance hit. För distribuerad databehandling kan det vara önskvärt att hålla bitarna som numpy.ndarray.

update_alpha(gammat, rho) 2

uppdatera parametrar för Dirichlet tidigare på ämnesvikterna per dokument.

parametrar

• gammat (numpy.ndarray) – tidigare ämne viktparametrar.

• rho (float) – inlärningshastighet.

returnerar

sekvens av alfa-parametrar.

returtyp

numpy.ndarray

update_eta(lambdat, rho)

uppdatera parametrar för Dirichlet tidigare på ordvikterna per ämne.

parametrar

• lambdat (numpy.ndarray) – tidigare lambda-parametrar.

• rho (float) – inlärningshastighet.

returnerar

de uppdaterade eta-parametrarna.

returtyp

numpy.ndarray

klassgensim.models.ldamodel.LdaState(eta, form, dtype=<klass ’numpy.float32 ’>)

baser: gensim.utils.SaveLoad

inkapsla information för distribuerad beräkning av LdaModel objekt.

objekt i den här klassen skickas över nätverket, så försök att hålla dem lutade tillminska trafiken.

parametrar

• eta (numpy.ndarray) – de tidigare sannolikheter som tilldelats varje term.

• shape (tuple of (int, int)) – form av tillräcklig statistik: (antal ämnen som ska hittas, antal termer i ordförrådet).

• dtype (typ) – åsidosätter standardtyperna för numpy-array.

add_lifecycle_event(event_name, log_level=20, **event)

lägg till en händelse i attributet lifecycle_events för det här objektet och logga också in händelsen på log_level.

händelser är viktiga stunder under objektets liv, till exempel ”modell skapad”,”modell Sparad”, ”modell laddad” etc.

attributet lifecycle_events kvarstår över objektetssave()ochload() operationer. Det har ingen inverkan på användningen av modellen,men är användbar vid felsökning och support.

Ställ in själv.lifecycle_events = ingen för att inaktivera detta beteende. Samtal till add_lifecycle_event () kommer inte att spela in händelser i själv.lifecycle_events då.

parametrar

• event_name (str) – händelsens namn. Kan vara vilken etikett som helst, t. ex. ”skapad”,” lagrad ” etc.

• händelse (dict)-

  Nyckelvärdeskartläggning för att lägga till själv.lifecycle_events. Bör vara JSON-serializable, så håll det enkelt.Kan vara tom.

  den här metoden lägger automatiskt till följande nyckelvärden till händelse, så du behöver inte ange dem:

  • datetime: det aktuella datumet& tid

  • gensim: den aktuella Gensim-versionen

  • python: den aktuella Python-versionen

  • plattform: den nuvarande plattformen

  • händelse: namnet på denna händelse

• log_level (int) – logga även den fullständiga händelsedikten på den angivna loggnivån. Ställ in på False för att inte logga alls.

blend(rhot, other, targetsize=None) Portugals

sammanfoga det aktuella tillståndet med ett annat med ett vägt genomsnitt för tillräcklig statistik.

antalet dokument sträcker sig i båda tillståndsobjekten, så att de är av jämförbar storlek.Denna procedur motsvarar den stokastiska gradientuppdateringen fromHoffman et al. : ”Online-lärande för Latent Dirichlet allokering”, se ekvationer (5) och (9).

parametrar

• rhot (float) – vikten av det andra tillståndet i det beräknade genomsnittet. Ett värde på 0,0 betyder att andraär helt ignorerad. Ett värde på 1,0 betyder att jaget helt ignoreras.

• Övrigt (LdaState) – det tillståndsobjekt som den nuvarande kommer att slås samman med.

• targetsize (int, valfritt) – antalet dokument att sträcka båda staterna till.

blend2(rhot, other, targetsize=None) Portugals

sammanfoga det aktuella tillståndet med ett annat med hjälp av en viktad summa för tillräcklig statistik.

till skillnad från blend(), är den tillräckliga statistiken inte skaladprior to aggregation.

parametrar

• rhot (float) – oanvänd.

• Övrigt (LdaState) – det tillståndsobjekt som den nuvarande kommer att slås samman med.

• targetsize (int, valfritt) – antalet dokument att sträcka båda staterna till.

get_Elogbeta () Portugals

hämta loggen (bakre) sannolikheter för varje ämne.

returnerar

Posterior sannolikheter för varje ämne.

returtyp

numpy.ndarray

get_lambda () bisexuell

hämta parametrarna för den bakre delen över ämnena, även kallade ”ämnena”.

returnerar

parametrar för den bakre sannolikheten över ämnen.

returtyp

numpy.ndarray

classmethod load(fname, *args, **kwargs) Securities

ladda ett tidigare lagrat tillstånd från disken.

åsidosätter load genom att tillämpa dtype-parameternför att säkerställa bakåtkompatibilitet.

parametrar

• fname (str) – sökväg till fil som innehåller det nödvändiga objektet.

• args (objekt) – Positionsparametrar som ska spridas till klass:~gensim.utils.SaveLoad.ladda

• kwargs (objekt)-Nyckelordsparametrar som ska spridas till klass:~gensim.utils.SaveLoad.load

returnerar

det tillstånd som laddats från den angivna filen.

returtyp

LdaState

merge(other) Ukrainian

sammanfoga resultatet av ett e-steg från en nod med det för en annan nod (summera tillräcklig statistik).

sammanslagningen är trivial och efter sammanslagning av alla klusternoder har viexakt samma resultat som om beräkningen kördes på en enda nod (noapproximation).

parametrar

Övrigt (LdaState) – det tillståndsobjekt som den nuvarande kommer att slås samman med.

reset () bisexuell

Förbered tillståndet för en ny em-iteration (Återställ tillräcklig statistik).

save(fname_or_handle, separat=None, sep_limit=10485760, ignore=frozenset({}), pickle_protocol=4) Scorpius

spara objektet i en fil.

parametrar

• fname_or_handle (str eller filliknande)-sökväg till utdatafil eller redan öppnat filliknande objekt. Om objektet är ett filhandtag kommer ingen speciell arrayhantering att utföras, alla attribut sparas i samma fil.

• separat (lista över str eller ingen, tillval) –

  om ingen, automatiskt upptäcka stora numpy/scipy.sparsamma arrayer i objektet som lagras och lagrasdem i separata filer. Detta förhindrar minnesfel för stora objekt och tillåter ocksåminne-kartläggning av de stora matriserna för effektiv laddning och delning av de stora matriserna i RAM mellan flera processer.

  Om lista över str: lagra dessa attribut i separata filer. Den automatiska storlekskontrollenutförs inte i detta fall.

• sep_limit (int, valfritt) – lagra inte matriser som är mindre än detta separat. I byte.

• ignorera (frozenset av str, valfritt) – attribut som inte bör lagras alls.

• pickle_protocol (int, valfritt) – protokollnummer för pickle.

gensim.models.ldamodel.update_dir_prior(prior, N, logphat, rho) Ltd. Huang: ”maximal sannolikhetsbedömning av Dirichlet-Distributionsparametrar”. parametrar

• prior (lista över float) – prior för varje möjligt resultat vid föregående iteration (uppdateras).

• N (int) – antal observationer.

• logphat (lista över float) – Loggsannolikheter för den aktuella uppskattningen, även kallad ”observerad tillräcklig statistik”.

• rho (float) – inlärningshastighet.

returnerar

den uppdaterade tidigare.

returtyp

lista över float