» »

Excel kalkulacije - preko virtualke ipd.?

Excel kalkulacije - preko virtualke ipd.?

«
1
2

omni-vor ::

Tole spodaj sprašujem kot laik, ker ne vem ali obstaja kakšna storitev na spletu kjer bi lahko našel rešitev zase.
Moj stari i5 procesor je preslab za moje zahteve in se precej matra z neko obsežno xls datoteko, ki ima okoli 50.000 vrstic in kalkulacije v dveh stolpcih. En stolpec lahko obdeluje po cel dan, s tem, da je procesor neprestano na 100%. Moram pa vsak stolpec nekajkrat obdelati oz. ponoviti postopke z modifikacijami podatkov.

Ali obstaja kakšna možnost dostopa do kakšne online super zmožne virtualke ali pa kake druge storitve, kjer bi imel dostop do kakšnega veliko boljšega procesorja preko katerega bi naredil vse te kalkulacije in analize v bolj doglednem času?

Te korake moram narediti samo enkrat, se pravi teh kalkulacij ne delam neprestano ampak jih bom moral narediti samo zdaj, ampak takrat kvalitetno in primerno hitro. Zato nakup boljšega računalnika ni smiseln, pa tudi vprašanje je koliko hitrejši bi sploh bil.

Fsegula62 ::

Koliko bi bil pripravljen za pripravljen mesečno plačevati?

showsover ::

Če moreš, daj najprej preverit na kakšnem novejšem CPU in z več pomnilnika, da lahko primerjaš.
CPU je ena stvar,
fizični pomnilnik je druga,
same kalkulacije in uporabljenih funkcionalnosti tretja,
uporaba drugega orodja četrta.

Fsegula62 ::

Poglej si tole ponudbo, plačuješ po urah

https://www.scaleway.com/en/pricing/

omni-vor ::

@Fsegula62: ne rabim mesečnega najema, ker tole bi s solidnim procesorjem verjetno rešil preko vikenda, če ne že celo v nekaj urah. Sem pripravljen plačati, tole na linku se zdi kar zanimivo, če se res plačuje po urah.

@gtfo: bom poskusil dobiti kaj zmogljivejšega v službi, preverim tudi to opcijo.

techfreak :) ::

https://www.hetzner.com/cloud je cenejsi, pa na wikiju imajo navodila kako namestiti Windows. Res pa ni trivialen proces. Se pa tudi placuje po urah.

Tole je pa najlazja resitev: https://www.paperspace.com/ Dobis streznik s prednamescenim Windowsom in zelo dobrim oddaljenim namizjem (sicer primarno prilagojen za igre.)

Zgodovina sprememb…

SeMiNeSanja ::

Samo kakšne kalkulacije pa so to, da že pri skromnih 50.000 vrsticah in DVEH stolpcih predstavljajo problem?

Morda pa Excel ni optimalno orodje za te kalkulacije?
Ali pa so same formule neoptimalne...?
Pričujoče sporočilo je (lahko) oglasno sporočilo
- četudi na prvi pogled ni prepoznavno kot tako.
(Zdaj me pa obtožite prikritega oglaševanja, če morete!)

111111111111 ::

Brezplačno preizkusi office 365 in zaposli Microsoftove strežnike. :D
Če prisloniš uho na vroč šporhet, lahko zavohaš kak si fuknjen.

DeeCoy ::

SeMiNeSanja je izjavil:

Samo kakšne kalkulacije pa so to, da že pri skromnih 50.000 vrsticah in DVEH stolpcih predstavljajo problem?

Morda pa Excel ni optimalno orodje za te kalkulacije?
Ali pa so same formule neoptimalne...?

Se skoraj strinjam s tem. To je 100k formul. Naj bojo še tako "kompleksne", ko nebi smelo solidnemu procesorju vzeti niti ure..

Sicer pa, glede na to, da je to za službo:
1. Naj to nekako zadevo rešijo (boljši hardware (mašina za par kEUR to reši v minutah), strežnik nekje na cloudu, ki bo to zmlel v minutah) ALI
2. Če to ne gre, te pač plačujejo za to, da čakaš da računalnik nekaj zmleje. Vmes si odpreš pivo in na drugem računalniku odpreš netflix.

Res tukaj ne razumem problema.

111111111111 je izjavil:

Brezplačno preizkusi office 365 in zaposli Microsoftove strežnike. :D

Mhm, da zaupne podatke firme microsofu in ko to ugotovijo mu rečejo pot pod noge in plačaj odškodnino za izgubljene podatke.

Zgodovina sprememb…

  • spremenil: DeeCoy ()

Zimonem ::

Kakšna je pa poraba pomnilnika?
Najbrž so v formulah, kake krožne reference? Boljši hw bo najbrž nekaj prinesel v čudeže pri Excelu pa ni za računati.

showsover ::

Ja, to vse je potrebno vedeti, ampak glede na uvod...
Najlažje je sprobati na boljšem računalniku, še posebej samooklicanim laikom :)

111111111111 ::

DeeCoy je izjavil:


Mhm, da zaupne podatke firme microsofu in ko to ugotovijo mu rečejo pot pod noge in plačaj odškodnino za izgubljene podatke.

Samo res. Če najameš mašino pri xy firmi v cloudu so tvoji podatki bistveno bolj varni.
Če prisloniš uho na vroč šporhet, lahko zavohaš kak si fuknjen.

Tody ::

Bulshit :) ce mas tok slabo masino da bogih 50.000 vrsti ne predela, potem edino kar obstaja je ali boljsi rac ali pa google sheets. Da bodo hekerji ukradl lih tvoj sheet je tok mogoče kot da zgubis rac.

111111111111 ::

Najboljša odločitev je pregled in optimizacija formul. Morda prestavit podatke v acess in reševati problem z SQL-om?

OP rama imaš dovolj, da nimaš i5 + 2GB rama. :D
Če prisloniš uho na vroč šporhet, lahko zavohaš kak si fuknjen.

showsover ::

Dajte berite malo, no, OP je laik, sam tako trdi...
In uporablja antični i5. Nadgradnja vsaj na Access (ne že kar SQL) verjetno ni smiselna v tem trenutku.
(Danes sem aktiven na forumu, se mi nekaj ne da it delat, pač prokrastinacija).

Invictus ::

50k vrstic ni nič.

To obdela že ZX spectrum v nekem normalnem času ;((.
"Life is hard; it's even harder when you're stupid."

http://goo.gl/2YuS2x

omni-vor ::

DeeCoy je izjavil:

SeMiNeSanja je izjavil:

Samo kakšne kalkulacije pa so to, da že pri skromnih 50.000 vrsticah in DVEH stolpcih predstavljajo problem?

Morda pa Excel ni optimalno orodje za te kalkulacije?
Ali pa so same formule neoptimalne...?

Se skoraj strinjam s tem. To je 100k formul. Naj bojo še tako "kompleksne", ko nebi smelo solidnemu procesorju vzeti niti ure..

- Sicer pa, glede na to, da je to za službo:


- Prvo kot prvo, tole NI za službo, to je moja privat hobi zadeva.

- Ja se strinjam, formule sigurno niso optimalne, ampak boljše zadeve ne obstajajo za Excel, sem obrnil pol forumov. Nisem pa programer, da bi znal kaj drugega sam spacati.
Formule ta trenutek ne morem pogledati, ker Excel že od včeraj zvečer obdeluje celice in je nekje na 25%.

- Brezplačni office365: koliko procesorjev pa ti dodelijo v takem primeru?
Rabim nekaj kar je že postavljeno in samo gor vržem file.

- Rama imam 8gb, vse skupaj laufa na SSD.

- Ali Google sheets podpira v celoti excelove formule?

Zgodovina sprememb…

  • spremenil: omni-vor ()

Invictus ::

Pol imaš pa res kompleksne kalkulacije, ki si jih še malo zafrknil...
"Life is hard; it's even harder when you're stupid."

http://goo.gl/2YuS2x

omni-vor ::

Invictus je izjavil:

Pol imaš pa res kompleksne kalkulacije, ki si jih še malo zafrknil...


Verjetno res, ne bom niti zanikal

omni-vor je izjavil:

Invictus je izjavil:

Pol imaš pa res kompleksne kalkulacije, ki si jih še malo zafrknil...


Verjetno res, ne bom niti zanikal


Formula vsebuje okoli 40 posameznih COUNTIFS sklicev, vsak sklic kaže na 40 celic s podatki (40 x 50.000 vrstic). Niti ne vem če sem prav povedal.

omni-vor je izjavil:

Invictus je izjavil:

Pol imaš pa res kompleksne kalkulacije, ki si jih še malo zafrknil...


Verjetno res, ne bom niti zanikal

omni-vor je izjavil:

Invictus je izjavil:

Pol imaš pa res kompleksne kalkulacije, ki si jih še malo zafrknil...


Verjetno res, ne bom niti zanikal


Formula vsebuje okoli 40 posameznih COUNTIFS sklicev, vsak sklic kaže na celico s podatki, teh celic pa je 40 (40 x 50.000 vrstic). Niti ne vem če sem prav povedal.

Zgodovina sprememb…

  • spremenil: omni-vor ()

brbr21 ::

Office365 test, daš v online excel.
Druga opcija Azure test, daš kreditno in dobiš brezplačno za €170 resource time, narediš virtualko z Win+Office. Teh €170 je precejkrat dovolj za tvoj problem.

Evo primera z Win10 OS, 8CPUjev in 56Gb za 5 ur... sitnica:
Virtual Machines West Europe 1 DS13 v2 (8 vCPU(s), 56 GB RAM) x 5 Hours; Windows – (OS Only) Pay as you go; 1 managed OS disks – S4, 100 transaction units; 5 GB Bandwidth €6,03

Pa še kalkulator, da si sam zračunasš: https://azure.microsoft.com/en-us/prici...

Zgodovina sprememb…

  • spremenil: brbr21 ()

showsover ::

Op, huh, pa ti imaš v redu mašinerijo, očitno.

Daj si naredit (če se izplača!!) uporabniško definirane funkcije v VBA Module, da enkapsuliraš kompleksnost in jih reusaš, brez odvečnih kopij.

To, kar najdeš na forumih in zlepiš skupaj brez programerkega ozadja, ehmmm, redko, da se izide...
Recimo, uporaba ustreznih funkcionalnosti lahko spremeni izvajanje iz 6 ur na 3 minute!

Daj primer ene kalkulacije v tej tvoji matriki 40x50k=2M celic?
Se ponavljajo, so različne po stolpcih, vrsticah, problemih?

Zgodovina sprememb…

  • spremenilo: showsover ()

omni-vor ::

gtfo: formula se ponavljajo samo na tak način, da se vsaka formula sklicuje na podatek v svoji vrstici. Popoldan preverim Google sheets in druge opcije, do takrat pa se mi upam da Excel zbudi, da pridem do formule in ti jo pošljem.

111111111111 ::

Google sheets ti ne bo pomagal.

ČE je hobi naloži na 365 in poglej kaj se zgodi.
Če prisloniš uho na vroč šporhet, lahko zavohaš kak si fuknjen.

showsover ::

Pa tvoja fizična mašina je več kot dovolj, res.

Verjetno imaš zafecljane formule - naredi jo v VBA modulu, skompajliraj in je.

Ne rabiš kopij istega po vse celicah!!

Zimonem ::

omni-vor je izjavil:

gtfo: formula se ponavljajo samo na tak način, da se vsaka formula sklicuje na podatek v svoji vrstici. Popoldan preverim Google sheets in druge opcije, do takrat pa se mi upam da Excel zbudi, da pridem do formule in ti jo pošljem.

Mirno ubij proces ker tole ne bo nikamor pripeljalo. Ni problem hw ampak tabela. Pa naslednjič imej več kopij.

Zgodovina sprememb…

  • spremenilo: Zimonem ()

mirator ::

omni-vor je izjavil:

Tole spodaj sprašujem kot laik, ker ne vem ali obstaja kakšna storitev na spletu kjer bi lahko našel rešitev zase.
Moj stari i5 procesor je preslab za moje zahteve in se precej matra z neko obsežno xls datoteko, ki ima okoli 50.000 vrstic in kalkulacije v dveh stolpcih. En stolpec lahko obdeluje po cel dan, s tem, da je procesor neprestano na 100%. Moram pa vsak stolpec nekajkrat obdelati oz. ponoviti postopke z modifikacijami podatkov.

Ali obstaja kakšna možnost dostopa do kakšne online super zmožne virtualke ali pa kake druge storitve, kjer bi imel dostop do kakšnega veliko boljšega procesorja preko katerega bi naredil vse te kalkulacije in analize v bolj doglednem času?

Te korake moram narediti samo enkrat, se pravi teh kalkulacij ne delam neprestano ampak jih bom moral narediti samo zdaj, ampak takrat kvalitetno in primerno hitro. Zato nakup boljšega računalnika ni smiseln, pa tudi vprašanje je koliko hitrejši bi sploh bil.

Povej, koliko MB ali GB ti ta excel list zavzema. Mogoče bi bila tudi rešitev, da tabelo razdeliš po listih. Lahko za vnosne podatke odpreš svoj excel zvezek, za rezultate pa več zvezkov z več listi, ki jim pač dodaš v formuli "išči od - do".
Pa še vprašanje, ali si kdaj pa kdaj očistiš računalnik n.pr. s CCleaner-jem?

omni-vor ::

xls datoteka je velika 38mb.

CCleaner ne, uporabljam Malwarebytes in je računalnik čist kot solza :)

mirator ::

Ja to je kar velika datoteka. Poskusi z rešitvijo, ki sem ti jo predlagal. Jaz imam sicer datoteko veliko ca 14 MB, vendar razdeljeno po 2 - 3 MB in nimam nobenih težav.
Mogoče še nekaj, kar sem ugotovil pri sebi. Ko sem v novih windowsih odpiral excel iz windowsov 93, mi je tudi zelo dolgo mlel, potem sem ga shranil v novo verzijo, pa se je datoteka zmanjšala za kar nekaj MB.

showsover ::

Za take velike zbirke dajte uporabit vsaj Access.
Je pa res, da te (sicer enostavne) migracije ti ne more naredit ravno vsak, ki ima 2 minuti casa.

HotBurek ::

Dobro jutri.

Evo, en predolg. Skopiraj ta eksel v novega, pobriši vse vrstice razen eno in poženi kalkulacije.

Se pravi, tako da imaš minimalno vrstic/podatkov, na katerih še lahko zaganjaš celotno kalkulacijo.

In potem izmeri čas.

Ko imaš to, dodaj 1, 2, 4 vrstice, in ponovno zaženi in izmeri čas.

Čisto možno, da ta tvoj program počne eno in isto stvar večkrat. Npr. da dela loop-e, kjer prvo zračuna vrednosti za vrstico 1, potem naredi loop in zračuna vrednosti za 1 in 2 vrstico, potem naredi loop in zračuna vrednosti za 1, 2 in 3 vrstico itn.


Stestiraj z minimalno podatki in poročaj.
root@debian:/# iptraf-ng
fatal: This program requires a screen size of at least 80 columns by 24 lines
Please resize your window

joze67 ::

Če povzamemo situacijo, kot jo je opisal OP:

omni-vor je izjavil:

Moj stari i5 procesor je preslab za moje zahteve in se precej matra z neko obsežno xls datoteko, ki ima okoli 50.000 vrstic in kalkulacije v dveh stolpcih.


omni-vor je izjavil:

formula se ponavljajo samo na tak način, da se vsaka formula sklicuje na podatek v svoji vrstici.


omni-vor je izjavil:

Formula vsebuje okoli 40 posameznih COUNTIFS sklicev, vsak sklic kaže na 40 celic s podatki (40 x 50.000 vrstic). Niti ne vem če sem prav povedal.


je edini smiselen predlog, naj se formula razbije na več podformul oziroma uporabi več stolpcev za računanje (če je rezultat odvisen od 40 stolpcev, stavim da vse optimizacije odpadejo - čeprav ne trdim, da sicer so kakšne) in se preveri, če se kaka kalkulacija ponavlja. "Program" (programa sicer ni) zanesljivo nima zank ipd.

Če je formula zelo zapletena, si lahko pomagaš s kakšnimi triki, ki pa so enkratne narave oz. zahtevajo VBA za ponavljanje. Npr COUNTIF. Narediš formulo s samo enim (če je res, kar praviš, je vse v aktivni vrstici), zračunaš za vseh 50.000 vrstic, potem pa pokažeš ta stolpec in copy-paste special-values. Potem to ponoviš parkrat ( vsakić več stolpcev hkrati, iščeš ravnotežje med bednim ponavljajočim se delom in tem, da excel počepne) in na koncu imaš 40 COUNTIFov izračunanih za te podatke. Potem formulo udariš na teh podatkih.

omni-vor ::

joze67 je izjavil:

Če povzamemo situacijo, kot jo je opisal OP:
je edini smiselen predlog, naj se formula razbije na več podformul oziroma uporabi več stolpcev za računanje (če je rezultat odvisen od 40 stolpcev, stavim da vse optimizacije odpadejo - čeprav ne trdim, da sicer so kakšne) in se preveri, če se kaka kalkulacija ponavlja. "Program" (programa sicer ni) zanesljivo nima zank ipd.

Če je formula zelo zapletena, si lahko pomagaš s kakšnimi triki, ki pa so enkratne narave oz. zahtevajo VBA za ponavljanje. Npr COUNTIF.


Ravnokar to delam, razbijam formulo po stolpcih in za vsako celico svojo formulo. Bom videl, če bo kaj boljše.

Uporabljam COUNTIF, s tem da sem verjetno naredil napako, ker sem v isto celico vrgel countif za 40 različnih celic.... se pravi countif + countif + ...

reeves ::

omni-vor je izjavil:

Formula vsebuje okoli 40 posameznih COUNTIFS sklicev, vsak sklic kaže na 40 celic s podatki (40 x 50.000 vrstic). Niti ne vem če sem prav povedal.

Uporabi array formule.

omni-vor ::

@reves, preverim array...

Naredil test. 100 vrstic mi zdaj, ko so formule razbite naredi v 65 sekundah. Se pravi bo rabil 11 minut za 1000 vrstic, nekje dobrih 8 ur za vseh 45500.

 slikca

slikca


Zadnji stolpec je SUM

Zgodovina sprememb…

  • spremenil: omni-vor ()

Randomness ::

Naredil test. 100 vrstic mi zdaj, ko so formule razbite naredi v 65 sekundah. Se pravi bo rabil 11 minut za 1000 vrstic, nekje dobrih 8 ur za vseh 45500.
Tule nekaj smrdi :-) Saj ne delaš nekih hudih fizikalnih simulacij ali kaj podobnega. Teh par številk bi moral mlinček prežvečiti v nekaj 100 milisekundah max. Ali so tvoje formule čudne ali pa excel ni primerno orodje za tvoj problem.

omni-vor ::

Sem pripel sliko malo višje, se lepo vidi da je formula čisto navaden COUNTIF, ki gleda po vseh 35 stolpcih in 50.000 vrsticah.

Prej sem se zmotil...dejansko je 35 stolpcev, ne 5 al koliko sem že rekel včeraj...

Zgodovina sprememb…

  • spremenil: omni-vor ()

Zimonem ::

Problem je ker je tudi CD najbrž zdefiniran z nekim cointifom in potem vsakič posebej izračunava še pogoj.

Han ::

Katero verzijo Excela sploh imaš (2010, 2013, 2016, 2019; 32 ali 64 bit)?

Randomness ::

Katero verzijo Excela sploh imaš (2010, 2013, 2016, 2019; 32 ali 64 bit)?
Nima to neke posebne veze.

ki gleda po vseh 35 stolpcih in 50.000 vrsticah
Možno je, da so celice ciklično odvisne ena od druge in potem simuliraš "celični avtomat" aka game-of-life :-)

Han ::

Verzija lahko kar precej vpliva na hitrost...

https://docs.microsoft.com/en-us/office...

secops ::

Kaj pa če bi dal kolegu, ki je malo.bolj domač s temi zadevami, za pivo in ti on reši.

Invictus ::

Dolgoročna rešitev je, da bazo skopiraš v SQLite, in narediš ustrezen query. Ali več njih...
"Life is hard; it's even harder when you're stupid."

http://goo.gl/2YuS2x

Zimonem ::

Pa, če ne nuca dolgoročne rešitve. As gluh.

omni-vor ::

Han je izjavil:

Katero verzijo Excela sploh imaš (2010, 2013, 2016, 2019; 32 ali 64 bit)?


2016, 64 bit

Celice niso ciklične. Bom poskusil še s parimi opcijami, ki ste mi jih predlagali. Žal ne morem vsega naenkrat, pa še kaj se moram prej naučit :)

Res da nisem programer, nisem pa tudi IT analfabet in se znajdem. Samo včasih se kje zataknem kot sem se v tem primeru in potem razmišljam o rešitvah kot je bila ta, da bi vse skupaj začasno preselil na nek server. Glede na vaše nasvete mi je zdaj jasno, da ni tako velik problem v HW, ampak v formulah.

Pa še naučil sem se, da je conditional formatting tudi velik problem pri obsežnih tabelah. Je vse to letelo ven :)

Zgodovina sprememb…

  • spremenil: omni-vor ()

omni-vor ::

Dobri dve uri kasneje je rezultat tak, da nisem prišel nikamor :)

Razbijanje formul po celicah ni kaj dosti koristilo.

Array formula mi ni koristila, ali pa ne znam uporabljati prave formule.

Access mi je v osnovi vsaj malo jasen in logičen, ne vem pa kako bi to uporabil pri svojem problemu.

Se moram pa popravit. Glede na to, da je 35 stolpcev in skoraj 45000 vrstic s podatki, to znese skoraj 1.6 milijona celic. Se pravi mora vsak COUNTIF primerjati moj pogoj z vsemi temi celicami. In zato verjetno tudi vse dela tako počasi.

korenje3 ::

countif ukaz gleda vsako vrstico posebej. Torej če imaš 50k vrstic pomeni da mora sprocesirat 50k×50k=2500000000 vrstic samo za ta ukaz.
Reši zadevo na drugačen način.
i9-12900k; 32GB DDR5-6000 CL36; Nvidia RTX 3080 ti;
Gigabyte Aorus z690 master; Be Quiet Dark Power 12 1000W

showsover ::

2M podatkov -> Access (ali kaj podobnega), uvoz 2M podatkov v 1 tabelo s 35 stolpcev x 45000 zapisov, count()+filter itn...
Samega problema ne poznam(o), očitno orodje ni primerno za to opravilo.
Dodatna pomoč je verjetno možna, vendar ne brez razumevanja naloge, vpogleda v tabelo itd.
Excel očitno ni mišljen za takšne glomazne zadeve.
Zakaj sploh to potrebuješ? Verjetno kaj službenega?
Ne vem, zakaj bi drugače toliko časa investiral v to.
Reci komu od prisotnih za pomoč, sam ne rešujem teh zadev ljubiteljsko,

Zgodovina sprememb…

  • spremenilo: showsover ()

korenje3 ::

Če narediš if v novo kolono in zapišeš število 0 ali vrednost, potem pa count za to kolono. Mogoče bi to delalo hitreje.
i9-12900k; 32GB DDR5-6000 CL36; Nvidia RTX 3080 ti;
Gigabyte Aorus z690 master; Be Quiet Dark Power 12 1000W

111111111111 ::

Kakšen pa imaš pogoj v if?
Če prisloniš uho na vroč šporhet, lahko zavohaš kak si fuknjen.

SeMiNeSanja ::

Če je zadeva hobby narave, najbrž nebi smel biti tako skrivnosten projekt, da nebi mogel malo opisati problem, ki ga skušaš reševati?

Mogoče ti na koncu nekdo spiše 30vrstic v pythonu, ki naredijo to isto čudo v nekaj sekundah....?
Pričujoče sporočilo je (lahko) oglasno sporočilo
- četudi na prvi pogled ni prepoznavno kot tako.
(Zdaj me pa obtožite prikritega oglaševanja, če morete!)
«
1
2


Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

pomoč excel (strani: 1 2 )

Oddelek: Programska oprema
587407 (2984) -JM-
»

Excel, kako izračunati

Oddelek: Programiranje
82169 (1908) Dionis
»

Excel iskanje podvojenih vnosov

Oddelek: Pomoč in nasveti
186220 (4846) smetko
»

excel

Oddelek: Programska oprema
324553 (3162) xtrat
»

excell razvrščanje

Oddelek: Programska oprema
213918 (3562) rferrari

Več podobnih tem