大量使用内存
|
我有一个代码,需要在其中创建一个键值为双倍的映射(两个聚类之间的f检验值。为此,我需要计算残差平方和),而cluspair的映射值为对我创建的类集群。 Map旨在将F检验值存储在所有聚类之间,这样我就不需要在每一步中一次又一次地进行计算。 BTW群集是一种树结构,其中每个群集包含两个子群集,并且存储的值是70维向量。
问题是,为了计算RSS,我需要实现一个递归代码,在该代码中,我需要找到聚类的每个元素与聚类的平均值之间的距离,这似乎在消耗大量内存。当我创建相同的映射,并且键值是两个聚类的均值之间的简单距离时,该程序将使用最少的内存,因此我认为内存使用量的增加是由递归函数RSS的调用引起的。我该如何管理以下代码中的内存使用?在其当前的实现中,系统内存不足,并且窗口关闭应用程序,表示系统已耗尽虚拟内存。
主要代码:
map<double,cluspair> createRSSMap( list<Cluster*> cluslist )
{
list<Cluster*>::iterator it1;
list<Cluster*>::iterator it2;
map<double,cluspair> rtrnmap;
for(it1=cluslist.begin(); it1!= --cluslist.end() ;it1++)
{
it2=it1;
++it2;
cout << \".\";
list<Cluster*>::iterator itc;
double cFvalue=10000000000000000000;
double rIt1 = (*it1)->rss();
for(int kk=0 ; it2!=cluslist.end(); it2++)
{
Cluster tclustr ((*it1) , (*it2));
double r1 = tclustr.rss();
double r2= rIt1 + (*it2)->rss();
int df2 = tclustr.getNumOfVecs() - 2;
double fvalue = (r1 - r2) / (r2 / df2);
if(fvalue<cFvalue)
{
cFvalue=fvalue;
itc=it2;
}
}
cluspair clp;
clp.c1 = *it1;
clp.c2 = *itc;
bool doesexists = (rtrnmap.find(cFvalue) != rtrnmap.end());
while(rtrnmap)
{
cFvalue+= 0.000000001;
rtrnmap= (rtrnmap.find(cFvalue) != rtrnmap.end());
}
rtrnmap[cFvalue] = clp;
}
return rtrnmap;
}
以及RSS功能的实现:
double Cluster::rss()
{
return rss(cnode->mean);
}
double Cluster::rss(vector<double> &cmean)
{
if(cnode->numOfVecs==1)
{
return vectorDist(cmean,cnode->mean);
}
else
{
return ( ec1->rss(cmean) + ec2->rss(cmean) );
}
}
提前非常感谢。我真的不知道该怎么办。
以下是我用来创建地图的代码,其中的键是两个聚类平均值之间的简单欧几里得距离。正如我上面所说,它非常相似,并且使用的内存最少。它仅在fvalue的计算上有所不同。除了递归计算,还有两个聚类的均值的简单距离的计算。希望它有助于发现问题
map<double,cluspair> createDistMap( list<Cluster*> cluslist )
{
list<Cluster*>::iterator it1;
list<Cluster*>::iterator it2;
map<double,cluspair> rtrnmap;
for(it1=cluslist.begin(); it1!= --cluslist.end() ;it1++)
{
it2=it1;
++it2;
cout << \".\";
list<Cluster*>::iterator itc;
double cDist=1000000000000000;
for(int kk=0 ; it2!=cluslist.end(); it2++)
{
double nDist = vectorDist( (*it1)->getMean(),(*it2)->getMean());
if (nDist<cDist)
{
cDist = nDist;
itc=it2;
}
}
cluspair clp;
clp.c1 = *it1;
clp.c2 = *itc;
bool doesexists = (rtrnmap.find(cDist) != rtrnmap.end());
while(doesexists)
{
cDist+= 0.000000001;
doesexists = (rtrnmap.find(cDist) != rtrnmap.end());
}
rtrnmap[cDist] = clp;
}
return rtrnmap;
}
vectorDist()的实现
double vectorDist(vector<double> vec1, vector<double> vec2)
{
double sqrsum=0;
double tempd=0;
int vs = vec1.size();
for ( int i=0;i<vs;i++)
{
tempd = vec1[i] - vec2[i];
sqrsum += tempd*tempd;
}
return sqrsum;
}
编辑:
顺便说一句,我尝试了这种替代实现,但仍然无法控制内存使用情况
double Cluster::rss()
{
list<double> fvals;
rss(cnode->mean , fvals);
double sum=0;
list<double>::iterator tpit;
for(tpit=fvals.begin() ; tpit != fvals.end() ; ++tpit)
{
sum += *tpit;
}
return sum;
}
void Cluster::rss(vector<double> &cmean , list<double> &fvals)
{
if(cnode->numOfVecs==1)
{
fvals.push_back( vectorDist(cmean,cnode->mean) );
}
else
{
ec1->rss(cmean , fvals);
ec2->rss(cmean , fvals);
}
}
没有找到相关结果
已邀请:
1 个回复
哩翔购