<html>
<body>
Hi Scott,<br><br>
This is to report -- that I was able to bring up the graph ... by using a
right search term, in this case &quot;NC_007308&quot;, the chromosome
sequence id -- I have only one chromosome in the database, loaded with
your script from NCBI downloads.<br><br>
Ref. URL:
<a href="http://www.animalgenome.org/cgi-bin/gbrowse/cattle" eudora="autourl">
http://www.animalgenome.org/cgi-bin/gbrowse/cattle<br><br>
</a>Two quick questions from here (I hate to bother you with trivial
questions that I should read and learn, but you are always quick and to
the point - hope this won't take much of your time ;-):<br><br>
1- I expected to see sequences when I zoom down to bp level, but I
didn't. Wonder where should I track it... (there are 53K+ break-down
sequences in the 'fdna' table).<br><br>
2- I have in my 'ftype' table:<br>
&nbsp; ftypeid&nbsp; fmethod&nbsp;&nbsp;&nbsp; fsource<br>
&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
region&nbsp;&nbsp;&nbsp;&nbsp; EMBL&nbsp; <br>
&nbsp; 2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
gap&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; EMBL&nbsp; <br>
&nbsp; 3&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
gene&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; EMBL&nbsp; <br>
&nbsp; 4&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
mRNA&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; EMBL&nbsp; <br>
&nbsp; 5&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
exon&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; EMBL&nbsp; <br>
&nbsp; 6&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
CDS&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; EMBL&nbsp; <br>
&nbsp; 7&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
RNA&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; EMBL&nbsp; <br>
&nbsp; 8&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; misc_RNA&nbsp;&nbsp;
EMBL&nbsp; <br>
&nbsp; 9&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; V_segment&nbsp;
EMBL&nbsp; <br>
&nbsp; 10&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; C_region&nbsp;&nbsp;
EMBL&nbsp; <br>
that I added some, but didn't see them show up.<br><br>
BTW, here is my tables look like (for one chromosome): <br>
o fattribute ( <font color="#FF0000">14</font> records )<br>
o fattribute_to_feature ( <font color="#FF0000">9922</font> records
)<br>
o fdata ( <font color="#FF0000">18906</font> records )<br>
o fdna ( <font color="#FF0000">53192</font> records )<br>
o fgroup ( <font color="#FF0000">2920</font> records )<br>
o fmeta ( <font color="#FF0000">4</font> records )<br>
o ftype ( <font color="#FF0000">10</font> records )<br><br>
Best regards,<br><br>
Zhiliang<br><br>
<br>
At 10:10 AM 9/25/2008 -0400, Scott Cain wrote:<br>
<blockquote type=cite class=cite cite="">Hi Zhiliang,<br><br>
If you do a SELECT * FROM ftype in your database, I think you will
get<br>
this as a result:<br><br>
mysql&gt; select * from ftype;<br>
+---------+----------+---------+<br>
| ftypeid | fmethod&nbsp; | fsource |<br>
+---------+----------+---------+<br>
|&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1 | region&nbsp;&nbsp; | Genbank
|<br>
|&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2 |
gap&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; | Genbank |<br>
|&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3 | gene&nbsp;&nbsp;&nbsp;&nbsp; |
Genbank |<br>
|&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 4 | mRNA&nbsp;&nbsp;&nbsp;&nbsp; |
Genbank |<br>
|&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5 | exon&nbsp;&nbsp;&nbsp;&nbsp; |
Genbank |<br>
|&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 6 |
CDS&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; | Genbank |<br>
|&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 7 |
RNA&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; | Genbank |<br>
|&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 8 | misc_RNA | Genbank |<br>
+---------+----------+---------+<br><br>
The &quot;method&quot; (types) are the only things you will be able to
display<br>
in GBrowse.&nbsp; The region is the chromosome, so you can display
gaps,<br>
genes, mRNAs (with exons if you use the processed_transcript<br>
aggregator/glyph), CDSes (with the cds aggregator/glyph) and RNAs.<br>
<br>
To map your other features to what is in your current database<br>
(assuming it's the same as mine), you need to have &quot;NC_007320&quot;
in the<br>
first column, since that is the ID used by the genbank loading
script.<br><br>
Scott<br><br>
<br>
On Wed, Sep 24, 2008 at 4:55 PM, Zhiliang Hu &lt;zhu@iastate.edu&gt;
wrote:<br>
&gt; Hi Scott,<br>
&gt;<br>
&gt; I used ncbi powerscript to download the chromosome genbank file (it
took 2<br>
&gt; hrs 10 min) then used your bp_genbank2gff.pl to load db.&nbsp; Looks
like the<br>
&gt; tables are populated:<br>
&gt;<br>
&gt; o fattribute ( 13 records )<br>
&gt; o fattribute_to_feature ( 7782 records )<br>
&gt; o fdata ( 10939 records )<br>
&gt; o fdna ( 44259 records )<br>
&gt; o fgroup ( 1953 records )<br>
&gt; o fmeta ( 4 records )<br>
&gt; o ftype ( 8 records )<br>
&gt;<br>
&gt; but I still cannot bring up the graphs:<br>
&gt;
<a href="http://www.animalgenome.org/cgi-bin/gbrowse/cattle/" eudora="autourl">
http://www.animalgenome.org/cgi-bin/gbrowse/cattle/</a><br>
&gt;<br>
&gt; Could you help to see if I have any key part missing from the config
file:<br>
&gt;
<a href="http://www.animalgenome.org/hu/share/scott/cow.conf" eudora="autourl">
http://www.animalgenome.org/hu/share/scott/cow.conf</a><br>
&gt;<br>
&gt; Thank you,<br>
&gt;<br>
&gt; Zhiliang<br>
&gt;<br>
&gt;<br>
&gt; At 10:33 AM 9/24/2008 -0400, Scott Cain wrote:<br>
&gt;<br>
&gt; There seems to be a problem with BioPerl related to getting the<br>
&gt; sequence directly from GenBank: if I download NC_007320 and then
run<br>
&gt;<br>
&gt;&nbsp;&nbsp;&nbsp; bp_genbank2gff.pl --file NC_007320.gbk&nbsp; --dsn
dbi:mysql:test --create<br>
&gt;<br>
&gt; it works fine in a couple of seconds.&nbsp; If however I run<br>
&gt;<br>
&gt;&nbsp;&nbsp; bp_genbank2gff.pl --accession NC_007320&nbsp; --dsn
dbi:mysql:test --create<br>
&gt;<br>
&gt; I get these two lines over and over again as it runs for a long
time<br>
&gt; (I'm letting it go now so I can see how long it will take and
what<br>
&gt; will eventually happen):<br>
&gt;<br>
&gt; Use of uninitialized value in pattern match (m//) at<br>
&gt; /usr/local/share/perl/5.8.8/Bio/SeqIO/genbank.pm line 663,
&lt;GEN1&gt; line 115.<br>
&gt; Use of uninitialized value in pattern match (m//) at<br>
&gt; /usr/local/share/perl/5.8.8/Bio/SeqIO/genbank.pm line 667,
&lt;GEN1&gt; line 115.<br>
&gt;<br>
&gt; Scott<br>
&gt;<br>
&gt;<br>
&gt; On Wed, Sep 24, 2008 at 9:56 AM, Zhiliang Hu &lt;zhu@iastate.edu&gt;
wrote:<br>
&gt;&gt; I repeated on the same machine (RHEL/RedHat Linux
2.4.21-20.ELsmp, 8GB<br>
&gt;&gt; RAM)<br>
&gt;&gt; - I counted 7 minutes before its quit on &quot;Out of
memory!&quot; this time.<br>
&gt;&gt;<br>
&gt;&gt; I then installed Bioperl/GBrowse/etc last night on another
machine (Linux<br>
&gt;&gt; CentOS, 8GB RAM), tried the same to run on background.<br>
&gt;&gt;<br>
&gt;&gt; This morning I found the processes died away without loading the
db. I<br>
&gt;&gt; didn't find any core dump or else but only in the /tmp dir a
file created<br>
&gt;&gt; shortly after I started it:<br>
&gt;&gt;
<a href="http://nagrp2.ansci.iastate.edu/zhu/tmp/RJQApIbFbh.txt" eudora="autourl">
http://nagrp2.ansci.iastate.edu/zhu/tmp/RJQApIbFbh.txt</a> -- this
doesn't<br>
&gt;&gt; seem<br>
&gt;&gt; to be right because on the browser it seems to be HUGE:<br>
&gt;&gt;<br>
&gt;&gt;
<a href="http://www.ncbi.nlm.nih.gov/entrez/viewer.fcgi?val=194719399&amp;view=gbwithparts" eudora="autourl">
http://www.ncbi.nlm.nih.gov/entrez/viewer.fcgi?val=194719399&amp;view=gbwithparts</a>
<br>
&gt;&gt;<br>
&gt;&gt; Zhiliang<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt; At 11:17 PM 9/23/2008 -0400, Lincoln Stein wrote:<br>
&gt;&gt;<br>
&gt;&gt; It may take a long time to run - try overnight.<br>
&gt;&gt;<br>
&gt;&gt; Lincoln<br>
&gt;&gt;<br>
&gt;&gt; On Tue, Sep 23, 2008 at 10:46 PM, Scott Cain
&lt;cain.cshl@gmail.com&gt; wrote:<br>
&gt;&gt; When I ran it, it spun it's wheels for a long time (30+ minutes)
and I<br>
&gt;&gt; killed it.&nbsp;&nbsp; I tried the analagous thing with
bp_genbank2gff.pl and<br>
&gt;&gt; had to kill it too.&nbsp; I thought it was a problem with
bioperl until<br>
&gt;&gt; just now, when I tried it with an E coli chromosome from genbank
and<br>
&gt;&gt; it worked fine (it ran a couple of minutes).<br>
&gt;&gt;<br>
&gt;&gt; Scott<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt; On Tue, Sep 23, 2008 at 10:13 PM, Lincoln Stein
&lt;lincoln.stein@gmail.com&gt;<br>
&gt;&gt; wrote:<br>
&gt;&gt;&gt; Oh no! I've never seen a memory problem before. How long a
time elapses<br>
&gt;&gt;&gt; between the original loading message and the first Out of
memory!<br>
&gt;&gt;&gt; message?<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; Lincoln<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; On Tue, Sep 23, 2008 at 1:25 PM, Zhiliang Hu
&lt;zhu@iastate.edu&gt; wrote:<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; Scott,<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; I decide to take an &quot;easier&quot; approach as a
start - I will try to load<br>
&gt;&gt;&gt;&gt; NCBI and UCSC cattle genomes to GBrowse.&nbsp; Once that
works, I can move <br>
&gt;&gt;&gt;&gt; on with more customized data sets.<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; I have following questions in doing that:<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; 1.<br>
&gt;&gt;&gt;&gt; A technical one: When I try to load a cattle chromosome
using your<br>
&gt;&gt;&gt;&gt; 'load_genbank.pl', I got a memory problem (there is 8 GB
RAM on the<br>
&gt;&gt;&gt;&gt; machine - I bet there must a work around?)<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; &gt; load_genbank.pl --create -dsn dbi:mysql:gb_cattle
-user --pass<br>
&gt;&gt;&gt;&gt; &gt; --accession NC_007320<br>
&gt;&gt;&gt;&gt; Loading NC_007320...<br>
&gt;&gt;&gt;&gt; Out of memory!<br>
&gt;&gt;&gt;&gt; Out of memory!<br>
&gt;&gt;&gt;&gt; Out of memory!<br>
&gt;&gt;&gt;&gt; Segmentation fault (core dumped)<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; 2.<br>
&gt;&gt;&gt;&gt; Can I load all chromosomes into one database?&nbsp; Or
should I create<br>
&gt;&gt;&gt;&gt; separate databases for each chromosome? (I assume the
former but not sure).<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; 3.<br>
&gt;&gt;&gt;&gt; If I also bring in UCSC golden tracks, should I set up a
different<br>
&gt;&gt;&gt;&gt; database, Or can I put them into one db, naming UCSC
chromosomes a<br>
&gt;&gt;&gt;&gt; little<br>
&gt;&gt;&gt;&gt; differently?<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; Thank you,<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; Zhiliang</blockquote></body>
</html>