wbazant

0. (the main proposal)
| filters |		Results for /homo sapiens/ across /organism parts/
|         |		✗ include results across developmental stages from "HDBR developing brain" , "Fantom 5"
|         |		✗ include proteomics results from 3 experiments
|         |		----------
|         |		| heatmap 1|
|         |		----------
|         |		
|         |		
|         |		Results for /homo sapiens/ across /organism parts/

wbazant

[fg_atlas@ebi-cli-003 E-MTAB-5214]$ mv gtex.dom.trans.tsv E-MTAB-5214-transcripts-tpms.tsv.undecorated
[fg_atlas@ebi-cli-003 E-MTAB-5214]$ $projectRoot/irap/gxa_summarizeExpressionUnits.pl \
> >     --quantile-normalize  --aggregate-technical-replicates \
> >     --configuration ${expTargetDir}/${expAcc}-configuration.xml \
> >     --input ${expTargetDir}/${expAcc}-transcripts-tpms.tsv.undecorated \
> >     --output ${expTargetDir}^C{expAcc}-transcripts-tpms.tsv.undecorated.aggregated
[fg_atlas@ebi-cli-003 E-MTAB-5214]$ $projectRoot/irap/gxa_summarizeExpressionUnits.pl --quantile-normalize  --aggregate-technical-replicates --configuration ${expTargetDir}/${expAcc}-configuration.xml --input ${expTargetDir}/${expAcc}-transcripts-tpms.tsv.undecorated --output ${expTargetDir}/${expAcc}-transcripts-tpms.tsv.undecorated.aggregated
INFO  - Reading XML config from /nfs/public/ro/fg/atlas/experiments_test/E-MTAB-5214/E-MTAB-5214-configuration.xml ...
INFO  - Successfully read XML config.
INFO  - Reading matrix from /n

wbazant

E-GEOD-29134
E-GEOD-29163
E-GEOD-30720
E-GEOD-38612
E-GEOD-42891
E-GEOD-50777
E-GEOD-53197
E-GEOD-55482
E-GEOD-55866
E-GEOD-61857

wbazant

Studentów ostatniego i przedostatniego roku studiów witam z powrotem na studiach! :D Tutaj w Cam zaczął się właśnie pierwszy semestr, dzieje się masa wydarzeń poświęconych pracy / karierze, a niejeden student właśnie odkrywa w sobie pasję do doradzania w zakresie zarządzania. Chciałbym przy tej okazji przypomnieć o grupie którą tu mamy, i dać rady - najlepsze.

Jeśli jesteście w bardzo wczesnym stadium wyboru przyszłej pracy, polecam przede wszystkim career guide z 80000 Hours, świetne artykuły np. o tym co to jest elastyczny potencjał zawodowy albo jaka praca przynosi ludziom satysfakcję i skąd się takie coś bierze. Polecam ich w ogóle otwarcie i do wszystkiego bo to nonprofit z którego misją się zgadzam: promowaniu etycznych karier. 

W późniejszych etapach wyboru ścieżki kariery, i tym jak ją osiągnąć - polecam członków grupy facebookowej Polish @ UWC :) Mamy tu przedstawicieli różnych niszowych zawodów i robimy ciekawe rzeczy. Bankierów, konsultantów, prawników topowych firm też mamy - i chętnie Wam udzie

wbazant

Studentów ostatniego i przedostatniego roku studiów witamy z powrotem na studiach! :D Tutaj w Cam zaczął się właśnie pierwszy semestr, dzieje się masa wydarzeń poświęconych pracy / karierze, a niejeden student właśnie odkrywa w sobie pasję do doradzania w zakresie zarządzania. Chciałbym przy tej okazji przypomnieć o grupie którą tu mamy, i dać rady - najlepsze.

Z ostatniego roku pamiętam wielką presję żeby mieć "ustawioną" pracę po studiach i swoje wysyłane dziesiątki aplikacji. Dużo jest zalet znalezienia pracy jeszcze na studiach - ułatwia je dostęp do różnych wydarzeń i careers office - ale perspektywa, że inaczej też się da, może uczynić poszukiwania mniej stresującymi :)

Duże firmy mają budżety na szukanie kandydatów topowych uczelni i mocno się reklamują - ale opcji życiowych jest dużo więcej niż Google, banki, konsulting, i parę zawsze tych samych mniejszych firm które nauczyły się rekrutować tylko z topowych uczelni. Pierwsza praca w takiej firmie jest często świetna - o tym zaraz - ale z drugiej st

wbazant

Summary

These experiments had columns that were all NA, and our stuff failed on them:

• E-MTAB-2039 Oryza sativa, Nipponbare RNA-Seq - Conserved Poaceae Specific Genes Project
• E-MTAB-4400 Sorghum bicolor, BTx623 RNA-Seq - Conserved Poaceae Specific Genes Project
• E-MTAB-4401 Brachypodium distachyon, Bd21 RNA-Seq - Conserved Poaceae Specific Genes Project
• E-MTAB-4818 Solanum lycopersicumTranscriptome or Gene expression

This probably also needs an ISL rerun because not all assays are present in files:

• E-GEOD-42871

wbazant

#configuration.xml has 16 assays, and it's from 2016

[fg_atlas@ebi-cli-001 analysis_archive]$ ls -latorh /nfs/production3/ma/home/atlas3-production/analysis/baseline/rna-seq/experiments/E-GEOD-42871/E-GEOD-42871-configuration.xml
-rw-r--r-- 1 fg_atlas 1.8K Feb  8  2016 /nfs/production3/ma/home/atlas3-production/analysis/baseline/rna-seq/experiments/E-GEOD-42871/E-GEOD-42871-configuration.xml
[fg_atlas@ebi-cli-001 analysis_archive]$ grep '<assay>' /nfs/production3/ma/home/atlas3-production/analysis/baseline/rna-seq/experiments/E-GEOD-42871/E-GEOD-42871-configuration.xml | wc -l
16


#data files in the folder match the configuration.xml: 17 columns, one is gene name

wbazant

[fg_atlas@ebi-cli-001 analysis_archive]$ git show --name-status dc1f641b89a31d1d4f6754d53fc6b9aa6f27d945 | grep "^D" | grep configs | sed "s@.*configs@$ATLAS_PROD@" | tail -n +3 | while read -r path ; do { exp=$(basename $(dirname $path)) ; mkdir -p $(dirname $path) ; cp -v $ATLAS_EXPS/$exp/$(basename $path) $path ; } ; done
‘/nfs/public/ro/fg/atlas/experiments/E-GEOD-29134/E-GEOD-29134-configuration.xml’ -> ‘/nfs/production3/ma/home/atlas3-production/analysis/baseline/rna-seq/experiments/E-GEOD-29134/E-GEOD-29134-configuration.xml’
‘/nfs/public/ro/fg/atlas/experiments/E-GEOD-29134/E-GEOD-29134-factors.xml’ -> ‘/nfs/production3/ma/home/atlas3-production/analysis/baseline/rna-seq/experiments/E-GEOD-29134/E-GEOD-29134-factors.xml’
‘/nfs/public/ro/fg/atlas/experiments/E-GEOD-29163/E-GEOD-29163-configuration.xml’ -> ‘/nfs/production3/ma/home/atlas3-production/analysis/baseline/rna-seq/experiments/E-GEOD-29163/E-GEOD-29163-configuration.xml’
‘/nfs/public/ro/fg/atlas/experiments/E-GEOD-29163/E-GEOD-29163-factors.xm

wbazant

0. Can you not do exit at the bottom, and put echo Finished!? We will find it easier to know that the program works correctly. Add -S or --show-error so that we see what went wrong. Make curl's response include the query (so that when it fails, we know what it failed for, imagine you got just a HTTP failure code in the logs - not helpful to work with).

1. Instead of tr -d '"' do jq -r , “raw” - it does what you want :)

2. https://www.shellcheck.net/ tells you things about the program -and that it's mostly fine, no warnings and merely notes- could you apply at least the one about $() instead of ``?

3. I've been collecting useful JQ programs on https://www.ebi.ac.uk/seqdb/confluence/display/GXA/JQ+tips I've just put exactly the one you want (get all baseline experiments) as:

wbazant

analyse(){    
	geneSetFilePath=$1;    
	outputFile=$2;    
	analyticsFile=$ATLAS_EXPS/E-GEOD-59831/E-GEOD-59831-analytics.tsv
	irap_GSE_piano --tsv=$analyticsFile --pvalue-col=3 --foldchange-col=4 --title="title" --pvalue=0.05 --gs_fdr=0.1 --method=fisher-exact --dup-use-best --plot-annot-only --top=10 --minsize 5 --maxsize 100 --descr $ATLAS_PROD/bioentity_properties/go/goIDToTerm.tsv.decorate.aux --go=$geneSetFilePath --out=$outputFile; 
}


# a "normal" analysis